robots.txt 是网站与搜索引擎爬虫沟通的第一道桥梁,正确编写它能有效管理抓取流量、保护敏感目录并提升 SEO 效率。很多站长因忽视 robots.txt 编写,导致后台文件被索引或重要页面被误屏蔽。本文从基础语法到实战策略,帮你系统掌握 robots.txt 编写方法。
robots.txt 必须放在网站根目录,文件名全小写。核心指令包括:
每个指令后跟英文冒号和值,规则按爬虫分组,组间用空行分隔。注意:robots.txt 编写时路径区分大小写,且不支持通配符的旧爬虫可能忽略 * 和 $。
禁止抓取 /admin/、/cart/ 等目录,并用 Disallow: /*?sessionid= 过滤会话参数,避免重复内容。但不要屏蔽 CSS、JS 文件,否则影响搜索引擎渲染。
robots.txt 只能控制抓取,不能控制索引。若希望页面被看到但不被索引,应使用 noindex 元标签,而非依赖 robots.txt 编写。
可为不同爬虫设置独立规则,例如允许 Googlebot 抓取全部,限制低质采集器。编写时确保每个 User-agent 组内规则完整。
上线前用百度搜索资源平台或 Google Search Console 的 robots.txt 测试工具验证。常见错误包括:拼写错误、路径未以 / 开头、误屏蔽整站(Disallow: /)以及 Sitemap 地址写错。定期检查 robots.txt 是否返回 200 状态码,避免服务器错误导致爬虫放弃抓取。
总之,robots.txt 编写要遵循最小必要原则:只屏蔽真正需要隐藏的路径,保持规则简洁可读,并结合站点地图引导爬虫高效抓取。掌握以上要点,你就能写出一份既安全又利于 SEO 的 robots.txt 文件。