robot txt 怎么设置？robots.txt 入门指南与常见误区

📍 WDQWDWQD987AAAAA:216.73.216.24
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /c82cc58b0791.html
📄

robot txt（通常写作 robots.txt）是网站根目录下的纯文本文件，用于告诉搜索引擎爬虫哪些页面可以抓取、哪些应当回避。它虽然不是强制指令，但正确配置能有效引导爬虫、节省服务器资源，并避免敏感内容被索引。

robots.txt 的基本语法

robots.txt 由若干条记录组成，每条记录以 User-agent 开头，后跟 Allow 或 Disallow 规则。例如：

规则按最长匹配优先，Allow 优先于 Disallow。文件必须放在网站根目录，且文件名区分大小写。

常见误区与注意事项

很多人误以为 robots.txt 能阻止页面被搜索引擎收录，实际上它只是禁止抓取。如果其他网站链接了你的禁止页面，搜索引擎仍可能索引该 URL。要彻底阻止收录，应使用 noindex 元标签或 HTTP 头。

另一个常见错误是使用通配符和正则表达式。robots.txt 只支持有限通配符，如 * 和 $，不支持复杂正则。同时，不要用 robots.txt 隐藏敏感信息，因为文件是公开可读的。

如何正确设置 robot txt

  1. 在网站根目录创建 robots.txt 文件。
  2. 明确目标：允许所有、禁止所有，还是精细控制。
  3. 为不同爬虫设置独立规则，例如针对 Googlebot 和 Bingbot。
  4. 使用 Sitemap 指令指向站点地图，帮助爬虫发现内容。
  5. 测试规则：可用搜索引擎的 robots.txt 测试工具验证。

最后，定期检查 robots.txt 是否被意外修改，并确保它不会阻止 CSS、JS 等渲染资源，否则可能影响页面索引质量。合理使用 robot txt，是 SEO 基础工作的重要一环。

图1 图2
nginx