robot txt怎么用？robots.txt基础写法与避坑指南

📍 WDQWDWQD987AAAAA:216.73.216.228
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /07edf524ecfe.html
📄

robot txt（通常写作 robots.txt）是网站根目录下的纯文本协议文件，用来告诉搜索引擎爬虫哪些页面可以抓取、哪些应当避开。它不是强制安全机制，但合理配置能减少无效抓取、保护后台目录，并帮助站点更高效地被收录。

robots.txt 的基本结构

一个最简示例是：

• User-agent: 指定爬虫名称，* 代表所有爬虫。
• Disallow: 禁止抓取的路径，留空表示允许全部。
• Allow: 在禁止规则中开放特定路径，常用于后台目录中的公开资源。
• Sitemap: 声明站点地图地址，便于爬虫发现内容。

常见写法与注意事项

要屏蔽整个站点可写 Disallow: /；只屏蔽某个目录可写 Disallow: /admin/。规则按路径前缀匹配，且最长匹配优先，因此 Allow 与 Disallow 并存时要检查顺序与长度。

1. 文件必须放在域名根目录，文件名全小写为 robots.txt。
2. 不要用 robots.txt 隐藏敏感数据，它只是爬虫约定。
3. 屏蔽 CSS、JS 可能影响搜索引擎渲染判断，需谨慎。
4. 测试时可用搜索引擎站长工具的 robots 测试功能验证。

最后，修改后及时更新并观察抓取统计，避免误屏蔽造成收录下降。