robots txt 是什么？一文详解 robots.txt 写法与 SEO 作用

📍 WDQWDWQD987AAAAA:216.73.216.228
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /2f9b4e5b7afb.html
📄

robots.txt 是网站根目录下的一个纯文本文件，用于告诉搜索引擎爬虫哪些页面可以抓取、哪些页面应当避开。它是最基础的 SEO 配置之一，正确使用 robots.txt 能有效管理爬虫行为，避免浪费抓取预算，同时保护后台、隐私或重复内容不被索引。

robots.txt 的基本语法

一个 robots.txt 文件通常由多条记录组成，每条记录以 User-agent 开头，指定目标爬虫，随后用 Allow 和 Disallow 规则控制路径。示例中 User-agent: * 表示所有爬虫，Disallow: /admin/ 表示禁止抓取 admin 目录。如果需要声明站点地图，可加入 Sitemap 指令，帮助爬虫更快发现重要页面。

常见指令说明

• User-agent：指定规则适用的爬虫名称，星号代表所有爬虫。
• Disallow：禁止抓取的路径，留空表示允许全部。
• Allow：允许抓取的路径，优先级通常高于 Disallow。
• Sitemap：指向 XML 站点地图的完整 URL。

robots.txt 与 SEO 的关系

robots.txt 只控制抓取，不控制索引。若希望页面不被收录，应配合 noindex 元标签使用。错误地屏蔽 CSS、JS 或重要栏目，可能导致搜索引擎无法正确渲染页面，进而影响排名。建议定期通过搜索引擎站长工具检查 robots.txt 的抓取状态，确保规则与网站结构同步更新。

最佳实践建议

1. 将 robots.txt 放在网站根目录，并确保返回 200 状态码。
2. 避免使用 Disallow 屏蔽整站，除非站点处于测试阶段。
3. 为移动端和桌面端保持一致的抓取规则，减少配置冲突。
4. 上线新规则前，先在测试环境验证路径匹配效果。

总之，robots.txt 是爬虫与网站之间的沟通桥梁。合理配置既能提升抓取效率，也能降低低质页面被索引的风险，是每个 SEO 从业者必须掌握的基础技能。