robots txt 怎么用：从基础写法到 SEO 抓取优化实战指南

📍 WDQWDWQD987AAAAA:216.73.217.134
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /1c5fc01cfed6.html
📄

robots txt 是网站根目录下的纯文本协议文件，用来告诉搜索引擎爬虫哪些页面可以抓取、哪些应当回避。它虽然不是强制指令，但对控制抓取预算、保护后台目录、引导蜘蛛发现优质内容有重要作用。正确配置 robots txt，是技术 SEO 的基础工作之一。

robots txt 的基本语法

文件必须命名为 robots.txt，放在域名根目录，例如 https://example.com/robots.txt。常用指令包括：

• User-agent：指定规则适用的爬虫，星号表示所有爬虫。
• Disallow：禁止抓取的路径，斜杠表示全站禁止。
• Allow：在禁止范围内开放特定路径。
• Sitemap：声明站点地图地址，便于爬虫发现页面。

一个简单示例：User-agent: * 下一行写 Disallow: /admin/，再写 Allow: /admin/public/。注意路径区分大小写，规则按最长匹配生效。

常见配置误区

很多站点误用 Disallow: / 导致整站被屏蔽，或把 CSS、JS 文件全部禁止，影响搜索引擎渲染页面。robots txt 只能阻止抓取，不能阻止收录；若页面已被外部链接指向，仍可能出现在搜索结果中。敏感内容应使用密码保护或 noindex 标签，而不是只依赖 robots txt。

SEO 优化建议

1. 把后台、购物车、搜索结果页等低价值路径加入 Disallow，节约抓取预算。
2. 在文件末尾添加 Sitemap 指令，帮助爬虫快速定位内容。
3. 上线前用搜索引擎官方工具测试规则，避免误屏蔽重要栏目。
4. 定期检查 robots txt 是否被意外修改，并保留版本记录。

总之，robots txt 要写得精准而克制：只屏蔽真正无需抓取的路径，同时保持对搜索引擎的友好开放。配合站点地图和清晰的网站结构，才能让抓取与收录效率最大化。