robots.txt 文件本质上是给网络机器人（爬虫）的一套指令。当像 Google 这样的搜索引擎访问网站时，首先寻找的就是这个文件。它使用“机器人排除协议”（Robots Exclusion Protocol）来发出指令，例如“User-agent”（规则适用的爬虫对象）和“Disallow”（应忽略的路径）。虽然它非常适合防止爬虫在低价值页面（如登录页面、内部搜索结果或后台文件夹）上浪费时间，但要注意的是，robots.txt 并不是百分之百能阻止页面进入 Google 索引。如果一个页面在 robots.txt 中被封禁，但外部有链接指向它，Google 仍可能索引该 URL。要彻底防止页面出现在搜索结果中，需要使用“noindex”标签。错误配置 robots.txt 是常见的技术 SEO 错误；不小心封禁了整个网站会导致搜索可见性完全丧失，因此必须谨慎处理。
逐步指南
定位或创建文件
确保在网站根目录下存在名为 robots.txt 的文件（例如 example.com/robots.txt）。
定义 User-Agents
指定规则适用的机器人，使用星号 (*) 代表所有机器人，或指定“Googlebot”。
设置 Disallow 规则
列出你希望对搜索引擎爬虫保密的目录或特定文件路径。
添加 Sitemap 链接
在文件底部包含指向 XML Sitemap 的直接链接，帮助机器人快速发现内容。
测试错误
使用 Google Search Console 的 robots.txt 测试工具，确保没有误伤重要页面。
Pro Tips
- 对私密或重复页面（如 /wp-admin/ 或 /search/）使用 'Disallow' 指令。
- 切勿使用 robots.txt 隐藏敏感用户数据，请使用密码保护代替。
- 保持语法简洁；过于复杂的规则可能导致抓取错误。
pSeoMatic 如何提供帮助
pSeoMatic 会自动监控您的 robots.txt 文件。如果开发人员不小心封禁了网站的高流量板块，我们的系统会立即发出告警，在严重的流量损失影响您的利润前，及时挽救搜索可见性。
免费试用 pSeoMatic相关问题
robots.txt 能停止页面被索引吗？
它能停止抓取，但如果其他网站链接到该页面，索引仍可能发生。彻底删除索引请使用 noindex 标签。
robots.txt 文件应该放在哪里？
必须放在网站托管服务器的主根目录下。
robots.txt 区分大小写吗？
是的，文件名以及其中列出的目录路径都严格区分大小写。
相关指南
准备好付诸行动了吗？
pSeoMatic 根据您的数据生成数千个经过 SEO 优化的页面。