100% 免费工具
机器人爬行指令和语法验证器
免费机器人.txt 测试员
实时测试您网站的爬虫指令。确保Googlebot和AI爬虫可以访问您的重要页面，同时阻止私人目录。
状态为
匹配线 :
通用搜索引擎和人工智能机器人指令
用于阻止或允许搜索爬虫和生成人工智能机器人的基本用户代理规则。
| 机器人名称 | 用户代理字符串 | 影响和类型 | 推荐访问 |
|---|---|---|---|
| Google机器人 | Google机器人 | Google 搜索索引 | 允许全部 |
| 冰博特 | 冰博特 | 必应搜索索引 | 允许全部 |
| GPT机器人 | GPT机器人 | OpenAI 模型训练和搜索 | 选修的 |
| PerplexityBot | PerplexityBot | 人工智能搜索引擎引文 | 允许 GEO |
🚫
避免禁止 CSS/JS
现代 Googlebot 需要完全访问渲染脚本和样式表，以评估布局和移动响应能力。
📍
指定站点地图 URLs
始终将绝对 URL 附加到文件底部的 XML 站点地图，以加速搜索发现。
⚠️
Robots.txt 与 Noindex
禁止 robots.txt 中的页面只会停止抓取，而不会停止索引。使用meta noindex标签对URLs进行完全去索引。
自动抓取错误检测
开始免费审核 →
每日检测技术 SEO 错误
ZevSEO会自动抓取您的网站，如果搜索机器人遇到404死链接或意外不允许，立即提醒您。