一问一答 · GEO 与 AI 搜索

网站要不要屏蔽 AI 爬虫?

想被 AI 推荐,就不要屏蔽。屏蔽了搜索类爬虫,AI 联网时搜不到你;屏蔽了训练类爬虫,以后的模型不认识你。

Markdown 版 · /ask/block-ai-crawlers.md

AI 爬虫大致分三类,屏蔽的后果不同:

类型 例子 屏蔽之后
训练 GPTBot、ClaudeBot、CCBot 以后的模型训练数据里没有你
搜索索引 OAI-SearchBot、Claude-SearchBot、PerplexityBot AI 联网搜索时找不到你
用户触发 ChatGPT-User、Claude-User 用户把你的网址发给 AI,它也读不了

是否允许训练抓取可以自己决定,但搜索类和用户触发类建议放行。注意有些 CDN 的「屏蔽 AI 爬虫」开关会同时改 robots.txt 和防火墙规则,要去后台确认。

相关问题

让 AI
主动提起你。

GEO、官网、APP 与小程序,由同一个团队负责。

聊聊项目 →