AI 爬虫大致分三类,屏蔽的后果不同:
| 类型 | 例子 | 屏蔽之后 |
|---|---|---|
| 训练 | GPTBot、ClaudeBot、CCBot | 以后的模型训练数据里没有你 |
| 搜索索引 | OAI-SearchBot、Claude-SearchBot、PerplexityBot | AI 联网搜索时找不到你 |
| 用户触发 | ChatGPT-User、Claude-User | 用户把你的网址发给 AI,它也读不了 |
是否允许训练抓取可以自己决定,但搜索类和用户触发类建议放行。注意有些 CDN 的「屏蔽 AI 爬虫」开关会同时改 robots.txt 和防火墙规则,要去后台确认。