# 网站要不要屏蔽 AI 爬虫？

> 想被 AI 推荐，就不要屏蔽。屏蔽了搜索类爬虫，AI 联网时搜不到你；屏蔽了训练类爬虫，以后的模型不认识你。

AI 爬虫大致分三类，屏蔽的后果不同：

| 类型 | 例子 | 屏蔽之后 |
| --- | --- | --- |
| 训练 | GPTBot、ClaudeBot、CCBot | 以后的模型训练数据里没有你 |
| 搜索索引 | OAI-SearchBot、Claude-SearchBot、PerplexityBot | AI 联网搜索时找不到你 |
| 用户触发 | ChatGPT-User、Claude-User | 用户把你的网址发给 AI，它也读不了 |

是否允许训练抓取可以自己决定，但搜索类和用户触发类建议放行。注意有些 CDN 的「屏蔽 AI 爬虫」开关会同时改 robots.txt 和防火墙规则，要去后台确认。

## 相关问题

- [robots.txt 怎么写才能放行 AI 爬虫？](https://dapengkeji.com/ask/robots-txt-ai.md)

---

来源：[网站要不要屏蔽 AI 爬虫？](https://dapengkeji.com/ask/block-ai-crawlers) · 大鹏科技（dapengkeji.com）· 联系 hello@dapengkeji.com
