收集屏蔽各大AI公司爬虫IP或者User Agent

闲聊 无标签
0 493
WIZ
WIZ 自成一派 2024-12-05 15:16:33
Lv:45级
搜索引擎爬虫可以给网站带来访客。

但AI爬虫并不被欢迎,并且没有底线的爬,服务器都快被爬挂了。

有没有整理AI爬虫的User Agent 或着爬虫IP,批量屏蔽一下。

User-agent: AI2Bot
User-agent: Ai2Bot-Dolma
User-agent: Amazonbot
User-agent: anthropic-ai
User-agent: Applebot
User-agent: Applebot-Extended
User-agent: Bytespider
#注意:Bytespider是字节跳动的爬虫,也用于头条搜索,请根据网站来自头条的流量决定是否要屏蔽
User-agent: CCBot
User-agent: ChatGPT-User
#注意:ChatGPT-User是代理用户访问的爬虫,该爬虫不用于收集数据训练AI,请根据情况自行决定是否屏蔽
User-agent: Claude-Web
User-agent: ClaudeBot
User-agent: cohere-ai
User-agent: Diffbot
User-agent: DuckAssistBot
User-agent: FacebookBot
User-agent: facebookexternalhit
User-agent: FriendlyCrawler
User-agent: Google-Extended
User-agent: GoogleOther
User-agent: GoogleOther-Image
User-agent: GoogleOther-Video
User-agent: GPTBot
User-agent: iaskspider/2.0
User-agent: ICC-Crawler
User-agent: ImagesiftBot
User-agent: img2dataset
User-agent: ISSCyberRiskCrawler
User-agent: Kangaroo Bot
User-agent: Meta-ExternalAgent
User-agent: Meta-ExternalFetcher
User-agent: OAI-SearchBot
User-agent: omgili
User-agent: omgilibot
User-agent: PerplexityBot
User-agent: PetalBot
User-agent: Scrapy
User-agent: Sidetrade indexer bot
User-agent: Timpibot
User-agent: VelenPublicWebCrawler
User-agent: Webzio-Extended
User-agent: YouBot


楼主签名:DNSWIZ 站长故事
回帖
回复列表

    请遵守各国法律法规 严禁违规内容

    • QQ群:1140251126
    • Email:m@max.ooo
    • 本站可以自由发布外链
    • 本站域名皆为闲置域名,均可出售
    Hot posts
    01 kupid.ai和herahaven.com应该选哪个? 552
    02 a.icu b.icu c.icu d.icu 同时掉 527
    03 aigc.cx又多了一个域名 518
    04 今天把所有的google广告去掉了 518
    05 秀秀新米(已出) 511
    06 迅雷 12 精简绿色版(12.1.6.2780) 497
    07 Windows 11 LTSC 优化版 - placeholder(2025.02.27) 474
    08 deepseek给我的域名的建议 450
    09 音频文件转换软件 XRecode 3(1.164) 429
    10 虚拟机软件 | VMware Workstation 精简版(17.6.3) 415
    推荐主机