有用类似python或者其它小工具批量搜集数据采集的。
有广告商或者seo优化服务的蜘蛛分析网站数据不停爬。
还有些大厂大范围搜集数据,比如亚马逊,360等。
现在又多了AI蜘蛛,搜集所有网站内容综合来用。
很多人直接屏蔽国外IP,效果肯定是可以。
但咱有国外用户啊,不能一竿子打死。
那些商业蜘蛛对robots.txt里的规则完全无视。
每天网站正常访客没几个,这些奇怪的访问留下一片一片的记录。
以前盼着蜘蛛来爬,现在蜘蛛能把网站爬死。
阿里云的服务器好一点,好像阿里云在外面有一层,过滤了大量恶意扫描动作。
并且安全组里自定义也没什么限制。
腾讯云安全组就有点鸡肋,限制200条规则,限制不了几个IP段,不得不从服务器上添加。
我是极力减小服务器的负担,不想在服务器上添加任何影响速度的东西,可又不得不加。
然后我就开始搜集恶意IP了,整理一个恶意IP列表。
这个好像只有分享国外IP段的,一棍子打死的方式。
我是手工整理的,虽然不多,但是有针对性,极力保证不会误杀正常访问者。
几个月的时间,我每天整理十几个IP,最后整理出IP和IP段。
优刻云的海外IP大范围的IP段都存在恶意扫描的动作,我直接把它所有的IP都屏蔽了。
OVH,亚马逊,华为云也在考虑全部屏蔽的范围内。
可以交换恶意IP列表。
把整理出来的综合起来
首先搞出来屏蔽的是优刻云的IP段