新版SteemCN遭受AI爬虫

新版的SteemCN部署在Vercel上，额度用的是免费额度，只要网站不是太活跃额度是够用的
哪知昨天刚把SteemCN新版上线不到几个小时，就收到Vercel额度超标的邮件，几个小时后就把网站给停了

Vercel停了，只能把网站部署在自己的服务器上了。

部署完后，查了一下网站日志，发现无时无刻都有“人“在网站上进行操作，行为特征可以认定为Bot，找到原因开始解决机器人问题

好在Cloudflare有个应对机器人的工具Bot Traffice. 通过这个工具分析，基本的爬虫行为来自216.73.216.169这个IP，短短半小时内就对网站进行了15k的请求

开启了Bot Traffic的几个工具来阻挡机器人爬虫

效果还是不错的，一下子进入网站的traffic大大降低！网站也恢复正常

之前还奇怪为什么网站有时候读取个人页面时经常出错，后来发现是载入个人页面时用到了steemworld.org的节点，这个节点1秒限制10次请求。出错是因为机器人爬虫请求太多导致，后面加了3个节点进行轮换也没完全解决这个问题，这次从根本上解决了这问题

_{Posted using [SteemCN](https://www.steemcn.blog)}