Nginx 过滤爬虫

老蒋 发布于 2021-11-19 14:21:20

今天老蒋遇到网友一个网站负载比较大，然后通过日志看到有乱七八糟的爬虫在抓取。如果我们需要设置的话，可以通过一些CDN前端过滤也是可以的，同时，我们可以用Nginx设置过滤爬虫，比如用到user_agent（UA）进行过滤。在这里简单的整理几个常用的UA过滤办法。 #禁止Scrap...