Nginx分离爬虫

老蒋 发布于 2021-11-19 14:57:56

这里老蒋看到一个业务需求是将Nginx环境中将蜘蛛和爬虫的请求和用户的请求分离不同的后端。比如我们可以预先设定爬虫的记录，然后在符合要求的爬虫和不属于的时候进行分离。这里简单的记录如下。 1、用map来匹配变现 map $http_user_agent $is_bot { def...