Nginx屏蔽爬虫

老蒋 发布于 2021-11-19 14:41:43

这里简单记录下用户需求，看到网站的分页页面有蜘蛛爬虫在抓取导致服务器的负载变大。于是希望将这些分类没用的目录禁止抓取，但是用户是可以翻页显示的。本来开始是用rebots.txt进行屏蔽的，但是效果不大。 User-agent: * Disallow: /*/*/page/ 屏蔽后...