WordPress网站如何设置robots.txt文件

我们目前架设网站用的最多的程序肯定是WordPress。且从SEO角度考虑，我们会去设置robots.txt，那到底如何设置呢？

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /?s=
Disallow: /author/
Sitemap: https://www.itbulu.com/wp-sitemap.xml

Disallow: /wp-admin/ 比如这个，意思就是禁止所有搜索引擎抓取特定的目录，/wp-admin/ 下面的一些都是禁止抓取的一些敏感目录，不适合展示给公众看的，所以我们直接禁止引擎抓取展示！

Disallow: /?s= 意思禁止抓取网站本地搜索记录

Disallow: /author/ 禁止抓取登录页面以及用户内容

Sitemap: https://www.itbulu.com/wp-sitemap.xml 意思允许所有搜索引擎抓取的内容，如果是其他文件我们自定义的需要自己重新调整。

以上就是一个大概的简易WordPress robots.txt规则，复制到我们网站根目录的robots.txt中。

允许所有搜索引擎抓取所有内容，不限制任何内容。

User-agent: *
Disallow:

如何禁止所有搜索引擎抓取网站

User-agent: *
Disallow: /

如果我们是其他程序，其实也是通用的，关于最后一行地图sitemap需要微调。

本文出处：老蒋部落 » WordPress网站如何设置robots.txt文件 | 欢迎分享（ 公众号：老蒋朋友圈 ）