前段时间site本站,发现有很多重复内容,这无论是对用户体检还是搜索引擎都是极为不友好的,所以有必要对WordPress robots.txt进行优化,来实现减少重复内容的目的.搜索了下其他网友的robots.txt设置,发现都不是很完美,还是会有很多重复内容,所以自己花了些时间又优化了一下.基本上不会有重复内容了.
开始之前先帮朋友插播个广告,你可以假装没看见:)

QQ表情酷:我们只提供精品QQ表情,所有表情都是经过精心挑选,拒绝任何制作粗糙的QQ表情

好了,广告播放完毕,来看看本站的robots.txt设置:

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-

Disallow: /?s=

Disallow: /?tag=

Disallow: /?feed=

Disallow: /?*cpage=

Disallow: /?*page=1$

Disallow: /?*replytocom=

Disallow: /?attachment_id=

Sitemap: http://www.boxui.com/sitemap.xml

Sitemap: http://www.boxui.com/sitemap.xml.gz

robots.txt写法我就不在这里啰嗦了,你可以自己去搜索一下相关文章,我着重解释一下为什么要这么设置.

1:/cgi-bin,wp-,禁用这2个目录主要从网站安全着想,就不多加解释了.

2:/?s=,禁用站内搜索关键字

3:/?tag=,禁用收录标签

4:/?*cpage=,禁用收录文章评论页面,比如你的一篇文章总共有2页评论的时候,会有类似/?p=1&cpage=1和/?p=1&cpage=2的页面,实际上我们只是想让搜索引擎收录文章而已,所以这里要禁用.

5:/?*page=1$,如果你的文章分成2页显示,那么就会有类似/?1&page=1和/?1&page=2的页面出现,实现上/?1&page=1和/?p=1是同一个页面来的,都是指的文章的第一个页面.所以/?1&page=1必须禁用.

6:/?*replytocom=,文章评论相关的页面,如果不禁用,会出现/?p=1194#comment-1,/?p=1194#comment-2…等一序列链接,实际上都是指向同一个页面,只是自动定位到文章评论的不同位置而成已.

7:/?attachment_id=,这个是禁用收录附件,比较简单.

8:如果你网站有sitemap,那么就加上后面这2行吧.

做人要厚道,转载请注明文章来源: https://www.boxui.com/blog-history/1338.html