现在的位置: 首页 > 计算机 > 正文

wordpress robots.txt写法

2012年03月01日 计算机 ⁄ 共 440字 ⁄ 字号 评论关闭

robots.txt 是一种存放于网站根目录下的文本文件,它告诉网络蜘蛛此网站中的哪些内容是不能被搜索引擎的漫游器获取的,哪些是可以被(漫游器)获取的。

这个写法各有各的说法,经过自己的总结以及网络上的综合,wordpress的robots.txt写法可以参照如下:

User-agent: *

Disallow: /wp-*
Disallow: /cgi-bin/
Disallow: /index.php

Disallow: */comment-page-*
Disallow: /*?replytocom=*
Disallow: */trackback/
Disallow: */feed/
Disallow: /page/

Disallow: /*.css$
Disallow: /*.js$

Allow: /wp-content/uploads

Sitemap: http://www.bbgxzx.com/sitemap_baidu.xml
Sitemap: http://www.bbgxzx.com/sitemap.xml

抱歉!评论已关闭.