登录
    如果您想得到任何关于IT方面的所有资料,联系bo主,即可免费获得。

小冷介绍robots该怎么写。

当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。百度官方建议,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。

robots、robots.txt

robots的写法:

robots.txt是一个最简单的.txt文件,用以告诉搜索引擎哪些网页可以收录,哪些不允许收录。
关于robots.txt一般站长需要注意以下几点:
如果你的站点对所有搜索引擎公开,则不用做这个文件或者robots.txt为空就行。
必须命名为:robots.txt,都是小写,robot后面加”s”。
robots.txt必须放置在一个站点的根目录下。如:通过http://www.seowhy.com/robots.txt 可以成功访问到,则说明本站的放置正确。
一般情况下,robots.txt里只写着两个函数:User-agent和 Disallow。
观察这个页面并修改为自己的:http://www.seowhy.com/robots.txt
有几个禁止,就得有几个Disallow函数,并分行描述。
至少要有一个Disallow函数,如果都允许收录,则写: Disallow: ,如果都不允许收录,则写:Disallow: /  (注:只是差一个斜杆)。
强调一下:
User-agent: *  星号说明允许所有搜索引擎收录
Disallow: /search.html   说明 http://www.seowhy.com/search.html 这个页面禁止搜索引擎抓取。
Disallow: /index.php?   说明类似这样的页面http://www.seowhy.com/index.php?search=%E5%A5%BD&action=search&searchcategory=%25 禁止搜索引擎抓取。

以上就是robots的介绍。

 


转载请注明文章来源于:成都seo----加上本文链接

万分感谢

如果你喜欢我们的文章不防关注我们的微信公众号ruichuangwangluo
喜欢 (1)分享 (0)
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
成都seo网站地图