如果你的站点对所有搜索引擎公开,则不用做这个文件或者robots.txt为空就行


点击次数: 次 发布时间:2013-1-29

  必须命名为:robots.txt,都是小写,robot后面加"s"。
  robots.txt必须放置在一个站点的根目录下。如:通过http://www.chongyv.com/robots.txt 可以成功访问到,则说明本站的放置正确。每一次搜索引擎的蜘蛛都会第一访问这个文件;来判断网站哪些文件可以正常抓取;
  一般情况下,robots.txt里只写着两个函数:User-agent和 Disallow。
  观察这个页面并修改为自己的:http://www.chongyv.com/robots.txt
  有几个禁止,就得有几个Disallow函数,并分行描述。
  至少要有一个Disallow函数,如果都允许收录,则写: Disallow: ,如果都不允许收录,则写:Disallow: / (注:只是差一个斜杆)。
补充说明:
  User-agent: * 星号说明允许所有搜索引擎收录
  Disallow: /images/ 说明 http://www.chongyv.com/images/ 这个目录禁止搜索引擎抓取。
  合理的优化robots.txt文件可以让蜘蛛在网站抓取工作提高质量,也可以减少服务器资源的浪费,让蜘蛛明确自己的任务。
作者天宇科技 - 如果你的站点对所有搜索引擎公开,则不用做这个文件或者robots.txt为空就行

本文地址:http://www.chongyv.com/News_Show_91_1.html   手机地址http://www.chongyv.com/Mobile/News_Show_91_1.html

版权所有 © 转载时必须以链接形式注明作者和原始出处!
相关文章
关于我们
关于我们
企业文化
最新资讯
核心服务
品牌形象
邢台网站建设
邢台网站优化
成功案例
品牌设计
公司成功案例
邢台网站优化
解决方案
邢台网络公司
邢台网站维护
邢台网络营销
招贤纳士
加入我们
学习发展
常见问题
联系我们
联系我们
我要留言
如何合作
首页
手机网站
FLASH版
旧版邢台网络公司
本站关键词邢台网站建设邢台网站制作邢台网站设计,交换链接QQ:83004814 链接要求:pr>=3,百度快照三天内。