js06金沙所有网址js(中国)有限公司

0755-21010815 13726728778

网站seo优化之robots写法说明教程-js06金沙所有网址js(中国)有限公司

来源:js06金沙所有网址js(中国)有限公司 浏览:1042 时间:2017-11-27 10:17:08

网站seo优化之robots写法说明教程-js06金沙所有网址js(中国)有限公司

  robots协议能够保护大家的一些文件不暴露在搜索引擎之下,从而有效的控制蜘蛛的爬取路径,为大家站长做好seo创造必要的条件。尤其是大家的网站刚刚创建,有些内容还不完善,暂时还不想被搜索引擎收录时。

  robots.txt文件是网站的一个纯文本文件,它是给搜索引擎蜘蛛看的。搜索引擎蜘蛛爬行道大家的网站首先就是抓取这个文件,根据里面的内容来决定对网站文件访问的范围。

  robots.txt文件应该放在网站根目录下。

  在一个站点上只能有一个"/robots.txt"文件,而且文件名的每个字母要求全部是小写。

网站seo优化之robots写法说明教程

  robots.txt文件用法举例

  例1.禁止所有搜索引擎访问网站的任何部分

  下载该robots.txt文件User-agent:*

  Disallow:/

  例2.允许所有的robot访问

  (或者也可以建一个空文件"/robots.txt"file)

  User-agent:*

  Disallow:

  例3.禁止某个搜索引擎的访问

  User-agent:BadBot

  Disallow:/

  例4.允许某个搜索引擎的访问

  User-agent:baiduspider

  Disallow:

  User-agent:*

  Disallow:/

  一个简单例子

  在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即搜索引擎不会访问这三个目录。

  需要注意的是对每一个目录必须分开声明,而不要写成"Disallow:/cgi-bin//tmp/"

  User-agent:后的*具有特殊的含义,代表"anyrobot",所以在该文件中不能有"Disallow:

  /tmp/*"or"Disallow:*.gif"这样的记录出现.

  User-agent:*

  Disallow:/cgi-bin/

  Disallow:/tmp/

  Disallow:/~joe/

   

栏目最新信息

地址 · ADDRESS

地址:js06金沙所有网址js市龙华区和平路32号鸿华中心1309

邮箱:bank@shidaidaxin.com

点击查看更多案例

联系 · CALL TEL

0755-21010815

非工作时间请拨打:13726728778

业务QQ: 871 978 666    售后/投诉QQ: 871 808 666

js06金沙所有网址js企业js06金沙所有网址js-js06金沙所有网址js
? 2019 时代达信(js06金沙所有网址js)科技有限企业 版权所有   js06金沙所有网址js(中国)有限公司  网站地图

js06金沙所有网址js|js06金沙所有网址js

XML 地图 | Sitemap 地图