董小松SEO,河北保定SEO爱好者,为seoer提供网站建设以及SEO优化教程视频下载、SEO常见问题解答,为企业网站提供SEO诊断、SEO优化服务!跟我联系

利于搜索引擎优化的robots.txt文件写法

SEO优化进阶 董小松 17658℃ 0评论

站长们都知道,很多时候搜索引擎收录的网站页面都不是我们想让它收录的页面,这一点着实让人烦恼,尤其是网站后台地址,一旦被百度收录,那么网站的安全性就存在很大的隐患,这时候robot.txt文件的作用就可以体现出来了,只要在文件中屏蔽到蜘蛛的访问,百度就不能收录你不想被收录的页面了,这样既可以集中网站的权重,对搜索引擎优化十分有利。

在介绍robot.txt写法之前,先来说说这个东西是干嘛的。从字面意思上来看robots代表的是机器人,从后缀名来看,是个txt文档,通过这个名字可以看出这个文件是给搜索引擎蜘蛛机器人看的一个文件。所谓roots.txt文件,是Robots协议(也称为爬虫协议、机器人协议等),是搜索引擎蜘蛛到你网站后访问的第一个文件,通过这个文件,搜索引擎蜘蛛可以了解到网站那些内容可以抓取,那些页面不可以抓取,当然,我们也可以直接屏蔽掉蜘蛛的访问。了解了这个文件是干嘛的,下面,具体介绍一下robots.txt文件的写法。

robots.txt语句:

User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址
Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。
Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片
Sitemap: 网站地图 告诉爬虫这个页面是网站地图

robots.txt写法举例:

1、禁止所有搜索引擎访问网站的所有部分
User-agent: *
Disallow: /
2、禁止百度索引你的网站
User-agent: Baiduspider
Disallow: /
3、禁止Google索引你的网站
User-agent: Googlebot
Disallow: /
4、禁止除Google外的一切搜索引擎索引你的网站
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /
5、禁止除百度外的一切搜索引擎索引你的网站
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /
6、禁止蜘蛛访问某个目录
(例如禁止admin\css\images被索引)
User-agent: *
Disallow: /css/
Disallow: /admin/
Disallow: /images/
7、允许访问某个目录中的某些特定网址
User-agent: *
Allow: /css/my
Allow: /admin/html
Allow: /images/index
Disallow: /css/
Disallow: /admin/
Disallow: /images/

在书写写这些语句的时候尤其注意的一点是冒号(:)和( /) 之间要有一个空格符,如果这个空格没有加的话,是不能起到作用的,robots.txt文件一般放在网站的根目录下,而且命名必须是robots.txt。rbotts.txt文件

在屏蔽目录的时候,注意,这里如果是阻止抓取某目录的话目录名字一定要注意“/”,不带“/”表示的是阻止访问这个目录页面和目录下的页面,而带上“/”则表示进阻止目录下的内容页面,这两点要分清楚。
为了让搜索引擎更快的收录我们的内页,我们一般都会做一个百度地图或者谷歌地图,那么,Sitemap:+网站地图,这个命令就可以快速的引导搜索引擎蜘蛛来到你的地图页面对网站内页进行抓取。当网站的死链接过多处理非常麻烦的时候,我们可以利用robots来屏蔽这些页面,这样就可以避免网站因为死链接被百度降权。
SEO优化过程中,对于蜘蛛的了解和控制至关重要,关于robot.txt的写法,就先说这些吧,希望能够帮助大家写出利于搜索引擎优化的robots.txt文件。

转载请注明:河北保定SEO » 利于搜索引擎优化的robots.txt文件写法

喜欢 (32)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
(10)个小伙伴在吐槽
  1. 直到我学会了Ctrl+C和Ctrl+V之后,我的经验小康啦,一口气拿3点不费事
    浮选机2014-10-20 21:44 回复
  2. 看完楼主的帖子,我的心情竟是久久不能平复,正如老子所云:大音希声,大象希形。
    双槽浮选机2014-10-21 21:56 回复
  3. 这个小站的经营者很温柔啊真心让人喜欢
    分级机2014-11-10 22:40 回复
  4. 一次次的拜访,楼主感受的肯定是幸福甜甜滴........
    磁选机2014-11-11 19:12 回复
  5. 文章构思新颖,题材独具匠心,段落清晰,情节诡异,跌宕起伏,主线分明,引人入胜,平淡中显示出不凡的文学功底,可谓是字字珠玑,句句经典,是我辈应当学习之典范。
    球磨机2014-11-13 20:02 回复
  6. 只有楼主这样具备广阔胸怀和完整知识体系的人,才能作为这真理的唯一引言者.
    活性石灰回转窑设备2014-12-21 01:58 回复
  7. robots文件缺失很有用
    arm2015-04-23 22:32 回复