Robots.txt 禁搜索引擎收录网站教程

很多朋友刚开始做网站的时候,不想让搜索引擎收录,想打算网站完善好再开放搜索引擎收录,需要怎么做呢?

关于禁搜索引擎收录教程,有兴趣的朋友可以跟钟振森一起来学习一下。

一、什么是Robots.txt?

Robots.txt是一个文本文件,关键是这个文件所在的位置:在网站的根目录下。弄错了,就不起作用了!

二、Robots.txt如何起作用?

前面提到过搜索引擎的自动提取信息会遵循一定的算法,但是,无论算法如何,第一步都是在寻找这个文件。其含义是,“贵站对我们这些Robots有什么限制?”所谓的Robots就是搜索引擎派出的蜘蛛或者机器人。如果没有得到回应(没有找到这个文件),代表没有什么限制,尽管来抓取吧。如果真的有这个文件,机器人会读来看看,如果自己被拒绝就会停止抓取过程了。

三、怎么写Robots.txt文件?

遵循语法的Robots.txt才可能被机器人识别,至于语法,介绍起来很繁琐,现简单举例如下:

1、禁止所有搜索引擎访问网站的任何部分(也就是网站彻底的拒绝所有搜索引擎收录)

User-agent: * 

Disallow: /

2、允许所有的robot访问(也就是网站允许所有搜索引擎收录)

User-agent: * 

Disallow:

3、禁止某个搜索引擎的访问(比如禁止百度收录,按如下的方式写)

User-agent: baiduspider 

Disallow: /

4、允许某个搜索引擎的访问(比如允许百度收录,按如下的方式写)

User-agent: baiduspider

Disallow: 

User-agent: * 

Disallow: /

5、禁止搜索引擎访问某些目录 

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /images/

使用方法:很简单,将代码存为一个文本文件,命名为Robots.txt ,放在网页根目录即可。

注意:所有语句都是单规则的,即每行仅声明一条规则,比如例五中三个目录必须分三行列出来。

更多关于Robots的资料请访问:http://www.robotstxt.org/wc/robots.html

来源:钟振森博客,欢迎分享(QQ/微信:209160688)