常见的robots.txt错误用法

Category: 服务器, 网站优化, Author: admin, Popularity: 14%

1> 颠倒了顺序
错误写成：
User-agent: *
Disallow: Baiduspider

正确的应该是：
User-agent: Baiduspider
Disallow: *

2> 把多个禁止命令放在一行中

例如错误写成：
Disallow: /css/ /cgi-bin/ /images/
正确的应该是：
Disallow: /css/
Disallow: /cgi-bin/
Disallow: /images/

3>行前有大量空格
例如写成：
例如写成：
Disallow: /cgi-bin/
尽管在标准没有谈到这个，但是这种方式很容易出问题。

4> 404重定向到另外一个页面
当Robot访问很多没有设置robots.txt文件的站点时，会被自动404重定向到另外一个Html页面。这时Robot常常会以处理robots.txt文件的方

式处理这个Html页面文件。虽然一般这样没有什么问题，但是最好能放一个空白的robots.txt文件在站点根目录下。

5> 采用大写
例如
USER-AGENT: EXCITE
DISALLOW:
虽然标准是没有大小写的，但是目录和文件名应该小写：
user-agent:GoogleBot
disallow:

6> 语法中只有Disallow，没有Allow
错误的写法是：
User-agent: Baiduspider
Disallow: /john/
allow: /jane/

7> 忘记了斜杠/
错误写作：
User-agent: Baiduspider
Disallow: css
正确的应该是：
User-agent: Baiduspider
Disallow: /css/