12月 4th, 2008

常见的robots.txt错误用法

Category: 网站优化, 服务器, Author: admin, Popularity: 13%

1> 颠倒了顺序
错误写成:
User-agent: *
Disallow: Baiduspider

正确的应该是:
User-agent: Baiduspider
Disallow: *

2> 把多个禁止命令放在一行中

例如错误写成:
Disallow: /css/ /cgi-bin/ /images/
正确的应该是:
Disallow: /css/
Disallow: /cgi-bin/
Disallow: /images/

3>行前有大量空格
例如写成:
例如写成:
Disallow: /cgi-bin/
尽管在标准没有谈到这个,但是这种方式很容易出问题。

4> 404重定向到另外一个页面
当Robot访问很多没有设置robots.txt文件的站点时,会被自动404重定向到另外一个Html页面。这时Robot常常会以处理robots.txt文件的方

式处理这个Html页面文件。虽然一般这样没有什么问题,但是最好能放一个空白的robots.txt文件在站点根目录下。

5> 采用大写
例如
USER-AGENT: EXCITE
DISALLOW:
虽然标准是没有大小写的,但是目录和文件名应该小写:
user-agent:GoogleBot
disallow:

6> 语法中只有Disallow,没有Allow
错误的写法是:
User-agent: Baiduspider
Disallow: /john/
allow: /jane/

7> 忘记了斜杠/
错误写作:
User-agent: Baiduspider
Disallow: css
正确的应该是:
User-agent: Baiduspider
Disallow: /css/

相关日志

Tags:.
评论数量() | Add Comments
本文网址:http://www.9usb.net/200812/robots-txt-error.html

There are No comments.

» You can leave a response

leave a reply