网站robots.txt文件写法教程(关闭网站robots限制)

1、网站想要让所有的搜索引擎抓取（常用写法）

User-agent: *
Allow: /

2、禁止所有搜索引擎访问网站的所有部分

User-agent: *
Disallow: /

3、禁止百度索引你的网站

User-agent: Baiduspider
Disallow: /

4、禁止Google索引你的网站

User-agent: Googlebot
Disallow: /

5、禁止除Google外的一切搜索引擎索引你的网站

User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /

6、禁止除百度外的一切搜索引擎索引你的网站

User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /

7、禁止蜘蛛访问某个目录（例如禁止admin\css\images被索引）

User-agent: *
Disallow: /css/
Disallow: /admin/
Disallow: /images/

8、允许访问某个目录中的某些特定网址

User-agent: *
Allow: /css/my
Allow: /admin/html
Allow: /images/index
Disallow: /css/
Disallow: /admin/
Disallow: /images/

<