# 小型 robots.txt
# 关于此文件的更多信息可以在 http://www.robotstxt.org/wc/robots.html 找到
# 以井号（“#”）标记开始的行表示注释并可以被删除。
# 如果你的drupal站点在文档根目录下的某个子目录（如 /drupal）
# 请在下面的路径前面添加子目录路径
# 要阻止某个特定机器人索引目录exampledir
# 只要加入下面两行（删除#号）
# user-agent: 特定机器人
# Disallow: /exampledir/
# 已知机器人列表可以在 http://www.robotstxt.org/wc/active/html/index.html 找到
# 可以访问 http://www.sxw.org.uk/computing/robots/check.html 进行语法检查
User-agent:Googlebot
Crawl-Delay: 10
Disallow: /Admin
Disallow: /bbs
Disallow: /Data
Disallow: /duilian
Disallow: /qq
Disallow: /bak
Disallow: /counter
Disallow: /inc
Disallow: /js
Disallow: /User
Disallow: /UploadFiles
User-agent:baiduspider
Crawl-Delay: 10
Disallow: /Admin
Disallow: /bbs
Disallow: /Data
Disallow: /duilian
Disallow: /qq
Disallow: /bak
Disallow: /counter
Disallow: /inc
Disallow: /js
Disallow: /User
Disallow: /UploadFiles
User-agent: *
Disallow:/