Discuz X3.4的robots规则

云墨
云墨
云墨
578
文章
11
评论
2018年9月6日 评论 186

Discuz X3.4的robots规则

Discuz X3.4的robots规则

  1. #
  2. # robots.txt for Discuz! X3
  3. #
  4. User-agent: *
  5. # 暂时封禁所有
  6. Disallow: /
  7. #解禁
  8. Allow: /robots.txt$
  9. # 门户文章和专题
  10. Allow: /topic-*
  11. Allow: /article-*
  12. # 允许抓取的栏目
  13. Allow: /xxxx
  14. # 论坛相关信息
  15. Allow: /forum.php$
  16. Allow: /forum-*
  17. Allow: /thread-*
  18. # 允许抓取图片等附件
  19. Allow: /data/attachment/
  20. # 封禁(禁止抓取网页和页面上的多媒体文件)
  21. Disallow: /api/
  22. Disallow: /archiver/
  23. Disallow: /config/
  24. Disallow: /data/
  25. Disallow: /source/
  26. Disallow: /install/
  27. Disallow: /source/
  28. Disallow: /static/
  29. Disallow: /template/
  30. Disallow: /uc_client/
  31. Disallow: /uc_server/
  32. Disallow: /admin.php
  33. Disallow: /api.php
  34. Disallow: /connect.php
  35. Disallow: /crossdomain.xml
  36. Disallow: /forum.php
  37. Disallow: /go.html
  38. Disallow: /goto/
  39. Disallow: /group.php
  40. Disallow: /home.php
  41. Disallow: /index.php
  42. Disallow: /member.php
  43. Disallow: /misc.php
  44. Disallow: /plugin.php
  45. # 如果论坛为首页,则下面这一行请提到最上面,并且改为Allow
  46. Disallow: /portal.php
  47. Disallow: /search.php
  48. Disallow: /userapp.php
  49. Disallow: /*?*
  50. Disallow: /?*
  51. Disallow: /&*
  52. Disallow: /*&*
  53. Disallow: /*mobile=yes*

 

  • 我的微信
  • 这是我的微信扫一扫
  • weinxin
  • 站长技术资源群
  • QQ群:431710796
  • weinxin
云墨
  • 本文由 发表于 2018年9月6日
  • 转载请务必保留本文链接:https://www.yunmoseo.com/1660.html
匿名

发表评论

匿名网友