Discuz X3.4的robots规则
- #
- # robots.txt for Discuz! X3
- #
- User-agent: *
- # 暂时封禁所有
- Disallow: /
- #解禁
- Allow: /robots.txt$
- # 门户文章和专题
- Allow: /topic-*
- Allow: /article-*
- # 允许抓取的栏目
- Allow: /xxxx
- # 论坛相关信息
- Allow: /forum.php$
- Allow: /forum-*
- Allow: /thread-*
- # 允许抓取图片等附件
- Allow: /data/attachment/
- # 封禁(禁止抓取网页和页面上的多媒体文件)
- Disallow: /api/
- Disallow: /archiver/
- Disallow: /config/
- Disallow: /data/
- Disallow: /source/
- Disallow: /install/
- Disallow: /source/
- Disallow: /static/
- Disallow: /template/
- Disallow: /uc_client/
- Disallow: /uc_server/
- Disallow: /admin.php
- Disallow: /api.php
- Disallow: /connect.php
- Disallow: /crossdomain.xml
- Disallow: /forum.php
- Disallow: /go.html
- Disallow: /goto/
- Disallow: /group.php
- Disallow: /home.php
- Disallow: /index.php
- Disallow: /member.php
- Disallow: /misc.php
- Disallow: /plugin.php
- # 如果论坛为首页,则下面这一行请提到最上面,并且改为Allow
- Disallow: /portal.php
- Disallow: /search.php
- Disallow: /userapp.php
- Disallow: /*?*
- Disallow: /?*
- Disallow: /&*
- Disallow: /*&*
- Disallow: /*mobile=yes*
- 我的微信
- 这是我的微信扫一扫
-
- 站长技术资源群
- QQ群:431710796
-
评论