robots协议禁止收录网站某一篇文章地址

网站 robots.txt 文件配置方法,如何禁止搜索引擎收录指定网站某一篇超链接地址呢,今天跟着麦站一起学学吧。

搜索引擎通过网络蜘蛛抓取网页的内容,并展示在相关的搜索结果中。但是有些网页内容我们可能并不想被搜索引擎收录和索引,如管理员后台等。

我们就可以通过 robots.txt 文件来声明允许/禁止搜索引擎的蜘蛛抓取某些目录或网页,从而限制搜索引擎的收录范围。

robots协议禁止收录网站某一篇文章地址

什么是 robots.txt

Robots是站点与spider沟通的重要渠道,站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

Robots.txt用法:

User-agent:用于指定指令所作用于的目标抓取工具(网络蜘蛛),后接抓取工具名称;

Disallow:指定不允许抓取的目录或网页,后面为空则表示允许抓取一切页面;

Allow:指定允许抓取的目录或网页;

Sitemap:站点地图的位置,必须是绝对路径;

*:表示通配符;

$:表示网址结束;

/:匹配根目录以及任何下级网址。

禁止抓取某一个超链接:

Disallow: /news/hangyejishu/43.html

robots.txt文件用法举例

robots协议禁止收录网站某一篇文章地址

Robots.txt工具:

http://tool.chinaz.com/robots/

1. 如有链接无法下载、失效或广告,请联系QQ:181289218 处理!
2. 本站的所有资源为购买、网络收集,或者用户投稿的资源,版权归原作者及网站所有!
3. 如若侵犯了您的权利,请及时联系站长删除!
4. 本站提供的资源,都不包含技术服务请大家谅解!
5. 此软件“仅限学习交流,不能用于商业用途”!
6. 如用于商业用途,请到官方购买正版软件,追究法律责任与“云墨SEO”站点无关!
  • 我的微信
  • 这是我的微信扫一扫
  • weinxin
  • 站长技术资源群
  • QQ群:431710796
  • weinxin
云墨
  • 本文由 发表于 2021年12月4日
  • 转载请务必保留本文链接:https://www.yunmoseo.com/4065.html
老域名筛选与秒收实战技术 SEO基础百科

老域名筛选与秒收实战技术

1、老域名筛选与秒收实战技术 教你怎么去获取一个大量的一个老域名。 https://domain.aizhan.com/ 首先你要把这三个选项选项选择好,第一个删除类型,第二个删除时间,第三个排序的 ...
【致新手】 SEO优化技巧分享 SEO基础百科

【致新手】 SEO优化技巧分享

【致新手】 SEO优化技巧分享 仔细阅读, 让你受益匪浅 定义:SEO指通过站内优化使网站满足搜索引擎收录排名需求,在搜索引擎中提高关键词排名,从而吸引精准用户进入网站,获得免费流量 一. 明确网站定...
匿名

发表评论

匿名网友