1. 主页 > SEO优化 >

比较详细的robots.txt协议文件写法

许多建站系统,在建成网站后,都网站根目次,默认有robots.txt协议文件。在网站优化竞争日益加剧的本日,原本设立之初无优化因素的robots.txt文件也被最大化利用,把握其写法,有备无患。 一:robots.txt […]

许多建站系统,在建成网站后,都网站根目次,默认有robots.txt协议文件。在网站优化竞争日益加剧的本日,原本设立之初无优化因素的robots.txt文件也被最大化利用,把握其写法,有备无患。

一:robots.txt协议文件有什么用?

搜索引擎会见一个网站的时候,最先会见的文件就是robots.txt。她汇报搜索引擎蜘蛛,哪些网站页面可以被抓取,哪些克制抓取。外貌来看,这个成果浸染有限。从搜索引擎优化的角度来看,可以通过屏蔽页面,到达会合权重的浸染,这,也是优化人员最为垂青的处所。

以某seo站点为例,其robots.txt文件如图所示:

robots.txt协议文件展示

二:网站配置robots.txt的几个原因。

1:配置会见权限掩护网站安详。

2:克制搜索引擎爬取无效页面,会合权值到主要页面。

三:怎么用尺度写法书写协议?

有几个观念需把握。

User-agent暗示界说哪个搜索引擎,如User-agent:Baiduspider,界说百度蜘蛛。

Disallow暗示克制会见。

Allow暗示运行会见。

通过以上三个呼吁,可以组合多种写法,答允哪个搜索引擎会见或克制哪个页面。

四:robots.txt文件放在哪里?

此文件需安排在网站的根目次,且对字母巨细有限制,文件名必需为小写字母。所有的呼吁第一个字母需大写,其余的小写。且呼吁之后要有一个英文字符空格。

五:哪些时候需要利用该协议。

1:无用页面,许多网站都有接洽我们,用户协议等页面,这些页面相对付搜索引擎优化来讲,浸染不大,此时需要利用Disallow呼吁克制这些页面被搜索引擎抓取。

2:动态页面,企业范例站点屏蔽动态页面,有利于网站安详。且多个网址会见同一页面,会造成权重分手。因此,一般环境下,屏蔽动态页面,保存静态或伪静态页面。

3:网站靠山页面,网站靠山也可以归类于无用页面,克制收录有百益而无一害。

来历:robots.txt协议

当前位置:seo教程 » SEO优化技能 »

本文地点:https://www.xminseo.com/2446.html

or分享 (0)

本文由摸索网(https://www.lnmosuo.com)发布,不代表摸索网立场,转载联系作者并注明出处:

联系我们

工作日:9:30-18:30,节假日休息

*/