网站robots文件优化：常见问题及解决方案

网站robots文件优化:常见问题及解决方案

1、百度站长平台robots文件诊断

上图是网站的robots文件上传日期,我们的网站地图是:百度站长平台 / 站长平台 / 百度站长平台/ / 站长工具/ 网站地图/ SEO工具

百度站长平台/ / 百度站长平台 / 站长工具/ / 网站地图/ 地图/ robots文件在网站的标题中,不要重复网站的路径,默认设置为indexl.html的即可,然后将网站路径设置成的伪静态,这样就可让百度蜘蛛的爬取网站路径,然后让百度蜘蛛爬行我们的网站。

2、robots文件操作

3、网站结构

1)网站robots文件名:有利于seo优化

2)robots文件个数:5个

3)robots文件属性:是页面禁止搜索引擎抓取,网站尽可能使用文本形式,内容要和页面本身主题相关

4)robots文件的内链和外链:内容相关性强,可恰当使用内链,高品质的内链可提高受众的粘性,也可帮助百度蜘蛛爬取网站,外链也可促进百度蜘蛛爬取网站。

3、抓取异常

2)抓取异常主要包括两种情况,一种是404,一种是200。

404表示网站改版或域名更换,需要将旧的网址重定向到新的网址上,同时301重定向也建议使用。

200代表服务器临时关闭,当然,更换服务器会直接影响蜘蛛的抓取,也会丢失原有的搜索引擎蜘蛛,导致新的抓取失败,当然,这里要提醒大家的是,当网站出现死链接,千万不要进行404的跳转,以避免导致蜘蛛迷路。

301代表永久重定向,正常来说,搜索引擎会把权重传递给新的链接,如果在旧的链接抓取失败,也会导致蜘蛛流失,所以,要定期检查死链接,避免蜘蛛流失。

302代表临时性重定向,如果你的网站临时关闭,但是没有内容,可使用302返回码将页面重定向到新的链接。

302表示临时性跳转,如果你的网站临时关闭,但是没有内容,那么你可使用302跳转重定向,这样受众就不会常常光顾你的网站,由于网络信息的便捷获取已经将你的网站判定为作弊,从此降低对你网站的抓取。

303代表域名重定向,新域名网站临时关闭,这种情况通常会被搜索引擎认为是低质量的链接,从此降低搜索引擎对网站的抓取,同时,我们也建议大家常常使用站长平台的网站重定向工具,这样就可以避免域名的风险。