网站内页不收录？这份SEO体检清单你还没做！

网站内页不收录?这份SEO体检清单你还没做!

1、robots.txt

设置了禁止搜索引擎爬行和抓取,那么提交到百度、360搜索引擎这些搜索引擎之类的平台,不过不是提交给百度的,这一个搜索引擎要根据提交的网站内容,自行选择哪种抓取方式。

网站的robots.txt,主要针对百度搜索引擎,一方面是对网站文章、商品、内容等进行展示,一方面是对商品页、商品详情页、商品地图、商品、商品图片、商品参数等进行优化。

2、sitemap.xml地图

每个搜索引擎都有一个sitemap.xml地图,而地图有三个功能,sitemap.xml地图、sitemap.xml地图、地图网站地图,sitemap.xml地图对于大型网站,或权重较高的网站,sitemap.xml地图一般是针对搜索引擎,可直接生成xml,也可直接生成xml。

3、Robots.txt

网站要用到的一种格式是robots.txt,一方面可以屏蔽蜘蛛的抓取,另外就可以针对百度、360搜索等搜索引擎进行屏蔽蜘蛛抓取。

正常来说,谷歌对于robots.txt的屏蔽相对比较严格,有些站长可能想不明白为何要屏蔽,这一个屏蔽的原理是什么,其实这一个屏蔽蜘蛛也可看作是屏蔽蜘蛛抓取,当然屏蔽的原理和robots.txt差不多,主要是因为蜘蛛可以阅读你的网站的时候,就屏蔽了你的网站,这样就有利于百度蜘蛛抓取你的网站了。

4、网站url路径

网站路径主要分为静态路径和动态路径,这两种路径其实都是可以被蜘蛛抓取的,但是他们并没有严格的界限,这两种路径的蜘蛛是完全不一样的,因为蜘蛛抓取的路径都是动态的,而且动态路径在蜘蛛抓取的时候是无法识别的,所以蜘蛛在抓取路径的时候也会不清楚。

路径的重要性

静态路径一般都是网站建设中常见的路径,比方淘宝网就是静态路径的代表,如果说你的网站有一个动态的路径,那么蜘蛛会更为快速的抓取到你的网站,反之,如果你的网站有一个静态的路径,那么蜘蛛在抓取的时候会更加清晰,从此更加容易抓取到你的网站。

而动态路径相较来说,蜘蛛抓取的路径相较来说比较长,对于优化来说,还是比较困难的,因为蜘蛛的抓取路径相较来说比较长,对于动态路径来说蜘蛛抓取的路径比较短,而且路径中带有一些参数,如果路径中带有一些参数的话,对于蜘蛛的抓取抓取难易度比较大。