SEO咨询

南昌SEO:robots是否能够取代nofollow?

标签: 南昌SEO | 作者:南昌SEO | 时间:2018-11-20 19:37:28 | 点击: | 来源:博瑞网络
20
Nov
2018

  一个网站,只要页面稍微一多(比如只要有个几百页以上),就遇到一个问题,就是搜索引擎在短短的几天内,没办法把你的所有网页都抓取一遍。几百个网 页都这样,那一些B2B、B2C、招聘网站、分类网站等等稍微大一点的网站这个问题就更加严重,如果你有google webmaster tool ,去“抓取统计信息”里看看就明白了,爬虫一天访问的页面量可能不到你页面总量的1%。页面没有被爬虫抓取,就意味着这些页面要被收录是不可能的。一旦收 录情况不理想,整个网站要获取SEO的机会也是少了很多。

  当nofollow属性出来,一些做SEO的人合理应用了nofollow属性以后,发现爬虫每天的抓取量就应声上去了,接着网站整体的收录量上去了,整体的SEO流量也上去了。(这种方已经是一少部分SEO人屡试不爽的技巧)为什么呢?

robots

  因为只要你合理的应用nofollow属性,就会帮助爬虫节省很多时间,还可以让爬虫更多的抓取那些有收录价值的页面。比如:你网站上有一些链接是 “注册”、“发送反馈”、或者“添加到购物车”等等的链接,这些链接是没有收录价值也不会有排名的。南昌SEO认为这种“垃圾页面”放上nofollow属性以后,爬虫 就不爬了,就会去爬别的没有放上nofollow属性的链接。这样,你节省了爬虫时间(在一定的的期间,爬虫呆在你网站上的总时间是相对固定的)。然后, 也可以“控制”爬虫抓取重要的页面,让那些还没被爬虫抓取的好页面有被收录的机会。虽然爬虫可能还是没有百分百抓取完你的全部网页,但是已经改善太多了。

  就算你用robots.txt禁止了某类URL,蜘蛛依旧会去探测这个URL。同时Google官方也确认,网站的每日爬行 数量和PR有一定关系,那在我PR一定的情况下,我每天被爬行的URL数量是一个差不多定值。然后这类被robots.txt禁止的URL被蜘蛛探测,依 旧会占用其他正常URL的探测机会。只有当使用了nofollow后,才能让蜘蛛彻底的不理睬这个URL,放在我上面的例子中来说,当蜘蛛来到/A /1.html页面后,它检查这个页面的链接信息,发现了similar1.html和similar2.html这两个URL,如果没有 nofollow,那它会探测这两个URL, 当发现这两个URL被robots禁止后,会返回google官方服务器一个数据,这两个URL不能爬行。但是如果加上了nofollow,那蜘蛛可能连 探测都不会去探测它是否遵循robots.txt,而是直接去请求下面的链接了。

  因此nofollow的运用,是提高蜘蛛效率的最佳工具,而robots.txt和meta标记,只是为了减少网页重复和垃圾信息的量。可以说是完全两个用途。当然,配合起来使用,可以让网站被搜索引擎爬行得更多,更好。

最新动态
优化方案 | 新闻资讯 | 建站知识 | 优化知识 | 网络营销知识