成都SEO到诉你如何正确的使用robots.txt协议

发布时间:2019-09-26 20:48  作者:成都seo  分类:seo优化技术   来源:www.cdseo.org  阅读:

  对于站长朋友来说robots.txt这个网站协议并不陌生吧。在我们做网站的时候要优化服务器时,第一件事就是优化这个协议。这个协议主要就是让搜索引擎不抓什么和抓什么的关键,可以是蜘蛛少抓取没有什么用的文件。如果你的网站没有robots.txt,那就是没有网站协议,就等于你的网站对于搜索引擎来说是完全开放的,可以抓取网站的所有内容。我们都是希望搜索引擎多抓取收录网站的前台页面,而我们的后台是不能让他收录的,如果我们的后台被别人知道了,说不定那天我们的网站就被别人悄无声息的给盗取了或者给替换了。所以我们的网站需要一个robots.txt网站协议和告诉搜索引擎应该如何爬行我们的网站

  如何写robots.txt网站协议?

  1、可以自己创建一个记事本直接写

  2、可以在网站搜索robots.txt在线生成工具进行

  robots.txt网站协议书写语法:

  User-agent:定义进制搜索引擎,常见搜索引擎:百度(Baiduspider)、谷歌(Googlebot)、360(360Spider)等。如果用*号则代表全部搜索引擎

  Disallow:表示不允许收录

  Allow:表示允许收录

  常见robots写法举例:

  User-agent: * (允许所有搜索引擎抓取,但是禁止搜索引擎抓取以下内容)

  Disallow:/seo/(禁止搜索引擎抓取seo栏目下面的所有内容页面)

  Disallow:/seo(禁止以seo开头的所有栏目内容页面,比如:seoyouhua栏目同样禁止抓取)

  Allow:/seo/youhua/(禁止了搜索引擎抓取seo栏目下面的所有内容页面,但是可以抓取seo栏目下面的youhua栏目文件名)

  Disallow:*?*(网站所有带“?”的路径都会禁止抓取,一般带“?”的都是网站动态页面,同时说明:禁止抓取所有的动态页面)

robots协议的好处

  robots网站协议有什么好处?

  一、方便搜索引擎爬起工作

  如果你的网站内容丰富,页面很多,设置Robots.txt文件更为重要,比如你有个网站,整个站有50多个G,打开页面可能会比较慢,如果不配置好Robots.txt文件的话,蜘蛛爬行工作就会很费力,而且如果太多的蜘蛛爬行,以至会影响你网站的正常访问。

  二、屏蔽不想让搜索引擎抓取的文件

  三、robots.txt对网站地图链接重要性

  如果我们把自己的网站地图链接放在robots.txt文件里,那么我们每天就不用到各个搜索引擎的站长工具或者相似的站长部分去提交自己的sitemap文件,各大搜索引擎都发布了对网站地图的新的支持方式,就是在robots.txt文件里直接包括sitemap文件的链接。目前对此表示支持的搜索引擎公司有Google,Yahoo,而中文搜索引擎公司,显然不在这个圈子内。