SEO咨询

南昌SEO到诉你如何正确的使用robots.txt协议

标签: 南昌SEO | 作者:博睿网络 | 时间:2018-09-19 21:30:45 | 点击: | 来源:南昌SEO
19
Sep
2018

  对于站长朋友来说robots.txt这个网站协议并不陌生吧。在我们做网站的时候要优化服务器时,第一件事就是优化这个协议。这个协议主要就是让搜索引擎不抓什么和抓什么的关键,可以是蜘蛛少抓取没有什么用的文件。如果你的网站没有robots.txt,那就是没有网站协议,就等于你的网站对于搜索引擎来说是完全开放的,可以抓取网站的所有内容。我们都是希望搜索引擎多抓取收录网站的前台页面,而我们的后台是不能让他收录的,如果我们的后台被别人知道了,说不定那天我们的网站就被别人悄无声息的给盗取了或者给替换了。所以我们的网站需要一个robots.txt网站协议和告诉搜索引擎应该如何爬行我们的网站

  如何写robots.txt网站协议?

  1、可以自己创建一个记事本直接写

  2、可以在网站搜索robots.txt在线生成工具进行

  robots.txt网站协议书写语法:

  User-agent:定义进制搜索引擎,常见搜索引擎:百度(Baiduspider)、谷歌(Googlebot)、360(360Spider)等。如果用*号则代表全部搜索引擎

  Disallow:表示不允许收录

  Allow:表示允许收录

  常见robots写法举例:

  User-agent: * (允许所有搜索引擎抓取,但是禁止搜索引擎抓取以下内容)

  Disallow:/seo/(禁止搜索引擎抓取seo栏目下面的所有内容页面)

  Disallow:/seo(禁止以seo开头的所有栏目内容页面,比如:seoyouhua栏目同样禁止抓取)

  Allow:/seo/youhua/(禁止了搜索引擎抓取seo栏目下面的所有内容页面,但是可以抓取seo栏目下面的youhua栏目文件名)

  Disallow:*?*(网站所有带“?”的路径都会禁止抓取,一般带“?”的都是网站动态页面,同时说明:禁止抓取所有的动态页面)

南昌SEO

  robots网站协议有什么好处?

  一、方便搜索引擎爬起工作

  如果你的网站内容丰富,页面很多,设置Robots.txt文件更为重要,比如你有个网站,整个站有50多个G,打开页面可能会比较慢,如果不配置好Robots.txt文件的话,蜘蛛爬行工作就会很费力,而且如果太多的蜘蛛爬行,以至会影响你网站的正常访问。

  二、屏蔽不想让搜索引擎抓取的文件

  三、robots.txt对网站地图链接重要性

  如果我们把自己的网站地图链接放在robots.txt文件里,那么我们每天就不用到各个搜索引擎的站长工具或者相似的站长部分去提交自己的sitemap文件,各大搜索引擎都发布了对网站地图的新的支持方式,就是在robots.txt文件里直接包括sitemap文件的链接。目前对此表示支持的搜索引擎公司有Google,Yahoo,而中文搜索引擎公司,显然不在这个圈子内。

  四、告诉搜索引擎优先抓取的文件

  五、提升网站排名:所有的robots协议写好以后,对网站的排名有很多好处

  robots.txt文件使用误区。

  1、网站所有文件都可以被抓取,不去设置robots.txt文件,默认让搜索引擎抓取整个的网站文件,这样不更利于优化。现实不是这样的,蜘蛛每次来抓取网站先会抓取robots.txt文件,如果文件不存在,蜘蛛就会认为是死链,就在网站日志记录为死链,严重影响蜘蛛友好度。

  2、在robots.txt文件中设置所有的文件都允许搜索引擎蜘蛛抓取,让搜索引擎能够收录更多页面。其实搜索引擎蜘蛛对于网站程序脚本、css样式、js文件等,很难被搜索引擎收录,就算收录了,也只会浪费服务器资源,这种对网站保护性很差,对蜘蛛体验不友好。

  我们网站都是由许多文件组成,比如我们常见的有后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等,有些文件是不需要搜索引擎去收录的,直接屏蔽蜘蛛抓取,让蜘蛛更好的爬行需要被抓取的内容,减轻蜘蛛负担,提高抓取效率,切记网站里不要空着,不去设置robots.txt文件。

优化方案 | 新闻资讯 | 建站知识 | 优化知识 | 网络营销知识