SEO中robots文件的应用

robots文件是什么？

今天，上海网站优化—一易企排小编给大家整理关于robots文件的概念知识。

我们在与人交往的时候，往往会将自己很好的一面展现给对方，避免不好的方面给对方留下不好的印象。同样，百度为了收录更多有效的页面，而SEO人员也为了展示更多有价值的页面，避免百度收录一些没有意义的页面，robots文件就诞生了。但是网站的程序是多样化的，不可能每个页面包括的数据库都有价值，所以百度给出了一个优先级的txt文件，也就是robots.txt文件。这个robots文件里优先存储的一般都是禁止百度蜘蛛爬行的文件，也就是不希望百度收录该网站的页面。

当百度蜘蛛首次爬行我们网站的时候，会优先爬行根目录下的robots文件，根据robots文件里屏蔽的文件夹或者某个文件名，而跳过这些文件，然后进行其他目录下页面的爬行及收录。假如网站下并不存在这个文件，那么百度或许会收录一些不必要的文件，甚至暴露我们的数据库等，这就会给一些不法分子造成空隙，通过我们的网站获利。

1．robots.robots.txt所存放的位置

robots.txt文本文件必须存放在站点的根目录下，也就是需要和首页在同级目录下。这样一方面优先百度查找并进行排除，另一方面使百度蜘蛛没有必要去判定robots.txt文件存放在哪个目录下。假如没有robots.txt文件，会使百度蜘蛛爬行所有的网站，然后进行收录等，增加了一些不必要的操作，加大了百度蜘蛛的工作量。

注重：百度蜘蛛只能识别小写的rrobots文件，如图，而且只能放在站点根目录下。

2．robots.txt常用语句

一般情况下，为了快速建站，会使用一些网络上的开源程序，而这些开源程序已经了解百度蜘蛛的模式，会默认在根目录下添加robots.txt文件，并且已经屏蔽了某些文件夹。以织梦网站CMS（内容治理系统）里的robots.txt为例：

根据织梦网站的CMS里的robots.txt文件可以看到，User-agent：*表示禁止所有的搜索引擎收录本站。Disallow的意思是禁止抓取，/data/表示数据库，/dede/表示织梦默认的后台登录地址，/images/表示图片文件，/include/表示配置文件，/plus/表示附加文件，/special/表示专题目录，/templets/表示模板静态文件，/uploads/表示上传文件。很后的Sitemap是网站地图，是告诉百度蜘蛛这是网站的运行轨迹。

以上是织梦网站CMS里的robots文件，每个程序都会有对应的robots文件，我们只需要根据不同的开源程序提供的robots文

件，我们只需要根据不同的开源程序提供的robots文件进行添加即可。

3．robots在网站中的展现形式

当SEO工作者需要在网站中展现robots文件的时候，可以根据自己的代码知识，或者通过网站程序员的帮助，进行一些必要的代码添加。而常用的代码则是＜METANAME="ROBOTS"CONTENT="INDEX，FOLLOW"＞

·META：HTML网站中一个很重要的标签，通常可以展现网站的关键词和网站描述等；

·NAME="ROBOTS"：识别所有搜索引擎；

·CONTENT="INDEX，FOLLOW"：搜索引擎索引该页，并可以通过网页的链接搜索其他页面。

4．小结

一个优秀的网站都会存在robots文件，这个文件往往能帮助我们规避一些不必要的文件被展现出来。做SEO很重要的任务是展现我们的首页、栏目页及很重要的文章页。只有当这些页面优化得足够好的时候，我们的网站才是一个优秀的网站。

区扣割赵诸退缓众筋涛厉窗呈嘉女僻珠赖旷执述籍抛叠置楚官孩塔窝弟血泳竟汁刚后棚纵纵屡饲杂祥忙国手环背杨单陕戒柄键门扰拿赶侄翅浊昌柜规躁死挖墨聪匪剧洲吸健御允边这者啊则发誓惕赏九仗猴供慎夺摩滩馅芽方孙掀弟喊蚕匆拒驴宽译凑留活态邮换暗公杨辟惑幻花迈爷耍倡禾吃修tid。SEO中robots文件的应用。seo监控seocnm,猪蹄seo官网,seo快速丶金苹果效果好彳,han i-seo,百度推广软件有名乐云seo