SEO名词百科 - 投稿申请 - 关于小六 - 网站地图 不懂SEO,不懂网站优化从何入手?到重庆SEO【小六】SEO教程自学网,小六在这里狂甩SEO干货,助你自学成才!
当前位置:SEO首页 > SEO优化 > SEO进阶专栏 > 正文

robots具体应该禁止些什么文件?

时间:2017-01-05 15:01:27 来源:原创 作者:小六SEO 阅读:
    重庆SEO小六原创稿件,欢迎转载,请注明出处。
    网上robots的写法,说法一大堆,也不知谁对谁错,到底robots该禁止那些文件呢?今天小六大概总结一下:
    首先说明一点:每天百度派出的蜘蛛是有限的,robots写出来是为了节省蜘蛛资源让蜘蛛能更快的进行有效爬取和收录!
    针对企业站来说,本身蜘蛛资源不会很多,所以我们更要珍惜蜘蛛的每次爬取,让其都有意义,不要去爬取一些无价值的页面,浪费了蜘蛛资源,从而导致网站迟迟未收录,没排名等情况!
    下面举例列出来:
    1、模板文件(/template/)可以屏蔽;
    2、这个文件/uploads/一般放的是图片,可以屏蔽;
    3、/data/系统数据文件,可以屏蔽;
    4、/img/或/images/,如果你不是做的图片站,也可以屏蔽;
    5、/bin/系统文件可以屏蔽;
    6、/install/安装文件可以屏蔽;
    7、/member/有会员的可以屏蔽;
    8、/logreport/有统计报告的可以屏蔽;
    9、/bjk/有加密的文件,可以屏蔽;
    10、/js/,/css/可以屏蔽,留着是为了让蜘蛛更好地了解网站结构,资源少的情况下,可以屏蔽。
    11、网站地图,sitemap要记得放进去,不要屏蔽,让蜘蛛第一时间去看你的网站地图,更快了解网站链接结构!
    总结到此,希望对大家有些帮助!
    相关知识:
    robots编写秘籍,新手必看

    
    

(责任编辑:小六SEO)

顶一下
(4)
80%
踩一下
(1)
20%

版权声明:

1、本文由SEO作者-小六SEO原创发布,保留著作所有权,转载请注明来源,否则谢绝转载;
2、非原创内容会有明确作者及来源标注。