博通网
2020-07-11
450
10
|
学会正确建立网站的robots.txt文件 robots.txt文件的建立，文件以txt形式体现，txt文件告诉抓取工具哪些文件可抓取，哪些文件不抓取，可以做到快速的抓取高质量高权重的页面，提升友情链接交易平台网站优化效果。 robots.txt基本写法有： 1) 、允许所有搜索引擎访问网站的所有部分 2) 、禁止所有搜索引擎访问网站的所有部分 3) 、只需要禁止蜘蛛访问某个目录，比如禁止admin、css、images等目录被索4)、屏蔽一个文件夹/templets，但是又能抓取其中一个文件的写法:/templets/main 5)、 禁止访问/html/目录下的所有以”.php”为后缀的URL(包含子目录) 6)、 仅允许访问某目录下某个后缀的文件 7)、 禁止索引网站中所有的动态页面 8)、 禁止搜索引擎抓取我们网站上的所有图片(如果你的网站使用其他后缀的图片名称，在这里也可以直接添加) 许多cms程序都有缓存目录，这种缓存目录的优点是能够十分有用的晋升网站的拜访速度，削减网站带宽，对用户体会也是极好的。不过，这样的缓存目录也有必定的缺陷，那就是会让查找引擎进行重复的抓取，一个网站中内容重复也是大错，对网站seo外链推广百害而无一利。许多运用cms建站的兄弟都没有注意到，有必要要导致注重。 错误地阻挡了robots索引网站:有两种方法可能阻挡robots:主机服务器的根目录下有简单文本文件;网页中含某种META标签。 很多网站有意无意的直接在robots文件屏蔽了百度或网站部分页面，却整天在找原因为什么蜘蛛不来抓取我的页面，这能怪百度吗?你都不让别人进门了，百度是怎么收录你的网页?所以有必要时常去检查一下网站robots文件是否正常。 robots.txt文件：robot文件告诉搜索引擎你的网站哪部分可以抓取，哪部分不可以抓取，把你的xml网站地图放进robot文件中。Robots文本，可以对网络蜘蛛设定，让他有针对性的去爬取你想要让他看到的内容。
文章来源 http://yun.gufengnet.com/Home/Rank/detail/id/100.html
|
 鲜花 |
 握手 |
 雷人 |
 路过 |
 鸡蛋 |
分享
邀请
