广州企业建站:网站站内优化必会技巧之robots.txt写法

专注网站优化;指定词优化;下拉霸屏;网站建设网站推广优化方案快速排名下拉框老域名;联系QQ/微信:690487030

广州企业建站我们在网站优化时,有些时候我们不想让蜘蛛抓取我们网站的一些内容,比如:后台数据,用户信息,所以robots.txt就起到很关键的作用了。

搜索引擎的蜘蛛,访问我们网站的时候,第一个文件就是robots.txt这个文件。网站站内优化必会技巧之robots.txt写法

1.robots.txt就是网站和各大搜索引擎之间的协议,通过这个文件,告诉蜘蛛那些文件你可以抓取,那些不可以抓取,在我们网站调试好代码,上线之前就要把这个文件做好,《注》在我们没搭建网站时候,千万不要禁止蜘蛛不要访问我们网站,这样是极不友好的,大家可以想想看,如果你都屏蔽了蜘蛛,以后他还会来吗!肯定后期对我们网站收录有影响,这时我们可以用空间商的二级域名来调试网站代码。

2.robots语法 User-agent ?这个是定义蜘蛛的类型,常见的蜘蛛有百度、有道、谷歌、360、soso、搜狗等等。

广州企业建站

Disallow 定义搜索引擎禁止抓取的文件

广州企业建站Allow ? ? 定义搜索引擎允许抓取的

$ 结束符 ?* ?多个任意字符或0匹配? / 单个符合搜索引擎认为是根目录

下面我们举例来说明

User-agent:*              //定义的是所有的搜索引擎

Disallow: /wp-admin/       //禁止抓取网站wp-admin这个目录

Disallow: /readme.html    //禁止抓取这个readme.html这个文件 

Disallow: /*&*            //禁止抓取动态链接中有&这个符号的链接

Disallow: /*%*           // 禁止抓取动态链接中有%这个符号的链接

Disallow: /tag=*         //禁止抓取动态链接中有tag=*这个符号中的链接

Disallow: /?feed         //禁止抓取有?feed有这个符号的链接

Disallow: /?=*           //禁止抓取有?=这个符号的链接

Sitemap: http://www.SEOchengdu.com/sitemap_baidu.xml

广州企业建站

//定义搜索搜索引擎网站地图的位置,这里没有写用户的网站地图,就不过多的重复了

区别Disallow:/hao  和Disallow:/hao/这样有什么区别

Disallow:/hao  禁止文件比如:禁止蜘蛛抓取你网站的hao.html ,haoren.html,或者是hao/index.html

Disallow:/hao/ 禁止的目录:搜索引擎可以访问hao.html,haoren.html,但是不能访问hao/index.html这个文件夹里面的所有内容。

广州企业建站

大家看完了这篇文章,是不是robost.txt是不是很简单了,赶快自己学着去写一下吧!

广州企业建站更多关于robot.txt的内容可以访问百度站长工具:http://zhanzhang.baidu.com/robots/index 有更详细的内容!

专注网站优化;指定词优化;下拉霸屏;网站建设网站推广优化方案快速排名下拉框老域名;联系QQ/微信:690487030

0 条评论

目前没有人发表评论

发表评论

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。