网站Robots写法和使用菜鸟也能一分钟学会

时间:2018-05-15 17:22 作者:飞之悦 点击:

作为一个站长来说搜索引擎的一些规则是我们日常中必须要学会谨记并充分的利用起来的。今天呢飞之悦给大家说下robots.txt文件,这个是每一个网站都必不可少的,许多的站长朋友刚接触的时候都不熟悉这个该如何来写呢,今天我们就给大家详细的讲解一下,希望能帮助到大家。robots.txt可以告诉搜索引擎您的网站哪些页 面可以被收录,哪些页面不可以被收录,如果您不想让搜索引擎收录您网站的某些内容,请用robots.txt文件指定搜索引擎在您网站上的抓取范.txt文件。
三个命令值:
User-agent:
Disallow:
Allow:
两个通配符:
* 0---9 a----z$$ "$$" 匹配行结束符。
"*" 匹配0或多个任意字符。
robots.txt不存在或者为空文件,则对于所有的搜索引擎robot,该网站都是开放的。
Disallow:该项的值用于描述不希望被访问的一组URL,
可以是一条完整的路径,也可以是前缀。
以Disallow项的值开头的URL不会被 robot访
Disallow: /123.html
Disallow: /news/
路径和目录:
例 Disallow: /help
禁止robot访问
/help.html、
/helpabc.html、/help /index.html,
Disallow:/help/
则允许robot访问 /help.html、 /helpabc.html
不能访问 /help/index.html。
URL匹配举例
使用Disallow值
/news /news 匹配
/news /news.htm 匹配
/news /news/1.html 匹配
/news /newseo 不匹配
/news* /news.htm 匹配
Allow:该项的值用于描述希望被访问的URL与Disallow项相似可以是完整和前缀
Allow项的值开头的URL 是允许robot访问的
Allow通常与Disallow搭配使用
实现允许访问一部分网页 同时禁止访问其它所禁止访问所有动态页面
User-agent: *
Disallow: /*?*
禁止蜘蛛抓取图片:
User-agent: Baiduspider
Disallow: /*.jpg$$
Disallow: /*.jpeg$$
Disallow: /*.gif$$
允许抓取GIF
User-agent: Baiduspider
Allow: /*.gif$$
Disallow: /*.jpg$$
User-agent: Baiduspider
Allow: /
User-agent: *
Disallow: /
User-agent: Baiduspider
Allow: /
User-agent: Googlebot
Allow: /
User-agent: *
Disallow: /以上就是飞之悦网络根据多年来的一个实践经验总结出来的,大家如还有不明白的地方欢迎咨询我们。
TAG标签:   Robots写法