早上一来就看到了百度起诉360违反“Robots协议”，并且开出一亿人民币的天价索赔，我和我的小伙伴们都惊呆了！
做为一个旁观者我看到了相关的报道有实有虚,相信业内人士可能都看出来了。
先给大家介绍下什么是"Robots协议"
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议的本质是网站和搜索引擎爬虫的沟通方式，用来指导搜索引擎更好地抓取网站内容，而不是作为搜索引擎之间互相限制和不正当竞争的工具。
360列举的一些观点也无可厚非。去年360上线，短短一年占据了国内20%的搜索引擎市场。百度确实慌了,因为越来越多的人讨厌百度推广。很多低质量的垃圾网站都通过百度推广获得了不应该有的流量。就拿医疗行业而言、百度搜索出来的全是一些医院的广告、而360出来的确实都是一些实际有用的网站。
不过也不竟如一些媒体所说百度搬起石头砸自己的脚。就拿列举的淘宝为例。淘宝确实用了“Robots协议”限制百度的抓去，至于为什么限制这里就不再多述。
这是http://www.taobao.com/robots.txt的Robots协议
百度淘宝也确实出现了限制
至于有些所谓的 site:taobao.com那明显就是指淘宝的其他域名了, 不再此协议的范围内
至于其他的机制而后再做慢慢分析