违反robots协议的搜索引擎与“窃贼”没有两样

内容摘要：最近，北京市第一中级人民法院就360搜索引擎是否违反robots协议而引发的不正当竞争纠纷一案作出一审判决，认为360的行为违反《反不正当竞争法》相关规定，应赔偿百度经济损失及合理支出共计70万元。　　在搜索引擎的发展史上，发生过很多与robots协议相关的重要事件，不过，纵观这些事件，robots协议大都并非纷争的...

最近，北京市第一中级人民法院就360搜索引擎是否违反robots协议而引发的不正当竞争纠纷一案作出一审判决，认为360的行为违反《反不正当竞争法》相关规定，应赔偿百度经济损失及合理支出共计70万元。

在搜索引擎的发展史上，发生过很多与robots协议相关的重要事件，不过，纵观这些事件，robots协议大都并非纷争的导火索或催化剂，反而是公平合理、让双方心服口服的“和事佬”，是解决问题的一个为行业公认的惯例。

比如，老默多克的新闻集团曾与Google打的不可开交，甚至由此掀起过搜索引擎是不是“寄生虫”的跨界大辩论。对于这场愈演愈烈的风波，Google提出，默多克大可不必恼羞成怒，如果真心不想让Google抓取新闻集团的内容，默多克只需要安排手下“懂行”伙计在新闻集团各媒体网站根目录上传一个禁止Google蜘蛛爬行的robots文件即可。默多克抱着试一试的心态上传了这个robots文件，没想Google上果真搜不到新闻集团的网站内容了。就这样，一起轰动全球的风波在robots协议“出面”后迅即平息，默多克也心服口服。与之类似，像Facebook等很多网站出于保护网友隐私和内容版权等目的，都禁止Google等一个或多个搜索引擎的抓取，尽管Google会因此少了很多优质内容，但谁让robots协议是全球通用的行业惯例呢?

对搜索引擎来说，robots协议就像“军令如山”，任何不去遵守这个协议的搜索引擎都无异于“窃贼”。之所以这么说，是因为，作为行业惯例，robots协议生来就是为保护网民隐私和版权内容而存在的，从1994年到现在，从来都是如此。对于隐私比天大、内容为王的互联网行业来说，遵守这种国际通行的道德规范和行业惯例，正是行业得以发展下去的基石。

这就像现实生活中，“锁”的作用和道理一样。哪怕这是一把塑料锁，只要锁在了门上，就表示主人不同意没有钥匙的人去开锁入内。这是众人皆知人人都在遵守的惯例。作为通行的惯例或者说是习惯，正因为人人遵守，才确保了我们的安全放心生活。而如果有人偏偏想方设法偷偷摸摸去把锁开，擅自闯入去把人家的东西据为己有，这就明显是偷窃行为，必须绳之以法以绝后患。

显然，搜索引擎行业的各正规军深知这一道理，从来都是在出现隐私、版权纠纷时用robots协议公平合理解决了问题，确保了搜索引擎与各大网站的和平共处，实现了搜索引擎、网站和网民的利益共赢。

如果把robots文件当成一把锁在门上的锁，如果明确被文件禁止的路人甲非得换个马甲去恶意抓取偷窥收录放出内容，以达到不付出就有回报的商业目的，这样的行为不是偷窃还是什么?这样的搜索引擎不是窃贼能是什么?