3.robots.txt指引爬虫行为边界的法理障碍

将robots.txt解释为合同至少存在如下法理障碍:robots.txt协议仅是计算机协议,不是民法上的协议。在计算机领域,协议是指计算机之间或计算机和网络之间进行通信时必须遵守的一组规则和标准。[然而,robots.txt理论上可以成为合同内容的文字载体。《中华人民共和国民法典》(以下简称《民法典》)第469条第1款规定,当事人订立合同,可以采用书面形式、口头形式或者其他形式。该条第3款规定,以电子数据交换、电子邮件等方式能够有形地表现所载内容,并可以随时调取查用的数据电文,视为书面形式。“所谓法律行为采书面形式,是指借助有形载体并以文字来呈现法律行为的内容。”若将爬取数据行为视为合同订立行为,则必须将robots.txt的代码表述视为其他形式。肯定其符合合同的文字要素,则可以进一步讨论其属于合同的可能性。根据《民法典》的规定,民法上的协议即合同,此时的协议是指在特定的法律关系中,自然人或法人根据其意思表示或者共同意志,就一定的权利和义务达成的一致意见,可以通过书面、口头或者其他方式达成。协议与合同之间的转换仍然离不开自然人的意思表达,例如谷歌Browse Lab合同是网站所有者通过联系谷歌的网站管理员或发电子邮件来请求使用该工具,如果谷歌同意提供访问权限,网站所有者将被要求同意并签署Browse Lab合同,以确认他们将遵守使用该工具的规则和条件。在这个问题上,美国司法判例对“技术协议变身民事合同”的条件限定值得参照。尽管在Register.com v.Verio案中,被告Verio援引了Specht v.Netscape Com-munications Corp.案,用以否认Browse Lab合同的拘束力。但在Specht v.Netscape Communica-tions Corp.案中,爬取者和网站所有者只有一次网络链接发送,用户无法充分获知合同的条件,所以缺乏订立民事合同的意思表示。而在Register.com v.Verio案中,当事人Verio每天要执行无数次查询任务,因而被推定为存在订立民事合同的意思表示。两个判例的核心区别在于,行为人可否识别合同的存在并且实际地作出合同订立的意思表示。换言之,人的参与以及人的意思表示仍然是民事合同订立不可或缺的要件。以此为据,如果过于草率地推定robots.txt等同于合同,则容易违背网站运营者和使用者双方的真实意思表示,使二者变成“强行撮合”的合同当事人。坚持这一意思表示意味着,robots.txt不能当然地成为民事合同,尤其应当顾及robots.txt协议之局限:网络世界仍存在无法解释robots.txt语法的机器人;访问该站点的任何人,包括自然人和爬虫机器人,实际上都没有明确接到robots.txt的通知或声明,更不明白其民事含义;阅读和遵守robots.txt完全由数据爬取方单方决定。

总之,对robots.txt的突破仅具有技术意义,其与民事或刑事意义上的“合法”或“违法”判断并无必然的规范联系。法律规范上如何评价robots.txt的违反行为首先取决于robots.txt指令内容本身的正当性:1)若robots.txt包含对个别爬虫工具使用者的针对性歧视,具有限制竞争等目的,则应否定其指令的正当性,此时突破robots.txt的爬虫行为具有正当性。2)若robots.txt指令内容并无不当,则突破robots.txt的行为将被推定为滥用爬虫的违法行为,但此处的“违法”定性仅有民事侵权意义,至于其刑事上是否定罪,一方面取决于所爬取数据的内容是否为刑法保护的法益类型,另一方面则取决于行为是否造成计算机信息系统不能正常运行,从而构成计算机犯罪,但这两点判断均无法仅由对robots.txt的突破来完成。前述规则虽较为明确,但由于ro-bots.txt指令的正当性缺乏中立性的权威部门来判断,基于现有制度安排,其在实践中仍难以指引爬虫的使用边界。

根据法律行为的一般理论,合同约束仅产生于当事人意思表示方向一致的共同行为,因而难以将robots.txt直接视作订立合同的要约,而当robots.txt不能自动成为民事合同的结论得出后,从爬虫工具本身出发规制网络爬虫行为几乎失去了可能性。虽然司法中常以robots.txt为依据,但理论界似乎更普遍地认识到仅依靠robots.txt无法区分网络爬虫的界限。基于此认识,对所有数据获取行为,学者多倾向于将候补方案确立为笼统的利益衡量原则,或所谓的平衡立场。利益衡量原则强调个案中司法判决对社会利益的影响,是结果导向的立场,其关注的是涉网络爬虫案件司法评价的潜在后果,而非立足于事前视角为网络爬虫行为提供指引。换言之,利益衡量原则对网络爬虫行为的边界在某种程度上采取的是回避态度,因为其并不预先设定网络爬虫的行为边界,而是根据网络爬虫行为的实施效果来回溯看待行为的正当性。然而,当裁判生效时,其仍然需要通过否定个案中网络爬虫行为的正当性、明确个案中网络爬虫行为的边界来证成裁判的正当性。在这一裁判方式中,法院实际上负担着两个矛盾的目标—寻找网络爬虫行为的边界,但必须根据裁判的潜在结果回溯性地认定网络爬虫的行为边界,而其中的矛盾性也意味着利益衡量原则下所谓网络爬虫的行为边界并无确切规则。从目前公布的案例来看,利益衡量原则多考虑爬虫的使用目的和影响,如前引“百度在线网络技术(北京)有限公司等与北京奇虎科技有限公司不正当竞争纠纷案”中两审法院的侧重点即反映了利益衡量原则下的效果规制路径:否定反爬措施对于判断爬虫行为是否合法的意义,而是关注爬虫行为所引发的规范后果。

利益衡量是笼统的理念概括,只能用以评判一项规则或学说的实益,而在缺乏具体标准的前提下不足以充当个案标准。首先,所谓利益衡量原则难以在个案中衡量利益,因为利益的内涵难以界定,长期利益和短期利益也不一致,如在涉网络爬虫案例中,爬取数据者和网站所有者利益不一致,公共利益和个人利益也不一致。以“百度在线网络技术(北京)有限公司等与北京奇虎科技有限公司不正当竞争纠纷案”为例,在该案中,法院认为判断被诉行为是否属于《反不正当竞争法》第2条禁止的不正当竞争行为,应当兼顾经营者、消费者、社会公众的利益,在权衡被诉行为对竞争相对方合法权益的损害程度以及对消费者利益和竞争秩序的影响程度等基础上,对其损害后果作出综合认定。也就是说,爬虫与反爬虫行为是否合法,实质上取决于行为的后果,而爬虫行为所造成的结果又往往具有不可控和偶然的特性,这就导致爬虫的使用者无法事先预判其行为是否被禁止。其次,除了标准的模糊性,利益衡量原则还可能导致适用法律的不平等,因为不同主体以同样的方式使用爬虫,对社会整体的利益影响是不同的。以企业和个人对爬虫工具的使用为例,在飞猪等抢票软件大行其道的背景下,由于其商用性质,以企业为单位实施的爬虫行为极少被评价为非法,但个人使用爬虫工具提供此类商业服务时,则极容易被认定为违法甚至犯罪。例如,2013年2月,警方破获了一起利用抢票软件加密狗圈票后高价倒卖案,该案行为人倒卖车票1 777张,获利140万元。该加密狗软件的制作者被警方控制,警方称其涉嫌非法经营罪。有人认为,制作抢票软件,侵犯了铁路部门对车票的专卖权,构成非法经营罪。也有人认为,行为人制作软件,为他人侵入12306网站提供了工具,涉嫌提供侵入、非法控制计算机信息系统程序、工具罪。然而事实是,当前的订票均是实名制,不存在不记名情况下的买入及“倒卖”问题。所谓“倒卖”实为在票价之上增加了抢票的服务费用。但携程、飞猪等平台提供的类似服务在技术原理上并无不同,且同样有“收费帮抢”业务。此案例中的个人行为被定罪,而企业的类似行为被实质性豁,很难说不是利益衡量的结果。总之,由于爬虫工具本身多被运用于商业领域,实践中利益衡量的标准往往在实际上等同于经济利益标准,因而缺乏更本质的正当性论证。再次,利益衡量原则所依赖的个案利益分析更像是对裁判结果的事后解释,而非事前的教义学指引,甚至会导致当事人本人都难以预见其使用网络爬虫的行为是否违法。例如在商事领域,针对数据的“爬取”和“反爬取”行为都可能被评价为不正当竞争,但该评价在行为之前却是出乎当事人预料的,而若该爬虫行为发生于刑事领域,则很容易导致行为人虽有不法行为,但大多对其实施的爬虫行为缺乏违法性认识,或至少是违法性认识不明确。