三、网络爬虫监管前置的必要性及路径

司法规制的两种路径—借助robots.txt的工具规制及“场景化”判断的利益衡量原则均无法提供正当、统一的标准,因而需要借助监管前置,以为司法判断提供稳定的裁判依据。

网络爬虫监管前置的必要性可从其司法指引功能和部门法沟通功能中加以说明:

其一,监管前置具有指引司法判断的功能,从而有助于避免司法判断的无序性。目前利用网络爬虫实施的行为可能面临着合法、违法、犯罪三重评价,且评价标准非常模糊。大部分网络爬虫行为,即便越过了反爬措施,也未必会被评价为违法或犯罪。例如在“百度在线网络技术(北京)有限公司等与北京奇虎科技有限公司不正当竞争纠纷案”中,法院认为,“百度网讯公司、百度在线公司在允许国内外主流搜索引擎抓取其网页内容的情况下,限制360搜索引擎抓取,其行为显然有悖于robots协议的初衷”,从而否定了以反爬措施作为是非界限的思路。又如,在前述“北京微梦创科网络技术有限公司与北京字节跳动科技有限公司不正当竞争纠纷案”中,二审法院强调反爬措施robots.txt对于判断合法与非法的核心作用:北京微梦创科网络技术有限公司专门针对北京字节跳动科技有限公司设置反爬措施并非不正当竞争行为,即试图以ro-bots.txt为标准,认可robots.txt充当爬虫工具行为界限的功能,但一审法院则否定robots.txt的规范意义。换言之,“反爬取”的特定限制行为反而可能被评价为违法,而“反反爬”措施(爬取方通过技术手段突破网站方的反爬限制)虽突破了反爬措施(robots.txt),却可能被评价为合法。从前文的统计来看,同样是“反爬”或“反反爬”措施,刑法和民法可能对之作出违法或犯罪的评价。“反反爬”措施是司法重点规制的行为,刑法上主要集中于知识产权犯罪、个人信息犯罪、计算机信息系统犯罪及数据犯罪;民法上则主要集中于知识产权纠纷和不正当竞争纠纷;“反爬”措施由于并不涉及对他人计算机系统的侵犯,而仅涉及对互联网信息共享机制的侵害,几乎只存在于经济法领域,特别是不正当竞争和反垄断领域。总之,对网络爬虫这一工具的使用,司法实践在合法、违法、犯罪之间分歧极大,且案由呈现出多样化、复杂化的趋势。简言之,由于缺乏统一的裁判指引标准,各部门法内对网络爬虫的评价均缺乏“统一的锚定标准”,这不仅导致部门法内部裁判逻辑的冲突,还导致部门法之间的判断逻辑冲突,影响司法同案同判的基本追求。而为不同案件充当共同锚定标准的指引性规范可由前置性规定提供统一的规范说明,例如可对数据载体爬取的边界直接进行规范说明,或由监管机构在缺乏统一前置性规定的基础上逐案进行行政确认,从而为网络爬虫行为提供明确预期。就前者而言,目前的立法条件尚不成熟,即难以明确应当依据哪一维度的标准作为网络爬虫行为边界的硬性限制,这在已有的立法尝试中已有较明显的负面反馈。已有的尝试性立法是2019年5月28日国家互联网信息办公室曾发布的《数据安全管理办法(征求意见稿)》,其中第二章第16条规定,网络运营者采取自动化手段访问收集网站数据,不得妨碍网站正常运行;此类行为严重影响网站运行,如自动化访问收集流量超过网站日均流量1/3,网站要求停止自动化访问收集时,应当停止。该条所称“自动化手段”即网络爬虫。从这一意见稿的监管思路来看,监管机关曾试图以网站正常运行作为规制网络爬虫的统一锚定标准,而以网站提出要求并满足特定条件后才对爬虫行为进行限定,也体现了标准的灵活性以及对网络爬虫评价的单一性。这一规定并未落实为最终的立法条文,足可见网络爬虫工具监管维度的复杂性,也表明一刀切式的立法思路缺乏可行性。因为考虑到数据中所蕴含的诸多信息内容价值,对滥用网络爬虫的危害性判断已然无法仅仅从“数据爬取行为影响网站运行”这一间接标准评估其危害性,其本质上是用计算机信息系统法益替换数据载体与信息内容等多种法益类型,实属不当简化。除此之外,这一监管规制模式仅仅是对数据爬取方的“反反爬”措施进行了规制,对网站方的“反爬”措施则缺少确切的规制思路。

其二,刑法与前置法的法秩序统一需求同样依赖监管前置化来实现。由于前置法缺失,对爬虫行为的规制多依赖刑法,但通过刑法规制网络爬虫行为在实体评价上欠缺体系化。首先,刑法规制网络爬虫时所适用的罪名极为凌乱,主要反映为司法机关在适用数据犯罪和数据内容犯罪之间多有摇摆,即在数据载体犯罪与数据所承载的内容犯罪之间缺乏体系化的评价逻辑,而这一点也在前述统计所涉案由中有所呈现。其次,脱离了前置性规制的刑法评价多有“妖魔化”爬虫行为的倾向,例如将“反反爬”措施理解为威胁网络安全的犯罪行为。这一入罪化思维在“上海晟品网络科技有限公司等非法获取计算机信息系统数据案”中体现较为明显,该案法院认为,被告人在数据抓取的过程中使用伪造device_id绕过服务器的身份校验,使用伪造UA及IP绕过服务器的访问频率限制,构成非法获取计算机信息系统数据罪。但是,从网络生态的一般实践来看,获取字节跳动的数据并不需要特别注册账号,此时的服务器不可能通过UA和IP进行身份校验,判决说理中所谓的身份,只是服务器对访问者所作的临时性标记,会随着IP地址的变化而变化。互联网的生态实践中,更换IP便利用户访问以及经营IP业务的商业行为非常常见。更何况,如果这一说理成立,则前述列举的民事侵权案件均使用了类似原理的“反反爬”措施,从而都应评价为刑事犯罪行为。对刑法规范来说,刑法规范主要以行为规范的性质呈现,而其来源则依据自然犯和法定犯的定性而有所区别,如自然犯的行为规范来源于常识,而法定犯则依赖前置性规范的指引和说明。对网络爬虫行为边界的明确属于法定犯领域,若缺乏前置性规范,则难以为行业参与者提供明确的规范指引和预期,导致一般性的行业行为动辄得咎,间接干扰互联网数据爬取行为的常规生态。

其三,监管前置有助于避免刑法内部适用罪名的随机性。刑法在很大程度上发挥着惩罚恶意爬虫的功能,由于行政监管和处罚的缺失,对网络爬虫行为的刑事惩罚实际上不仅仅是刑事上的报应性要求,还包含了行政惩罚的预防性追求。由于刑事后果的严重性,这一惩罚机制的弥补可谓过度填补监管处罚的漏洞,因而常被质疑违背了谦抑性原则。从立法涉及范围来看,刑法的规制方式主要集中于计算机信息系统犯罪的相关条文:若行为人通过网络爬虫访问收集一般网站所存储、处理或传输的数据,可能构成非法获取计算机信息系统数据罪;如果在数据抓取过程中实施了非法控制行为,可能构成非法控制计算机信息系统罪。此外,由于使用网络爬虫造成对目标网站的功能干扰,导致其访问流量增大、系统响应变缓,影响正常运营,也可能构成破坏计算机信息系统罪。整体来看,无论是民法还是刑法领域,涉网络爬虫案件的司法现状表明,规范上对网络爬虫的控制和评价并无硬性边界,而是依赖多类别的法律规范,显示出一定的随意性,因而亟须监管层面推出指引性标准以避免刑法罪名适用的随机性。

在明确监管前置必要性的基础上,对监管路径的基本设置应有进一步的展望。所谓监管前置有两种可能的基本路径:一是在司法评价之前,通过立法活动明确网络爬虫的统一规范标准,力求在对数据进行各维度评价的基础上寻求最大公约数,以实现立法条文明示后的静态监管效果。2019年《数据安全管理办法(征求意见稿)》第二章第16条即试图寻求监管网络爬虫的最大公约数,但是将网络爬虫对网站运行的影响作为监管的切入点并不能充分应对互联网数据监管的复杂性。二是在司法评价之前,监管机构并不追求统一的前置性立法,而是逐案对网络数据爬取行为进行行政许可或行政确认,以明确爬取方爬取特定网络数据的合法性,或明确被爬取方采取针对性反爬措施的合法性,从而为互联网数据的各类参与方提供明确的规范性指引,并为可能的司法判断提供专业的前置性指引。