内容审查程序（内容审核行业研究）

本文基于《内容审核员能被AI“拯救”吗?——深度解析内容审核的困境与未来》的主题演讲进行整理成文，主要讨论机审人审在内容审核的应用前景。

一、“紧”与“松”不是对抗，而是共生

“紧”与“松”的问题，其实是对内容监管趋势以及内容平台生态建设的一个总结。

“紧”可以分为两个方向，一是监管要求，另一个是监管力度。在监管上，从2019年开始，随着数字经济蓬勃发展，以及疫情加速的线上娱乐迅猛攀升，涉黄、涉政、涉嫌违禁的内容日益受到监管重视，并且也细分出隐晦色情整治、电信诈骗内容整治、包括对未成年人的保护等具体要求。这些要求正在逐步弥补各类平台“野蛮生长”时期的规范空缺，对各类风险内容以及过往忽视的新发风险予以关注，实际上也在树立内容生态发展的相关规范。

另一方面，监管力度是监管要求有效性的强力保障，监管要求、监管力度、监管处罚是对应匹配的。所以我们能够看到一些平台因为违规被处罚的新闻，这种监管力度的信号其实就传递出对监管要求执行的坚决度。这两点构成了广义上的“紧”。

从内容平台的角度出发，其实渴求的是“松”。绝大多数的APP其实都在想方设法提高自己平台的内容活性，无论是打造出社区/直播/评论/聊天等等功能，本质目的是创造活跃的UGC生态，让用户在平台创造内容、产生联系、持续活跃，获得畅所欲言的快感或是满足天然的社交需求，这是内容平台渴求的“松”。

“松”看似是一个逆监管要求的想法，但它并不是说触犯红线或逾越红线的松，比如放任用户随意发送色情内容。平台在打造用户体验的同时，同样抱有着最大程度满足合规要求的诉求。在风控上也对红线的基础问题十分明确，希望能及时发现和处置真正有风险的信息。

因此“紧”和“松”并不是剑拔弩张的对立关系，实际上是一种共生关系。

二、纯人审符合直觉，但低效的审核方案

最早出现的审核模式就是人审，但人工审核有三个明显的缺点。

一. 监管理解有难度数美在为大量客户提供服务的过程中发现，大量腰部的中小型企业往往团队规模比较小，成立年限比较短而且集中投入在产品上，没有精力投入到合规研究中。

合规研究主要有两方面门槛，一是舆情关注，要持续地关注最新的监管动向，关注信息渠道是一定会占用、且会持久占用人力的工作。因此中小型企业往往不会投入成本来设置专门人员关注舆情。二是对新规的理解，也就是每一条描述对应了什么样的案例。当面对一条抽象描述时，如何判断平台数十亿信息哪些需要拦截和清洗，这需要一个经验丰富的人来理解，想组建一个团队集结这样的人，难度是非常大的。

二.高成本问题内容审核问题是一分为二的，除了要不断监控新发送的内容，也要对历史发送的内容进行重审，总数据量是非常庞大的。以数美为例，文本、图片的日均量都是亿计，音视频时长日均超70万个小时。

人工审核在处理音视频的时候只能简单粗暴地听一遍或看一遍，如果有不清楚的可能需要重复2-3遍才能判定风险。这就意味着内容有多长，审核就要多久，甚至更久。这就会产生更多的衍生问题，比如固定的单人审核能效必将导致更加庞大的审核团队，又或是等待审核时长过长导致的用户流失。因此这既是效率问题，也是用户体验问题，但最终都会回到成本问题。

三.时效性差俗话说金钱买不到时间，如果说前两点通过投入大量的人力预算勉强称得上可以解决，时效性差的缺点是绝对无法用金钱来cover的。比如，如果APP上设计了实时私聊的im功能，人审是无法实时介入的，任何一条发送的信息是不可能等到审核完才允许发送的。同理，在发布音视频文件的审核中，时效性差的缺点也同样明显。

时效性还有第二个问题就是应对舆情的能力，比如说发现某种严格管控的风险内容，不仅要处理当下的新发信息，也要同时检查所有的数千万甚至数亿条历史存量信息。想要短时间内完成历史存量的筛查，这是人审绝不可能完成的。

三、机审+人审除了效率，也解决更多问题

目前市面上的机审还普遍认为是在辅助人审，事实上曾经激进地采用过全机审的几家公司也先后放弃了这种单纯方案。目前市面上人审和机审结合的方案主要有两种，也就是先发后审和先审后发。

一. 先发后审

先发后审指的是某一条内容发出来之后，先小范围可见或仅自己可见，然后进入机审和人工复审，审核完之后再进行全量展示。这种方案保证了用户的即时体验，用户能够感受到自身内容得到发布，因此先发后审一般是用在实时性要求较高的场景，比如im、动态评论等等。

二. 先审后发

相对应的，先审后发指的是用户提交内容后先进行审核再进行发布的方案，这种方案就适用于一些实时性要求不高的场景，比如在网站发布长视频、长图文、连载小说等等，用户对于内容需要审核以及审核时长已经有了心理预期，因此可以接受先发送、再审核、再收到发布结果的异步形式。

那为什么说机审是人审的辅助呢？实际上机审现在其实有几个无法逾越的鸿沟，比如目前的模型没有办法取代人，它不具备人的深度思考能力、联想能力、联系上下文能力等等。再比如机器在某些审核标准上很难把控，因为机器不具备主观性，像是无法理解软色情/色情/暧昧色情的定义和区别，这就需要人的介入。

但这样的问题并不代表机审就没有优化的空间，譬如数美首先是采用了三级标签体系，在机审上训练出了非常多的细分标签，然后通过新增、组合来实现新的识别功能。然后另外一个非常重要的点就是纠错机制。机审之后进入到人审，人审的结果如果与机审相悖，就会形成一个case回流到策略、模型团队，引导机器进行校正。

四、机审+人审前路是人性化

前面我们其实讨论了三个大问题，为什么要做审核？为什么不做纯人审？怎么做人机结合？在第三个问题上也讨论了一下机审的优化问题。实际上机审的优化提升更像是一个后端问题，数美还在关注机审如何提供更好的人审条件这个前端问题。

数美目前小范围地开放了最新人审平台的试用，也就是人工复审使用的页面。首先我们深刻理解人审面临的工作压力比较大，每天的工作量都很多，因此首先是做了很多人机交互的优化，比如按钮位置、菜单设计等等，同时也根据反馈不断优化，让人审人员使用起来更符合直觉。

其次，人审人员的另一大压力其实是心理压力，因为他们是长期暴露在暴恐、色情图片文本的环境中的，会接受长期的视觉刺激，数美人审平台采用热力图马赛克的设计，能够在敏感部位打上马赛克，尽可能地减少人审人员的心理负担。

另外还有一些提升工作效率的设计，比如除了展示识别出的风险标签，同时也在图片上框选标注出问题出现的位置，这样人审人员能够更快地关注到审核重心的位置，节约寻找时间。还有就是在展示问题标签的同时可以提供标签定义的展示，同时也会包含一些背景信息，这样当一些冷门或者偏门的风险被识别出来的时候人审人员很快就能判断，比如历史事件、别国领导人形象、地区恐怖组织的标志和旗帜等等，这在之前是需要大量的培训成本或者查阅时间才能实现的。

做这样一系列的设计，其实都是为了人审人员能够更轻松、更高效、更健康地完成审核这项工作。数美希望人审人员都能拥有更健康的职业生涯，同时也希望人审工作能更加人性化，而这些愿景在机审层面上除了要不断优化机审效果，尽可能精准识别风险、过滤海量正常内容外，人机结合的交接部分——人审平台的设计也是非常重要的课题，它兼具重大的商业意义和社会意义。未来数美还会继续优化平台设计，希望能为尽可能多的人审人员提供更好用的平台。