1. 首页>
  2. 腾讯云代理

从图文到视频直播,内容风控应如何做到准确、实时、批量鉴黄?

腾讯云 2019年12月24日 浏览58

    腾讯云代理 腾讯云新闻 腾讯云代理 腾讯云直播申请 游戏上云

摘要:

导语 |为了给大家提供更多的技术交流渠道,「云加社区」特别准备了线上技术分享活动,邀请各领域专家到微信群中与大家线上交流。本期分享,「云加社区」特邀腾讯安全内容风控专家Lucas,就「内容平台如何借助 AI 鉴黄,提升风控能力?」进行主题分享,本文是此次分享整理总结而成(编辑:尾尾)。加分享群请关注「云加社区」公众号,回复「加群」。


从文字到图片,从直播到短视频,多年来行驶在内容创作这条康庄大道上的“车辆”可谓形形色色。这其中,有一类“老司机”最让人头疼:这些人,以打色情擦边球为己任;在露与不露之间摩拳擦掌;为黄而不宣的内容“奋斗”终生。他们,可能是你平台上的一个写手,一个主播甚至一个配音师。这些老司机们在海量内容池中茁壮成长,你找不到、管不了也清不走。直到在风和日丽的某一天,平台被有关部门点名关怀乃至关停整改,才发现两行泪也难掩此时的悲壮之感。


内容风控要做到准确、实时、批量的确不是件易事,随着内容上云,AI技术的广泛应用,内容风控的新技术如何打破上述瓶颈?对于中小型企业和大型企业来说,怎样的云上内容管控方案才算适用?


腾讯安全内容风控专家Lucas,就上述问题展开分享:


大家好,我是Lucas,从事内容风控工作多年,长期与恶意文字、图片、音频、视频等进行对抗,拥有不少内容风控实战经验,熟悉相关算法、模型和实践应用。目前,腾讯安全天御内容风控已经通过腾讯云和微信小程序服务了超过5万家开发者,我们服务于各行各业的企业和个人用户,行业市场渗透率超过90%。通过腾讯安全天御的内容风控能力,平台内容风控审核效率提升了20倍,有效降低了人力成本,业务健康度达到99.89%。结合腾讯天御在内容风控领域的能力成效和我个人在与恶意内容对抗中积累的经验,我将从内容风控的几个主要“对手”开始说起,与大家分享腾讯安全内容风控的“必杀技”。

平台内容爆炸式增长,内容风控的重要性与日俱增


2018年,全国各地网信办平均每月收到网民举报的淫秽色情、诈骗信息、垃圾(有害)信息等高达304.6万次,且不断攀升,这都是内容风控所面临的也是迫切需要解决的问题。


平台中有害内容泛滥,会对平台造成多重伤害:


首先是法律风险,如果平台没有做好有害的内容识别,是需要负法律责任的:近期《关于办理非法利用信息网络、帮助信息网络犯罪等刑事案件适用法律若干问题的解释》出台,进一步明确规定了平台和产品在内容方面的义务与法律责任。


其次是失去用户的风险,平台中泛滥的有害内容会严重影响用户的身心健康。


第三是内容劣化风险,平台如果放任有害内容的产生和传播,必将导致劣质内容驱逐优质内容,降低平台整体品质,从而导致用户流失。


对抗最古老的恶意内容——色情文本


文本是网络中最大的信息载体,所有互联网平台都面临文本安全风控的问题。色情文本中存在一些明显特点,比如变异字干扰、形近字拆字干扰、同音字干扰。

image

(垃圾文本通过变异干扰躲避传统的有害文本风控模型)


针对这类文本的特点,单靠抗干扰能力弱、策略更新滞后的文本策略无法满足对抗的需求,需要通过文本策略+算法模型相结合的方式来提升整体识别的召回率和准确率。


对比典型的TextCNN、RNN、FastText等文本分类算法,其中TextCNN的模型复杂度低、推理速度快、抗干扰性强且对词顺序不敏感等特点,适合于短文本高对抗的场景。


在模型训练中,我们可以通过以下手段来进一步提升模型的识别效果:


  1. 基于字符、拼音的Word2Vec来丰富词的语义信息,可以有效解决同音字问题;

  2. 数据增强,对训练样本中的高频词做拆字,比如针对“加微”这个词分别补充“+V”“+威”等用于训练来提升模型的抗干扰能力。

  3. 基于静态词向量与动态词向量相结合的方法,比如在不同场景的大规模语料上分别预训练静态词向量,捕捉词的多场景语义信息,从而降低因训练数据过少导致的过拟合风险。

对抗流传最广泛的恶意内容——色情图片


图片是网络上仅次于文本的第二大信息形式,几乎任何互联网平台都要面临图片中存在的色情、低俗等问题。我们把色情低俗等图片大致分为两类过滤情况:


存在具象的有害元素:例如露点、性行为等,经典的图像分类/目标检测算法就适用于这类情况,此时算法的挑战在于元素类型众多、而且有害元素在画面中的比例未必是显著的。针对这种情况通过Attention技术,可以让模型更关注到特定元素而“忽视”无关痛痒的其他画面元素,例图中的输出图片是热力图,从中可以看出模型对漏沟信息的反应最为明显,说明模型判断这是一张低俗图的主要原因在于它发现了‘漏沟’这一概念。

抽象的概念:人类判断一张图是否是有害是基于画面的具体元素结合生活经验的结果,与针对特定元素的识别的图像感知相比,大量隐晦图片(如性挑逗、性诱惑)把问题上升到了图像认知的层次;图像多标签识别技术可以实现输入一张图片输出一组标签,为图像认知提供基础语义支撑,建立在多标签基础上再构建上层模型才有可能使机器做到类似人类“图像认知”的效果。这里的算法挑战在于需要积累大量的训练数据覆盖形形色色各类标签,而且真实世界分布中的标签的比例往往严重不平衡,如何既支持大量的标签类别又应对标签不平衡问题而且还要保持最终的识别指标是一项技术挑战;针对这种情况,腾讯安全天御内容风控采用标签级动态采样方式,设置ignore label抑制高频标签,降Loss反向传播权值,可以有效提升低频标签召回率提升,进而提升整体的识别效果。

对抗发展最快的恶意内容——色情直播、视频


2016年直播迅速崛起,到近年短视频飞速发展,都是以视频的方式吸引大量网民的眼球,相对文本图片静态内容,针对直播和短视频的内容风控除了可以从视频中抽帧做图片有害内容识别之外,还有更多的挑战:


实时性:直播作为实时流,主播在直播的同时就有数百万甚至千万的粉丝在观看节目,所以对风控的算法模型响应速度要求特别高,一般需要在500ms以内完成色情、低俗、是否本人等多项检测,并将异常的情况通知平台进行处理。


性能要求:以1分钟的短视频为例,如果按照100ms间隔抽帧,完成一个短视频需要识别600张图片,串行处理大概需要5分钟,而这往往无法满足用户及时上传及时分享的需求;因此需要加速视频检测的速度,除了通过增加机器提升并行处理速度外,可以在截图的时候使用后帧关联识别来做跳变抽帧的方式来减少抽帧总量但又不漏过视频中的关键帧信息来减少图片识别的总量。目前腾讯安全在视频检测中利用腾讯云的资源弹性伸缩,并使用跳帧识别的方式1分钟的视频,最快10s即可钟完成检测。


音频检测:视频中除了画面存在有害信息之外,还有可能出现音图无关现象,比如直播画面正常但是音频却涉黄了,因此除了截图识别外还需要提取音频内容做呻吟声等识别。完整的音频检测流程包括a)VAD 做静音检测,去掉静音内容,同时将音频分段;b)提取音频特征 MFCC/Fbank等;c) 在通用模型上(基于GMM 或者TDNN)提取能够表征该段音频内容的特征(embedding);d)通过特定的后端分类器得到每段音频的识别结果;e)根据每个片段的得分和时长,根据业务需要,汇总得到整条语音内容的识别结果和置信度。


不同规模的平台,要采取不同的对抗方案


针对文本、图片、视频(音频)都有不同的算法(比如TextCNN、BERT、多标签识别、Attention技术以及音频中的TDNN和i-vector),不同规模的企业中选择的技术可能大同小异,但是在风控系统的设计和实践中会出现较大的差异,最终产生的效果出现比较大的偏差。内容的对抗是一个持续的过程,线上一成不变的算法模型可以解决一时的问题不能解决各种黑产的攻击与绕过,因此针对线上识别系统之外我们还需要一套主动收集漏过数据补充线上模型流程:


  1. 获取被线上模型识别为有害的内容以及用户举报的有害内容所关联的号码

  2. 提取号码的文本内容做文本聚类(TF-IDF、DBSCAN、分层聚类)

  3. 提取聚类特征消息平均长度(号码信息熵、IP信息熵、地址信息熵)

  4. 通过XGBoost输出异常分类并给到人工标注来挖掘漏过样本


同理针对图片、视频、音频的检测系统也少不了主动收集漏过数据的流程;除此之外的内容风控系统还必须具备弹性的处理能力来满足业务的需求,以及针对不同的场景做精细化的检测的能力。所以针对中小企业来说我们更建议选择成熟的云上内容风控方案,来降低企业自身的人力、物力的持续投入而专注于内容本身的运营;而针对大型的企业来说由于面临的风险也更大,除了可能自建设内容风控系统之外也可以接入云上内容风控能力来补充提升自身的不足。


内容风控解决方案,实现平台“降本增效”


目前腾讯安全天御内容风控系统已经通过腾讯云和小程序开放平台服务数万客户,通过我们的内容风控的系统可以从两个方面来实现“降本增效”:


降低开发成本,一键接入:目前腾讯安全天御的内容风控系统已经跟腾讯云的产品有机的结合起来,如果企业已经使用了云通信、点播、对象存储(COS)、直播等产品,那么无需开发就可以接入到我们的内容风控,我们识别到有害内容之后将主动通知企业进行处理。

降低20%~80%的成本:随着内容风控系统不断的提升检测的效果,企业在对“鉴黄师”的人力投入也在持续降低,不同规模的企业能够降低原有20%~80%的成本。大量此前曾经需要很多人力投入才能解决的工作,现在可以交给系统来完成,企业可以将人力集中于内容风控系统检测之后的复核以提升风控效果,更大程度的避免有害内容带来的风险,也可以将人力投入到其他业务的创新和生产当中,为企业创造更多的价值。


内容风控的演进与新技术应用



内容风控的核心是识别文本、图片、视频、音频中的有害内容,现阶段的识别还离不开“鉴黄师”的辅助,我们需要持续将识别做到精细化来满足不同场景的需求,同时不断提升召回率和准确率来释放“鉴黄师”的投入从而降低企业的成本。


目前内容风控对抗的主要是用户产生的内容,不管是用户自拍还是专业拍摄,其内容的创作都是有一定成本的,随着通过生成对抗算法产生的文本、图片、视频、音频开始传播起来,其创作的成本更低廉可能更具有传播性,那么内容风控所需要面对不仅仅是人产生的内容,也包括机器自动生成的各式各样的内容。


随着5G等技术的落地,VR、AR可能重新火热起来,也会带来新的内容形式,但是内容风控的本质不会变,只要我们在内容的生产、存储、传播三个环节做好内容风控,必将可以更优的姿势迎接内容井喷式发展的到来。


五、群内QA


Q1:可以在截图的时候使用后帧关联识别来做跳变抽帧的方式来减少抽帧总量但又不漏过视频中的关键帧信息来减少图片识别的总量——请问这里能展开讲一下么?

A:本质上是利用了视频帧前后的内容关联性。一般情况下,每秒视频包含十几到几十帧画面,画面之间存在很强的内容连贯性;从另一个角度来说,相邻图像帧之间信息是(有很大概率)冗余的。


Q2:违规样本都是怎么来的?

A:训练的数据来源很多的,很大一部分都是自拍获得的,同时随着生成对抗算法的成熟落地我们也用AI生成训练数据,比如应对某些类型的漏过会快速采集少量的数据再AI生产一批来满足训练的需求。当然我们也非常欢迎大家提供各类样本数据。


嘉宾简介


Lucas

腾讯安全内容风控专家


多年内容风控实战经验,长期与恶意文字、图片、音频、视频等进行对抗,相关算法、模型和实践应用大牛。



相关文章

在线客服
淘宝购买
腾讯云直播申请 title=
+成为腾讯云VIP客户 腾讯云直播申请 客服电话

15818558013

0755-33940501-803

0755-33940501-808