一本道

Photo by Christian Wiediger on Unsplash女色网，本文来自公众号：硅星东谈主（ID：guixingren123）女色网，作家： 光谱，杜晨

蓝本是为了简易视频编订，这项期间却足以成为真相的恶梦。

最近几年，出现了不少期骗深度学习编订视频的期间。

最闻名的势必是 Deepfake，导致明星换脸视频残暴色情网站；以及出身于昨年的 Deep Video Potrait (DVP)，松开生成以伪乱简直演讲视频，让新闻机构和政事东谈主物一度狂躁。

若是你以为这些就富余令东谈主担忧，那你就太小看深度学习辩论者了。在他们的眼中，只消所以科学的口头，莫得任何期间是受限的——即便可能形成严重的谈德危境。

最近，辩论者开荒出了一种通过深度学习去旁边视频的全新期间，不错在一句话中增多、删掉以致是修改放荡文句，让视频中的演讲者说出任兴趣说的话，而况看起来仍然十分当然，就好像演讲者我方说出来的那样。

譬如说，财经电视台的原报谈是“苹果股价收盘于191.45好意思元”，辩论者将数字改变为“182.25好意思元”，在英文中发音和口型皆备不一样的两组数字，最终后果很丢丑出来是被修自新的：

可怕之处在于：旁边视频的门径十分省略，只需要修改视频转录的文本即可。这个期间不错我方找到文本在视频中对应的位置，自动生谚语音和脸部模子，然后自动贴上去，生成新的视频……

辩论者通过调研发现，59.6%的受试者合计被这项期间编订过的视频是信得过的视频，反而有20%的受试者合计未经编订过的视频是假的。

也即是说，经过这个管谈的加工生成的视频，足以骗过大多数东谈主的眼睛。

这项期间咫尺尚未对公众洞开，也莫得一个浅显东谈主不错使用的编订软件，因为它仍处于辩论和测试阶段。辩论者来自斯坦福大学、德国马克斯普朗克信息学院、普林斯顿大学和 Adobe 辩论院。这份辩论如故提交到了筹划机图形顶会 SIGGRAPH 2019 上。

你不错不才面这个视频里看到，这项期间的编订后果有多好，编订出来的视频有多“信得过”：

您咫尺诞生暂不扶持播放

这项期间现实上和会了多种深度学习门径，包括语音识别、唇形搜索、东谈主脸识别和重建，以及语音合成。

省略来说，辩论者当先对视频的图像和声息辞别进行惩办，将需要修改部分的画面和音素分离出来，把修改后语句的音素拼装进去，再字据这些单词的发音生成新的东谈主脸模子，临了夹杂渲染成一个新的视频。

领会门径大致如下：

1）输入视频，条目必须是talking-head video，也即以东谈主脸（不错包括上半身）为主要画面，以演讲为主要内容的视频；

2）输入需要修改的字句，以及修改后的笔墨；

3）使用音素对皆 (phoneme alignment) 期间对视频里的发言进行索引，简易后续责任。音素即是单词的构成部分，比如“苹果”由拼音 ping 和 guo 构成；

4）使用唇形搜索 (viseme search)，在原视频里找到需要修改的视频片断和对应的音素；

5.a）听觉上，把修改后文句的音素拼装起来，镶嵌到原视频里；

5.b）视觉上，对视频当中的东谈主脸进行跟踪建模，然后字据修改后文句的发音，为视频的每一帧重建一张下半脸的画面（因为大部分讲话时的面部动作不会波及鼻子以上），再从头渲染出一段视频（无声）；

6）再用视频中演讲者的语音贵府合成新的语音，临了夹杂编订成一个新的视频。

从左到右：不同音素对应的帧；从上到下：原始视频到渲染、最终合成的后果

辩论者找来了138名巨匠参与用户调研，让他们不雅看三组视频然后给出真或者假，也即未经编订和编订过的判断。这三组视频辞别为 A（信得过），B（信得过），C（用 A 算作基础，把 B 的文句替换进去的“假视频”）。而况，辩论者预先告诉了受试者，此次调研的主题是“视频编订”，因此受试者明晰我方看到的细目会有假视频，因此会更机警地寻找“马脚”。

59.6%的受试者合计 C 组是信得过的视频；20%的受试者反而合计原始、未经编订的视频是假的。

辩论者也把这项新期间和 Deepfake、MorphCut 以及 DVP 等“前辈”进行了对比。他们发现，新管谈在嘴部动作、口腔内画面合成（牙齿、舌头等）上性能更好，而前辈生成的插入帧通常十分生硬，稍加属意就能看露马脚。

下图：Deepfake（Face2Face) 在插入帧上出现了牙齿幻影。

下图：DVP 对牙齿的规复出现了高可辨的造作。

下图：DVP 对画中东谈主上肢动作的规复出现了问题，导致了不竭性裂缝（影视术语，指编订导致了不对逻辑的画面，比如手举着的两帧之间出现了手隐藏的一帧）。

报错的 Yoshua Bengio

下图：MorphCut（Adobe Premier Pro 里的一个功能，在生硬的编订中插入筹划机生成的帧以使画面顺滑）让画中东谈主面部出现严重的重影

糊掉的 Yoshua Bengio

辩论东谈主员发现，输入的视频越长，最终的编订后果越好，视觉上更当然，对40分钟的视频素材进行西席，便大略达到论文以及视频展示的最优后果；然而，即便只使用极小数的数据，比如两分钟的视频进行西席，最终合成的东谈主脸缺欠率也才唯有0.021，仅比40分钟视频（0.018）高了0.003。

这意味着，这项期间不错用于一段很短的视频，并不需要多数数据也不错达到上乘后果。

论文提到，修改的文句怀念和成片质料的猛烈并莫得平直相干性，然而唇形搜索和音素搜索的末端会影响最终编订后果。譬如说，若是修改文句的口型和发音在数据集里从来莫得出现过，后果可能就不会太好。（辩论者弃取的参数夹杂门径也不错弥补这一情况，比如 fox 不错用 v 和 ox 组合而成，不一定需要带 f 的词语。）

在用时方面，论文表露 3D 东谈主脸建模每一帧破耗110毫秒，也一段长度1小时、60fps演讲者一直在讲话的视频（下同）需要396分钟或者六个半小时；音素对皆需要轻便20分钟；唇形搜索最短仅需10分钟，最长2小时；东谈主脸合成每帧需要132毫秒，1小时视频需要快要8小时合成，进程中的神经麇集西席用时最长，需要42小时傍边。

完成了上述门径后，编订者就不错对视频纯粹修改，若是仅仅修改部分文句的话，破耗的时辰和西席/前期准备比拟可忽略不计。

譬如说某政客演讲完，表面上最快两天后网上就能出现一段兴致被皆备扭转，但皆备看不出任何问题的“假视频”。

而若是放到新闻的语境当中，这项期间眨眼间变成了最令东谈主们担忧的事情。这一门径对筹划量有一定需求，因此路东谈主不一定有才气完成，但若是是黑客或者气愤政事东谈主物思要对受害者进行有组织的歪曲波折，本篇论文所面貌的这一门径险些不可更好用。

今天，英国一家营销机构在其 Instagram 账号上发布了一小段扎克伯格的讲话。在视频中，扎克伯格戴着标记性毫无“东谈主味”的样子，暗意“思象一下，有一个东谈主，皆备领域着数十亿东谈主被盗的数据，他们所有这个词的奥秘，他们的生存，他们的未来。我皆备归功于阴魂。阴魂告诉我，谁能掌控数据，谁就能掌控未来。“

”阴魂“是这家营销机构正在履行的一个安装艺术展览，这则视频其实这场展览的营销。视频自身亦然用 Deepfake 或者雷同的期间制作的，期间来自于以色列公司 Canny.ai，声息则是找了一个跟扎克伯格皆备不像的东谈主竭力于装出来的。事实上，这家营销机构还”找来了“特朗普、金·卡戴珊、摩根·弗里曼等闻名东谈主物，制作了雷同的视频。

若是说这些视频东谈主畜无害的话，那么另外一则期间含量根柢没多高的编订视频，则对一位好意思国顶级政客带来了弘大的伤害。

前几周，两段好意思国众议院议长南希·佩洛西“口齿不清”的视频流传于网上。很快，这段视频就被东谈主发现使用了相配没趣的编订手法，让佩洛西看起来像是喝多了或者快要中风一样。包括 Facebook 在内的一些酬酢网站和视频平台拒却取缔这些视频。

在面前社会顶点化和造反日益严重，以及假新闻盛行的大环境下，雷同的视频通常具有极强的传播势能。而更先进的期间让视频的质料变得更好，相应地对受害者的伤害，以及对社会形成的进一步扯破，只会愈加严重。

辩论者在论文中指出，他们合计这项辩论的主要指标是简化视频编订东谈主员（以及内容产业举座）的责任压力。比如那些念错台词或者漏拍的场景，咫尺不错平直用深度学习算法生成精准的画面和声息，不再需要从头花大价格重拍。

另一个进犯的使用场景是翻译。论文中（以及配套的视频里）演示了跨话语生成视频的后果，因为内容上被编订的不是词语，而是口型和音素，不受话语的端正（比如，很多欧洲国度话语分享音素）。

若是有一部电影需要译制成西班牙语版，昔时的作念法是译制厂平直后期配音。而咫尺有了这项期间，不错平直生成发音准确，而况口型相同准确的译制片了。

固然，电影仅仅一个顶点的案例。不那么顶点的话，譬如说你是一个好意思妆博主，思要把不雅众群膨胀到国外，赶巧不错用这项期间生成其他话语版块的视频，即便发音不百分之百精准也没相干系。

临了一个使用场景，是生成二次元偶像带视觉形象的臆造语音助理。有了这个期间，应该就不错生成不错看见的林志玲/郭德纲导航了。辩论者在论文中提到，除了用神经麇集，他们的期间也不错搭配 macOS 的语音合成器 (speech synthesizer) 使用，让合谚语音愈加容易。

本文来自公众号：硅星东谈主（ID：guixingren123），作家： 光谱，杜晨