AI/VR赋能动画制作：离颠覆尚远，但已势不可挡

原创：东西动画研究组 2018-05-30

本文为东西动画研究组根据自身研究梳理，转载请联系东西文娱（微信号：EW-Entertainment）

关键词：迪士尼|AI| VR|动画制作

动画巨头迪士尼不断传出用AI（人工智能）辅助动画制作的同时，其他研究机构与工作室们对人工智能动画制作技术的跟进和加码也一直没有放松。

匠心不可复制，但AI和VR技术想要深入动画制作的势头已无法阻挡。

AI根据文字生成动画

人工智能艾伦研究院、伊利诺伊大学及华盛顿大学的研究员们开发了为“CRAFT”（Composition, Retrieval and Fusion Network）的人工智能动画制作模型，实现了用AI通过文字生成动画片的基础性操作，成功通过机器合成出了动画《摩登原始人》的一个小片段。

通过检测2.5万个经典电视片段，并将每个片段标注上动作和角色的描述性文字，而后将叙述中的关键词与图像一一对标，再给出新的叙述，由人工智能新将角色、背景、道具自行拼接在一起，自动生成动画。

这一项目的有趣之处不仅在于使没有美术功底的人参与动画制作变成可能，还在于该模型能够同时掌握一套各不相同的技能。人工智能不仅需要了解描述，还需要从数据中提取动画元素，并重新组合它们以创建新的动画。在这种情况下，系统被分解为三大子系统 —— 合成Composition，提取Retrieval 和融合Fusion，由此得来“CRAFT”一名。

虽然CRAFT技术目前在应用范围、片段时长、动态捕捉、构图精准度上还很局限，只能完成75帧或时长3秒的动画片段，还包含由于语句较为复杂而形成图像崩坏、错位的失败作品，但在成像及总体画风上已经做到基本贴合。从实验样片上看，CRAFT的文字成画水平已经超过了像素生成的效果（Pixel Generation）。

对于动画制作工业来说，虽然CRAFT技术还远不达代替人工的水平。但通过省去一些繁琐、常规的手稿绘制流程，CRAFT 有望在不断完善后直接提升制作产能，进一步帮助工作室集中到制作核心场景上，也使动画的整体质量上一个档次。CRAFT的基本成功也成为动画机器制作能力上扬的有力迹象，或多或少说明，借人工智能更有效地推出动画场景的市场局面可能比想象中到来的更快。

Disney——AI通过音频生成动画

去年，迪士尼和 CMU （卡耐基梅隆大学）合作建立的实验室发表论文称，通过引入一种简单有效的深度学习方案，通过AI从音频中生成表情动画。

具体而言，研究人员首先对人类语音进行采样，再让系统识别各个发音所对应的嘴型和面部表情。系统可用于分析来自任何扬声器的音频，并自动产生相应的口形，应用于自动语音动画的面部模型。

与之前程序化的语音生成动画相比，这套系统能直接从数据中学会自然的协同发音效果。与此同时，这套系统只需非常少的参数调节，可以实时运行，并与现有的动画重定向方法兼容。

迪士尼实验室表示，他们工作的重点之一是开发出能高效生成语音动画、同时快速整合到现有产品中的方法。实际上，由于保持了细节的丰富和语音的准确性，这套系统的应用范围还可从动画扩展到 VR 社交，让 3D 化身更加生动。

迪士尼研究所（Disney research）负责研究人机交互、机器学习、数据分析、机器人技术、视觉计算，以及动画相关的材料与制造。

过去，CMU和迪士尼合作开发计算机技术，已经可以快速生成逼真的动画面部表情和身体动作。

该实验室专门为迪士尼和它旗下的ESPN和皮克斯动画工作室等公司提供计算机动画和机器人技术。

值得一提的是，除动画制作以外，迪士尼与CMU的合作还广泛衍生到了实景娱乐领域，二者也正就智能手环和机器人人偶等技术申请专利。

Google——机器自动绘制草图

去年4月， Google研究博客发文称，图像建模技术“sketch-rnn”获得了成功，

以手绘草图作为机器训练的数据集，突破了深度学习图像建模普遍存在的错位问题，该技术潜在的应用空间就包括帮助艺术家创作、美术教学等等，帮助创作者想出更多与目标受众共鸣的抽象设计。

目前，sketch-rnn的落地主要集中在游戏类移动端应用产品上。

产品之一包括“AutoDraw”的应用，基于机器学习和系统图库，应用将人工绘制较为粗糙的草图直接转化成完成度较高的图像。

虽然AutoDraw在图像识别上还有偏差，目前图像样本的采集只有数百个，未来还会增加，主要用于帮助业余爱好者划出更精美的画作，自动成图还可被手动关闭成为数字手绘本，同时允许在图上加上文字、图形、填充颜色。

此外，线上游戏《快速涂鸦!》也运用了相同的技术基础，即利用机器揣测出绘画者想画的东西。《快速涂鸦》给定画的对象，并就成果的精确度给出评分。

Midas Touch ——2D动画自动生成

去年6月，动画技术初创公司Midas Touch Interactive推出了名为Midas Creature的新工具，声称可以自动完成创建2D复杂动画的过程。

创始人Jiayi Chong 是来自皮克斯的动画精英，曾参与制作《玩具总动员3》、《机器总动员》和《飞屋环游记》等电影。借助Midas Creature，艺术家和设计师可以向自动引擎发出指令，由软件指导角色进行移动。

Midas将这一技术定位于超越传统的“关键帧”和Flash技术的二维动画制作工具，AI在提高效率的同时，完成传统技术无法实现的操作，将运动捕捉数据从3D转换为2D，为游戏开发商创造极大便利；目前Midas Creature推出了“企业版”“独立版”两个版本于官网电商页面销售，面向不同需求和规模的动画工作室区别定价。

从产业的角度上说，通过构建下一代AI驱动、物理基础的动画制作流程，Midas正逐渐成为新兴沉浸式娱乐技术领域的专家，开发出具有成本效益和深度互动性的内容创建服务，而随着未来这一技术的完善，电影、VR、AR、传统游戏的制作流程有望产生实质性突破。

AI使视频游戏角色更逼真

除动画作品外，AI运用于游戏人物/角色的动画的探索也很普遍。

近期爱丁堡大学和方法工作室（Method Studios）创立了一个机器学习系统，通过用户下达的指令，由机器学习根据具体场景自动输出动作流畅逼真的人物动画。

不同于多数游戏简单地回放预先设置的动作动画的情况，该系统通过结合初始动作捕捉中类似情况的相关数据，由机器推断身体部分移动的方式，并融合成全新的动画，灵活运用到多变游戏场景中，人工神经网络负责将不同的部分合成一个动作的加权（Weighted sum），在数据驱动下使人物动作更为精细。

为了避免动画中不同动作类型错混在一起，出现与人类运动违和的现象，系统的人工神经网络还添加了一个相位函数使游戏人物动作切换更为流畅。

在展示样片中，团队在2小时内收集1.5GB的动态捕捉数据，再交给人工神经网络进行大约30个小时的数据学习。

该技术尚未正式应用于游戏动画中，主要在于使用效率还亟待提高，但这一更智能的方法论能帮助动画师减少重复性的简单工作，由算法呈现出更加流畅、精准的人物动态，不同形象模型上的普及也有望将服务于影视动画的动作捕捉工作室（Mocap Studio）。

▲

前期阅读

（点击链接或图片阅读）

Netflix为何“半遮半掩”进行原创内容衍生变现？