AI赋予图像生命——有面部表情的说话插座,你见过吗?

  • 来源:本站原创
  • 作者:天互数据
  • 时间:2020-10-29 10:22:00
  • 阅读:57次

想一想,当你浏览到一个美不可方物的女神图片,是不是想要和她聊一聊,和她对话心情也许都会好起来;如果有一天你可以和喜欢的荧幕角色说话,想想都让人激动......

以上这些都可以成为现实,给一张面部图像和一段音频,AI可以赋予图像鲜活的生命,让其说话。这不是天方夜谭,更不是空穴来风,马萨诸塞大学阿默斯特分校、Adobe 研究院等机构提出了一种叫做 MakeItTalk 的新方法,不仅能让真人头像说话,还可以让油画、卡通、日漫、素描中的人像说话。

什么?仅凭一张图和音频就可以和它对话?不信就来看看吧。这英俊的哈利波特小哥哥生动逼真,还能和你互动。


00.gif


看完真人再来瞅瞅动画效果,说到动画,小编倒是想和《猫和老鼠》里的主人公们进行一次愉快的交谈。


02.gif


如果你看到这里,那么恭喜你:到重头戏了。什么是AI ?AI可以让插座成精!口说无凭,以图为证。这么可爱又实用的插座,谁不想聊几句?


aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9LbVhQS0ExOWdXOThSaWJpYlRZa3RiSVl4Q2liYWxJUTdwNERicVJxQlZMQ2RpYk5DZmxzRU1UaWNPalpPcXAyRGFpY0EzR2VOQU1TaWFzcXlXMWJCVmZhRWpXb0EvNjQw.gif


那么,这我们来看一看这到底是怎么运作的?

MakeItTalk是一种具有深度架构的新方法,只需输入一段音频和一个面部图像,程序就会输出一个逼真的说话的头部动画。


2_副本.png


该方法将输入音频信号中的内容和说话人身份信息分离开来:音频内容用来稳健地控制嘴唇及周围区域的运动;说话人信息则决定面部表情的细节和人物的头部动态;另一个重要组件是预测能够反映说话人动态的面部特征点。基于该中间表征,能为真人头部图像合成说话状态视频。

总结一句,该研究使用声音转换神经网络将语音内容和说话人身份信息分离开。

说到这,MakeItTalk 能做什么实际应用呢?

比如配音:若原始视频使用语言为英语,而配音版使用的是印度语,那么问题来了,配音版影片中角色的语音和面部表情不同步。使用 MakeItTalk 后可以生成语音对应的视频帧,就能音画同步,还能保留原版视频中的说话风格。

比如视频会议:可以利用声音信号带动说话者的头部动态视频。与视觉画面相比,声音信号可以以较低的带宽保存。

AI给人们带来的便利和进步是方方面面的,以肉眼可见的速度改善生活。欲了解更多百度AI的相关资讯,可拨打以下电话了解详情,天互数据服务中心为您提供全流程服务。

详情请咨询:400-675-6239


天互数据 西北一流的IDC服务商

服务器租用服务器托管机柜大带宽美猴云相关产品

返回首页立即咨询购买