欢迎光临——2018全年免费资料_2019正版免费全年资料_2019全年资料大全正版

帮助中心 广告联系

2018全年免费资料_2019正版免费全年资料_2019全年资料大全正版

热门关键词:

嘿嘿思酿成会舞蹈的小哥哥或密斯姐吗?超纯粹!

来源:未知 作者:admin 人气: 发布时间:2019-08-28
摘要:原题目:嘿嘿,念造成会舞蹈的小哥哥或姑娘姐吗?超浅易! 选自arXiv 呆板之心编译 作家:Caro? 此前,呆板之心拾掇了 GitHub 上一篇闭于用 DanceNet 天生舞蹈视频的作品(DanceNet:助你天生会舞蹈的姑娘姐),吃瓜民众直呼厉害。这回,UC 伯克利的一项考虑

  原题目:嘿嘿,念造成会舞蹈的小哥哥或姑娘姐吗?超浅易! 选自arXiv 呆板之心编译 作家:Caro?

  此前,呆板之心拾掇了 GitHub 上一篇闭于用 DanceNet 天生舞蹈视频的作品(DanceNet:助你天生会舞蹈的姑娘姐),吃瓜民众直呼厉害。这回,UC 伯克利的一项考虑更不得了——给你一个舞蹈视频,依据本文提出的方式,你可能直接把视频里的人换成己方了。就问你,厉不厉害,流不流皮?

  该考虑提出一种转移差别视频中人物举措的方式。给出两个视频,一个视频中是考虑者念要合成举措的方向人物,另一个是被迁转移作的源人物,考虑者通过一种基于像素的端到端流程正在人物之间进运动作转移(motion transfer)。该方式与这二十年来应用迩来邻查找 [4, 9] 或 3D 重定位运动 [7, 13, 26, 30] 的方式差别。考虑者用该框架创筑了众个视频,使未经锻练的业余职员也能像专业芭蕾舞艺人那样做出盘旋等舞蹈举措,像时兴明星那样舞蹈。

  为了逐帧地达成两个视频中人物之间的举措转移,考虑者必需研习两小我物图像之间的映照。该考虑的方向是呈现源聚会和方向聚会之间的图像转换方式 [14]。然则,考虑者并不具备推行同样举措的两小我物的对应图像对,来直接监视图像转换。纵然两小我物按同样的形式推行举措,依旧有大概不具备帧到帧的身体姿势对应干系,由于每小我物的身体和品格都存正在区别。

  考虑者阅览到基于环节点的状貌可能动作两小我物之间的中心呈现,环节点状貌素质上编码了身体地位而非外观。这些状貌与该考虑的方向同等,也许维系随时辰变动的运动特性,同时尽大概众地空洞人物特质。因而考虑者把中心呈现打算成状貌简笔画(睹图 2)。考虑者从方向视频中获取每一帧的状貌检测 [5, 27, 35],获得对应(状貌简笔画,方向人物图像)对聚会。应用该对齐数据,考虑者以监视的形式研习状貌简笔画和方向人物图像之间的图像转换模子。因而,该模子颠末锻练后可能天生特定方向人物的性格化视频。接下来便是举措转移,考虑者将状貌简笔画输入锻练好的模子中,以获取方向人物持同样状貌的图像。考虑者正在模子中增加了两个组件来改正结果的质地:为了巩固天生视频的时辰流利度(temporal smoothness),考虑者每一帧的预测都基于前一个时辰步的预测结果;为了巩固结果的面部传神水准,考虑者正在模子中纳入了一个特意化 GAN,用于天生方向人物的面部。

  该方式可能天生差别视频人物之间的举措转移视频,无需腾贵的 3D 或运动缉捕数据。该考虑的首要奉献是提出了一种基于研习的流程,用于视频间人物的举措转移,结果正在真正、详明的视频中达成了庞大的举措转移。考虑者还对提出的模子举行了模子简化测试(ablation study),并与基线模子举行比拟。

  摘要:本文提出了一种浅易的方式,用于「do as I do」的举措转移:给出一小我舞蹈的源视频,咱们可能正在方向人物推行轨范举措的几分钟之后,将该演出转移到一个新的(业余)方向人物上。咱们将该题目看作一个具有时辰腻滑的逐帧图像转换题目。咱们应用状貌检测动作源和方向之间的中心呈现,研习从状貌图像到方向人物外观图像的映照。咱们将此设立用于时辰相闭视频天生,征求传神的人脸合成。

  给出一个源人物视频和一个方向人物视频,咱们的方向是天生方向人物推行源视频同样举措的新视频。为了完工这一做事,咱们将职责流程分成以下三个程序:状貌检测、整体状貌归一化、从归一化的状貌简笔画映照到方向人物。正在状貌检测阶段,咱们用一个预锻练确当前最优状貌检测器,基于源视频中的帧来创筑状貌简笔画。整体状貌归一化阶段切磋了帧内源人物和方向人物的身体、地位区别。结尾,咱们打算了一个编制,通过反抗锻练研习从归一化状貌简笔画到方向人物图像的映照。

  图 3.(上图)锻练:咱们的模子欺骗状貌检测器 P,基于方向人物的视频帧创筑状貌简笔画。锻练时刻,咱们研习映照 G 和反抗区别器 D,后者实验划分「真」对应对 (x, y) 和「假」对应对 (G(x), y)。(下图)转移:咱们应用状貌检测器 P:Y ′ → X ′来获取源人物的状貌闭节,然后通过归一化历程 Norm 将这些状貌闭节转移到方向人物的闭节,为方向人物创筑对应的状貌简笔画。接下来咱们应用锻练好的映照 G 来天生方向人物的新视频。

  咱们修正了 pix2pixHD [33] 的反抗锻练设立来天生时辰相闭视频帧、合成传神的人脸图像。

  为了创筑视频序列,咱们修正了单个图像天生设立来巩固相邻帧之间的时辰连贯性,如图 4 所示。

  咱们增加了特意的 GAN 设立,旨正在为面部区域增加更众细节和线 所示。结果显示该 GAN 设立爆发了对比真正的面部特性,模子简化测试显示其改正了无缺图像 GAN 的结果。

  图 5:Face GAN 设立。残差由天生器 G_f 来预测,并从主天生器增加到原始人脸预测中。

  图 6:转移结果。每一片面展现了五个毗连帧。顶部一行显示源人物,中心一行显示轨范化的状貌简笔画,底部一行显示方向人物的模子输出。

  图 7:差别模子合成结果的对比。图像被裁剪成环绕原始状貌的畛域框。T.S. 呈现具有时辰腻滑设立的模子,T.S. + Face 是具有时辰腻滑设立和 Face GAN 的无缺模子。时辰腻滑设立为手、头、上衣和暗影增加了细节。这些细节正在无缺的模子中延续,征求脸部和周遭区域的附加细节,从而爆发最传神的合成结果。

  图 8:验证集上差别模子的人脸图像比拟。T.S. 呈现具有时辰腻滑设立的模子,T.S. + Face 是具有时辰腻滑设立和 Face GAN 的无缺模子。时辰腻滑设立和 Face GAN 的加众使得细节获得改正,失真水准得以节减。

责任编辑:admin

百度新闻独家出品

新闻由机器选取每5分钟自动更新

手机: 邮箱:
联系电话: 地址: