www.467567.com腾讯微视发力运动捕捉技术一张照片即

发布时间 2021-07-21

  www.467567.com,用户可上传或拍摄一张正面照片,系统即可自动识别照片姿势,给人物全身换装黄金圣斗士铠甲。或者在拍摄页面选择圣斗士相关特效,全身入镜即可变身圣斗士,即使在拍摄过程中处于运动状态,黄金盔甲特效也会实时计算跟踪。在拍摄特效界面,可召唤多个星座的圣斗士,如黄金射手座、双子座撒加、处女座沙加等。

  现如今短视频领域的诸多玩法,背后的技术要分为四种:人脸 2D 关键点检测、人体 2D 关键点检测、人脸 / 头   3D Mesh 重建、人体 3D 关键点检测。但想要实现上传一张照片,或拍摄运动状态下的人物都穿上黄金圣斗士铠甲的效果,则需要实现从普通图像中重建出人体 3D Mesh,才能将人体的身材用铠甲包裹住,并且保证能够在手机上实时运行。

  腾讯微视为了获取到高质量的 3D 人体 Mesh 重建数据,独立搭建了一套全新的动捕系统,并使用并基于这套系统开发了相应的 Mesh 重建算法,使其能更高效地进行训练数据的迭代,解决更多场景和姿态下的问题,增强模型的泛化性能。通过重建 7 千多个顶点和 1.5 万的面片,还原人体的基本动作,甚至预测出人体的高矮胖瘦。最终,渲染引擎根据这些信息给视频中的人物 穿上 盔甲。

  在基础技术储备完成后,腾讯微视团队主要从数据集制作、算法流程改进、网络结构搜索、移动端工程优化以及算法细节打磨等几个方面对算法进行了优化。比如对上万个贴近手机端用户拍摄内容的视频数据进行采集、标注、清洗;对网络 Backbone 结构的设计与优化等。

  从最开始的 CV 技术研发、到移动端的部署以及渲染,整个技术生产链条的打通离不开各部门团队间的多番协作。该项目调动了腾讯 PCG 内部多个技术团队,包括 OVBU 拍摄算法团队、应⽤研究中⼼、光流产品中⼼和 MXD 创意平台设计中⼼。技术是第一步,特效的渲染和设计打磨也是特效出街前的必然步骤。

  在特效渲染层面,微视技术团队基于重建的人体   3D Mesh   量身定制了一套 AttachToBody 的渲染方案,确保高质量的渲染效果。此外,技术团队开发的自定义材质系统,也为玩法提供了更自由灵活的材质与光照解决方案。在性能方面,为了提升效果整体的覆盖率,在低端机上采取了 Material Capture 材质捕捉技术方案,用较小的计算成本拟合出近似 PBR 的真实感效果。同时在一些高频且量大的矩阵计算中启用了 NEON 加速方案,整体降低了数学计算耗时。

  在视觉效果优化层面,设计团队通过对微视引擎的了解,设计出高标准且不超纲的设计,从研发、调整到打磨阶段都与技术团队强绑定,明确优化方向,给出优化建议;辅助优化引擎渲染能力,对特效的衣服贴合度与跟随性,身体比例协调性,衣服视效等方面进行了多轮打磨,最终达到较高标准的效果质量。

  一直以来,腾讯微视高度关注技术研发,未来也将持续围绕三维人体重建来进行创意特效设计与研发,不断提升 3D 重建精度,解决更多拍摄场景的需求。在人体形变、人体驱动虚拟角色等方面也将努力有进一步的突破,为用户提供更酷炫好玩的特效新体验。据了解,腾讯微视发布器团队正在大力招聘中,吸纳更多技术创新研发、创意视觉玩法等方面的专业人才进入,来发掘更优质的创意玩法,打造行业一流的短视频发布器一体化解决方案。


香港马会开奖结果直播| 香港马会开奖资料| 金牛网| www.693577.Com| 今晚开什么码特马| www.013888.com| www.79489.com| 香港正版挂牌之全篇| www.4556711.com| www.789111.com| www.567903.com| 今晚香港挂牌之全篇|