您好、欢迎来到现金彩票网!
当前位置:斗牛棋牌 > 纹理映射 >

Facebook实时人体姿态估计:Dense Pose及其应用展望

发布时间:2019-07-03 21:23 来源:未知 编辑:admin

  原标题:Facebook实时人体姿态估计:Dense Pose及其应用展望

  本文将简要介绍(1)利用 Dense Pose 实现单张 2D 人体图像到 3D 表面模型的原理 ;(2)如何将 Dense Pose 系统应用在「姿态转移」(pose transfer)这一问题上;(3)粗略展望 Dense Pose 的一些潜在应用。

  密集姿态估计 (dense pose estimation) 将单张 2D 图片中所有描述人体的像素(human pixels),映射到一个 3D 的人体表面模型。如图 1 所示,Facebook 发布了一个名为 DensePose COCO 的大型数据集,包含了预先手工标注的 5 万张各种人类动作的图片。

  图 1:密集姿态估计的目标是将 2D 图片中描述人体的像素,映射到一个 3D 表面模型。左:输入的原始图像,以及利用 [1] 中提出的 Dense Pose-RCNN,获得人体各区域的 UV 坐标。UV 坐标又称纹理坐标 (texture coordinates), 用于控制 3D 表面的纹理映射; 中:DensePose COCO 数据集中的原始标注;右:人体表面的分割以及 UV 参数化示意图。

  图 2 展示了 Dense Pose-RCNN 的级连 (cascade) 架构:这是一个全卷积网络 (fully-convolutional network),并连接着 ROIAlign 池化层 (ROIAlign pooling),用于处理两个核心任务,分别是:(1)分类。判断图片的某一像素来自于「背景」,还是「人体部位」;(2)回归。预测该像素在「人体部位」的具体坐标。

  研究人员在 [1] 中对于两种主干网络,ResNet-50 和 ResNet-101,对于 Dense Pose 任务的表现进行了比较。如表 1 所示,在 AP 和 AR 这两个评估指标上,ResNet-101 的表现稍优于 ResNet-50,但由于大型网络较为「笨重」,并不适用于移动应用。因此,[1] 中的其余实验均使用了 ResNet-50 作为主干网络。

  除了介绍 Dense Pose 系统的架构和工作流程,研究人员还在 [1] 中展示了一个 Dense Pose 的应用,「纹理转移」(texture transfer)。如图 4 所示,纹理转移这一任务的目标是,将图像中所有人的身体表面纹理,转换为预先提供的目标纹理。

  图 4:Dense Pose 纹理转换 (texture transfer) 的实验结果。该任务的目标是,将输入的视频图像中所有人的身体表面纹理,转换成目标纹理。图中第 1 行为目标纹理 1 和纹理 2。第 2、3 行从左至右依次为,输入图像,转换为纹理 1 的图像,以及转换为纹理 2 的图像。

  在 ECCV 2018 上,论文 [1] 的三名作者发表了 Dense Pose 的一个后续应用,即「密集姿态转移」(dense pose transfer,以下简称为 DPT) [2]。与纹理转换不同的是,DPT 这一任务的目标是,根据输入的 2D 人体图像和目标姿态 (target dense pose),将输入图像中的人体姿态转换成目标姿态,并且不改变人体表面纹理。

  如图 5 所示,DPT 系统以 Dense Pose[1] 为基础,并且由两个互补的模块组成,分别是(1)推测模块 (predictive module),用于根据输入图像,预测出具有目标姿态的人体图像;(2)变形模块 (warping module),负责从输入图像中提取纹理,并「补全」(inpainting) 具有目标姿态的人体表面纹理。此外,系统中还有一个合成模块 (blending module),通过端对端、可训练的单一框架,将推测和变形模块的输出进行合成,并产生最终的图像。

  图 5:密集姿态转移(DPT) 系统的流程图。该系统包括推测模块、变形模块,以及合成模块。

  图 6 展示了在 DeepFashion 数据集 [6] 上取得的 12 组姿态估计结果。每组姿态结果从左至右依次为:输入图像、正确的目标图像、Deformable GANs (DSC) [7] 获得的转移结果,以及 DPT 系统 [2] 获得的转移结果。由于 DSC 是目前解决「多视角图像合成」(multi-view synthesis) 这一问题中效果最佳的方法,所以 [2] 的作者将这一方法与 DPT 系统进行比较。

  从图 6 可以粗略观察到 DPT 系统在纹理转移上还不是特别完善。例如,一些女士上衣的花纹没有被保留,并成功转移到输出图像中;此外,人物的面部特征也在转移中出现一些偏差:身着黄色上衣的男士图像(见图 6 右侧第 3 行),经过姿态转后,人物面部更为「女性化」。论文 [2] 的作者指出,要取得更好的姿态转换结果,可能还需要预先获得一些额外的信息,比如面部特征、性别以及肤色。

  图 6:密集姿态转换(dense pose transfer)的实验结果。左右两组结果分别包含了输入图像、正确的目标图像、Deformable GANs (DSC) [7] 得到的转移结果,以及 DPT 系统 [2] 得到的转移结果。

  Dense Pose 为人体姿态估计提供了一种新的解决方法,研究人员也在 demos 中展示了 Dense Pose 能够实时完成纹理转移等任务。尽管 Dense Pose 还有许多需要完善的地方,它的应用前景还是相当乐观的。笔者认为 Dense Pose 未来可以在以下两个方面进行应用:

  一个应用方向是,利用单一图片进行服装的虚拟试穿。顾客可以上传一张自己的全身正面照,并从系统中选择一套需要试穿的服装,以及一个目标姿态。Dense Pose 系统则可以根据顾客提供的这些信息,产生出一张合成的图片,显示顾客「试穿」服装后的姿态。

  另一个应用方向则是,远程视频诊断背部痛疾。就诊者按照医生的要求,穿戴一套专用的传感器,并依次完成一系列动作(如上身向前倾若干度、蹲下、站直向左扭头等等)。就诊者的这一系列动作将由摄像头拍摄,并生成视频实时传输给医生。一个设想是,医生可以借助 Dense Pose 系统,根据就诊者的动作视频图像,生成就诊者的 3D 人体模型,并与背部无疾患的人体模型进行对比,从而初步判断患者是否患有背部疾病。

http://paris-hotels-fr.com/wenliyingshe/206.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有