体育人工智能研究院专任教师白隽瑄老师以合作作者身份在动作合成领域发表了最新研究成果,相关论文在国际期刊Computer Animation and Virtual Worlds上发表,论文在CGI 2023国际会议上被报告。

论文题目:
Foot-constrained spatial-temporal transformer for keyframe-based complex motion synthesis
内容摘要:
基于关键帧的动作合成是游戏和电影制作的重要技术。在进行复杂的动作合成时,现有的技术经常需要进行二次后处理来去除“滑步”问题。本文分析了产生滑步的原因,即根节点轨迹和姿势的不匹配。为了解决这个问题,本文提出一种以脚步触地为约束条件的端到端时空Transformer网络以进行高质量的基于关键帧的动作合成方法。本文提出的Transformer包括一个时空编码器和两个解码器以学习动作序列的特征和动作姿势、触地状态的预测。这种新颖的约束条件,可以让神经网络学到更多样的控制知识。为了利用姿势生成匹配的根节点轨迹,本文设计了一个基于解码器输出的可微分的根节点轨迹重建算法。本文在LaFAN1,Dance,Martial Arts数据集上进行了定性和定量的实验。实验证明本文提出的算法要优于目前的其他方法。

图1 本文提出的算法流程图

图2 根节点重建的示意图

图3 在舞蹈数据集上的动作合成结果

图4 在双脚触地状况作为约束条件下的动作合成结果,以及根节点轨迹的情况

图5 使用本文方法生成的武术动作

表1 在LaFAN1数据集上的实验比较结果
作者主要贡献:
白隽瑄老师为运动合成算法的设计、Demo制作提供了大量贡献,并对论文撰写提供了建议。
期刊及会议介绍:
《Computer Animation and Virtual Worlds》是Wiley旗下第一本关于虚拟世界的期刊,主要关注计算机动画、虚拟环境、增强现实、虚拟生活、可视化等。该期刊是中国计算机学会(China Computer Federation)“推荐国际学术刊物”中计算机图形学与多媒体类C类期刊(CCF-C刊),2022年SCI影响因子为1.1,在计算机科学-软件工程领域处于92/108位。
Computer Graphics International (CGI)由已故的计算机科学家Tosiyasu L. Kunii先生(东京大学)于1983年在东京创办,是计算机图形学和虚拟现实领域的国际主流学术会议,国际图形学学会(Computer Graphics Society,CGS)的旗舰会议,也是该领域历史最悠久的国际学术会议之一。该会议是分享全球计算机图形最新算法、模型和技术,探索相关主题新趋势和新发展的顶尖学术论坛,足迹遍布欧亚美非及大洋洲各地。CGI是CCF“推荐国际学术刊物”中计算机图形学与多媒体类C类会议(CCF-C会)。CGI 2023的论文稿件数量超过500件,创下CGI历史之最。
作者信息:
白隽瑄,博士,首都体育学院体育人工智能研究院讲师。主要研究方向为计算机图形学、虚拟现实。2021年于北京航空航天大学计算机学院虚拟现实技术与系统国家重点实验室获得博士学位,现为运动生物力学研究中心团队成员。在IEEE VR、IEEE ISMAR、ACM VRST、PG、DCC、CGF、TVC、CAVW、SCIENCE CHINA Information Sciences等计算机领域国际主流期刊和会议发表多篇论文。2023年1月入选北京科协2023-2025年度青年人才托举工程。