由河海大学刘小峰教授团队开展的仿人机器人面部表情生成的前沿研究，显著提升了机器人与人类进行自然情感交互的能力，已被机器人领域国际顶级期刊《IEEE Transactions on Robotics》录用。题目：Unlocking Human-Like Facial Expressions in Humanoid Robots: A Novel Approach for Action Unit Driven Facial Expression Disentangled Synthesis.
该论文的最初研究动机来自于人机交互领域中的情感表达挑战。当前的仿人机器人在与人类进行情感人机交互时，面临无法生成复杂且真实面部表情的难题。由于现有技术限制，机器人无法像人类一样通过细腻的面部表情表达情感，这在一定程度上影响了用户的参与度和交互体验。因此，提升机器人生成自然表情的能力对于增强情感人机交互的质量具有重要意义。这一研究旨在通过创新的方法，使机器人能够生成丰富且自然的面部表情，从而改善用户体验，并推动情感人机交互的发展。
学术界一个解决机器人情感表达问题的研究思路是利用预定义规则和硬件设计来生成机器人表情。目前的预定义规则技术大多依赖于手动编码的面部表情，这些表情是基于固定的规则和有限的表情类别。然而，预定义的表情风格和种类有限，无法生成丰富且细腻的面部表情。此外，这些方法往往缺乏灵活性，难以适应不同情境下的情感表达需求。例如，固定的表情编码无法捕捉到面部肌肉的微小运动，导致生成的表情不够自然，影响用户对机器人的情感理解和互动体验。
在这份工作中，我们通过观察人类面部表情生成的实际情况，发现现有技术在表情生成过程中缺乏对面部肌肉细节的捕捉。基于此发现，通过多轮研讨可行方案后，我们设计了一种基于面部动作单元（Action Units, AUs）的表情解耦生成方法，并探索了该方法在生成自然且细腻面部表情方面的效果。我们进一步开发了一个具备多自由度面部运动的情感机器人（图1），以实际验证该方法在情感人机交互中的应用价值。
图1：系统框架：连续域中的解剖级AU分布标签被检测为源AU AS和目标AU AT，将AS、AT和中性机器人面孔输入到AU-FEDS中，以生成具有目标表情的机器人面孔，随后将其输入到运动指令映射网络，以获得机器人的面部运动控制指令
团队进而开展了一系列实验，探索不同面部动作单元（AUs）在生成细腻面部表情中的具体作用和效果。其中一个实验探索了通过编辑多个AUs生成离散面部表情的有效性。研究人员控制不同的AUs组合，生成了六种典型情感表情，包括开心、愤怒、悲伤、惊讶、恐惧和厌恶（图2）。实验结果显示，该方法能够生成丰富且自然的表情，并能够准确反映复杂的面部肌肉运动。这表明，通过精细控制AUs，机器人能够呈现出细腻且多样化的情感表达。
图2：通过编辑多个AU生成的离散面部表情结果
另外一个重要实验评估了连续面部表情生成的效果。团队研究人员选择了源表情和目标表情，并通过调整AUs的强度来生成中间的连续表情（图3）。结果显示，系统能够平滑地过渡表情，生成自然且连续的表情变化。这验证了所提出方法在生成连续表情方面的有效性，使机器人能够具有在不同情感状态之间过渡的能力。
图3：连续面部表情生成的结果
为了评估不同方法在应对身份信息干扰时的表现情况，团队测试了AU-FEDS、StarGAN和GANimation三种方法，让它们处理带有胡须、皱纹等身份干扰信息的样本。结果表明AU-FEDS方法生成的图像比其他两种方法出现的伪影更少，并能更好地保持原始身份信息。这证明了AU-FEDS在处理带有身份信息干扰方面的优越性能。
图4：在带有身份干扰下使用不同方法生成面部表情结果图
最后，团队还进行了机器人在AUs标签驱动下生成各种表情的实验（图5）。通过设置不同的AUs标签，机器人成功生成了多种自然的表情，包括开心、愤怒、悲伤、惊讶、恐惧和厌恶。实验结果表明，在AUs驱动下，机器人能够生成细腻且自然的表情，从而显著提升情感人机交互的效果。这一发现表明，该技术在增强机器人与人类互动的自然性和有效性方面具有重要潜力。
图5：机器人在AU标签驱动下生成各种表情的结果图
这项研究成果于2024年5月在机器人领域权威顶级期刊《IEEE Transactions on Robotics》上进行发表。《IEEE Transactions on Robotics》为机器人学领域公认的国际顶级期刊之一，要求论文在理论及工程实践上均能为机器人学发展作出重要贡献，其每年全球发文量约80-100篇，代表了机器人领域先进的重大进展，定位与规划方面的里程碑著作多数发表在该期刊上。
论文的第一作者和通讯作者为河海大学刘小峰教授，团队成员还包括常州大学倪蓉蓉讲师、常州大学杨彪教授、兰卡斯特大学宋思阳助理教授以及曼彻斯特大学Angelo Cangelosi教授。本项课题研究主要由国家自然科学基金面上项目（No.62276090）、国家重点研发计划项目2018AAA0100800以及江苏省重点研发计划项目（No.BK20192004）的资助，同时感谢河海大学对于本项研究的支持。
以上文章转载于微信公众号CAAI认知系统与信息处理专委会，如有侵权，请及时联系我们修改或进行删除。
