第68期学术报告

题目:人类行为分析与运动建模研究进展报告人

题目:人类行为分析与运动建模研究进展

报告人:刘俊 教授

时间:10月9日(周五)上午11:00

地点:计算机学院 东阶梯


报告摘要:

人类行为分析与运动建模是人工智能和计算机视觉领域的重要研究方向,在人机交互、医疗健康等领域具备广阔应用前景。本报告首先梳理该领域经典基准数据集,重点介绍NTU RGB+D系列大规模 3D 动作识别数据集以及 UAV‑Human、Traffic‑QA、Animal Kingdom、Chaotic‑World 等面向无人机、交通、动物行为、复杂混乱真实场景的新型数据集,阐述基准数据集对推动多模态行为分析发展的关键作用。

报告进一步围绕三维人体姿态估计、人体网格重建、感知场景约束的人体运动生成开展介绍,介绍基于扩散模型的DiffPose三维姿态估计、分布对齐扩散的人体网格恢复、无训练文本驱动场景感知运动生成等相关工作。同时探讨基于扩散过程的人体行为检测新思路,将动作检测重定义为图像生成任务。

伴随大语言模型蓬勃发展,报告探讨将大语言模型用于非语言视觉任务的可能性。手语翻译、骨架动作识别这类行为任务的数据格式与大语言模型 “输入输出均为文本句子” 的范式天然不兼容。为此提出语言投影思路,把非语言行为信号映射为具备离散、层级特性,同时服从齐普夫定律、拥有跨词依赖关系的类语言句子,实现利用 LLM 完成手语翻译、人体动作识别。

面向多模态大模型视频理解云服务带来的隐私泄露风险,报告也将介绍基于边界探测的输入隐私保护方案,在尽量保留大模型任务可用性的前提下,最大化视频的隐私信息去除,解决黑盒多模态大模型服务下的数据隐私保护难题。最后拓展探讨将大模型应用于表面肌电sEMG生理信号识别的可行性,面向肌电信号动态非平稳特性,提出适配肌电信号变化规律的自适应分词方案,展望大模型赋能生理信号、人体行为分析的未来研究方向。


报告人简介:

刘俊,英国兰卡斯特大学计算与通信学院讲席教授与研究生科研主管,国际模式识别学会 (IAPR) 会士、英国计算机学会 (BCS) 会士。于南洋理工大学取得博士学位,曾获南洋理工大学 EEE 最佳博士学位论文奖(2020)和杰出青年校友奖(2026)。

他的主要研究方向聚焦计算机视觉与机器学习,重点开展人体行为分析、三维人体运动建模、大模型跨模态学习、视觉隐私和安全。相关成果发表于 CVPR、NeurIPS 等国际会议,构建了NTU RGB+D 系列广为使用的大规模 3D 动作识别数据集,研究工作受到全球学术界与工业界的广泛关注。

同时他也承担多项学术服务工作,担任 Pattern Recognition 常务副主编、IEEE Transactions on Image Processing 高级领域编辑,兼任  TCSVT、 TNNLS、ACM CSUR 副编辑,2026 年获 IEEE TBIOM 杰出副编辑奖;出任 BMVC 2026 大会主席、BMVC 2025 和 VCIP 2026 程序主席,并多次担任 CVPR等国际顶级会议领域主席。

刘俊.png