混合现实（Mixed reality, MR）技术为设计师提供了一种沉浸式3D创作环境，其中，手势交互是在混合现实环境中自然、直观地进行3D创作的重要媒介。已有关于手势交互语言的研究已经从多个角度探索了手势语言的设计方法，包括用户主导的手势设计、开发者主导的手势设计、技术主导的手势设计等。

抽象提取的3D创作元功能

从认知、物理、可用性等维度汇报手势词汇评估结果

如何在MR环境下提供符合用户认知习惯、具备高效操作效率、支持算法快速识别等条件的3D创作手势语言？浙江大学设计学团队基于多维度评估指标提出了一套MR环境下支持3D创作的手势语言，为MR场景下的手势交互提供了综合建议。在第一阶段研究中，研究团队定义了适用于MR环境下3D创作的元功能，执行了用户启发式实验收集手势动作、提取高频手势词汇。在第二阶段研究中，研究团队组织了综合评估实验，建立了一套适用于设计师和计算机双向链接的手势语言。

面向三维创作的手势语言推荐

该成果的第一学生作者是浙江大学计算机科学与技术学院设计学博士生张宏博。“我们通过融合新兴数字技术与传统交互方法，探寻用户友好和技术友好之间的平衡，不断提升用户体验，拓展交互边界。”张宏博同学分享道。

浙大设计学博士生张宏博

项目成果：
项目成果于2023年12月发表在国际人机交互领域顶级期刊International Journal of Human-Computer Studies (IJHCS)（中国计算机学会A类期刊、中科院1区期刊）。研究团队：孙凌云、张宏博、陈培、蒋招衢、谢学泷、周子洪、刘宣慧、陈小雨。本项目受到国家重点研发计划、国家自然科学基金、ZJU-SUTD IDEA基金的资助。

论文原文链接：
Lingyun Sun, Hongbo Zhang, Pei Chen*, Zhaoqu Jiang, Xuelong Xie, Zihong Zhou, Xuanhui Liu, Xiaoyu Chen. 2023. Elicitation and Evaluation of Hand-based Interaction Language for 3D Conceptual Design in Mixed Reality. International Journal of Human-Computer Studies (IJHCS). 2023. 1071-5819.
https://doi.org/10.1016/j.ijhcs.2023.103198
(IJHCS, 中科院-Q1, CCF-A, *为通讯作者)