山东大学软件学院和C-FAIR师生参加虚拟现实领域顶级会议并作报告

近日，IEEE VR 2025在法国圣马洛召开。软件学院智能图形图像处理实验室（IGIP）教授沈益冉，研究生陈宁、张桐瑜，山东大学－南洋理工大学人工智能国际联合研究院（C-FAIR）卜令国教授团队本科生王欣怡、研究生曲静参加会议，并汇报展示论文成果。

1.论文题目：EX-Gaze: High-frequency and Low-latency Gaze Tracking with Hybrid Event-frame Cameras for On-Device Extended Reality（IEEE VR 2025）

论文作者：Ning Chen, Yiran Shen*, Tongyu Zhang, Yanni Yang, Hongkai Wen

软件学院研究生陈宁为该篇文章的第一作者，沈益冉教授为通讯作者。

论文内容：将视线追踪技术集成至VR与增强现实（AR）设备中，为扩展现实（XR）提供了一种新型人机交互（HCI）模式。当前多种XR应用需求高频实时眼动追踪，包括低负荷用户认证、心理健康诊断及注视点渲染等，而现有解决方案难以满足该需求。为此，本文提出EX-Gaze：一种面向终端扩展现实设备的基于事件的实时眼动追踪系统，其实现了2KHz的高频追踪，在保证精度的同时显著降低追踪延迟。EX-Gaze的卓越追踪频率通过事件相机实现，这种仿生视觉硬件能以高时间分辨率输出事件流。本文开发了一种轻量级追踪框架，支持移动设备实时执行瞳孔区域定位与追踪。针对事件流数据的稀疏特性，提出了基于稀疏事件块（sparse event-patch）的表示方法，并设计稀疏事件块Transformer作为降低计算时间的关键组件。在配备GPU/CPU混合架构的低成本移动设备Jetson Orin Nano上，EX-Gaze通过GPU与CPU间的智能计算调度与任务分配，充分发挥硬件处理深度神经网络的潜力。实验表明，系统在2KHz频率下可实现无累积延迟的实时追踪。在公开数据集上的测试表明，相比于其他现有事件驱动眼动追踪方法，EX-Gaze能更好地平滑在移动端设备上具有更好的准确率与效率，验证了其支持XR高频实时追踪应用的技术潜力。

2.论文题目：AirtypeLogger: How Short Keystrokes in Virtual Space Can Expose Your Semantic Input to Nearby Cameras（IEEE VR 2025）

论文作者：Tongyu Zhang, Yiran Shen*, Ning Chen, Guoming Zhang, Yuanfeng Zhou*

软件学院研究生张桐瑜为该篇文章的第一作者，沈益冉教授、周元峰教授为通讯作者。

论文内容：研究团队针对用户使用VR设备时（如 HoloLens 2、Vision Pro）的语义输入内容进行攻击。由于在输入过程中，用户可以任意调整虚拟键盘的大小和尺度，以往的工作往往需要长时间的观察，假设点击边界即为键盘边界来确定虚拟键盘的位置，进而推断用户的输入内容；或者根据长时间的观察（目标受害者输入超过100个单词），训练视频分类模型来推断输入内容；或者在点击位置到键的暴力匹配过程中产生数万个候选结果。然而，在用户输入较短的语义片段时（如“safe and sound”中的“fe and sou”），由于数据过少，无法通过几次点击确定键盘边界或训练用户依赖的攻击模型，以往的方法会失效或产生大量无效候选结果。我们首先通过分析用户点击动作来确定用户在键盘平面的点击位置，之后将“根据用户点击位置推断用户输入内容”这一问题建模为“序列到序列”问题，提出借助公开语料库与已知键盘布局训练输入推理模型。在推理模型中，我们使用自注意力机制来建模字符间的相互依赖关系（例如，如果一个语义字符串中，某一字符前面是“safe and ”，后面是“ound”，那么该字符大概率为“s”）。同时，我们提出使用Min-max归一化方法来处理键盘位置和尺度不确定性问题，并在训练过程中引入噪音以模拟现实场景。最终，该方法仅需7次输入即可非常准确地推断出用户输入内容，显著提升了针对VR设备输入内容进行攻击的实用性。此外，该方法可以扩展到密码推断，在模拟场景下，该方法能够准确推断超过60%的1000万常见密码。

3.论文题目：ArmVR: Innovative Design Combining Virtual Reality Technology and Mechanical Equipment in Stroke Rehabilitation Therapy（IEEE VR 2025）

论文作者：Jing Qu, Lingguo Bu*, Zhongxin Chen, Yalu Jin, Lei Zhao, Shantong Zhu

C-FAIR研究生曲静为该篇文章第一作者，卜令国教授为该篇文章通讯作者。

论文内容：研究团队为卒中患者设计开发了一款深度融合VR技术与多轴联动机械硬件的上肢康复平台-ArmVR。系统集成了Meta Quest 2头显、定制化3D打印压感手柄（内置FSR薄膜压力传感器）及多轴机械臂（XYZ三轴线性模块与升降平台），支持主动与被动训练模式。基于Unity 3D开发动态任务，结合碰撞检测算法与轨迹预计算技术，并通过主控板及通讯协议实现机械臂的实时运动控制。系统整合功能性近红外光谱（fNIRS）监测脑区氧合血红蛋白浓度变化，采用多尺度熵（MSE）量化运动、前额叶等皮层的神经活动复杂度，同时通过压力传感器采集握力动态数据，提取峰值、标准差及均方根等指标。研究发现，不同的虚拟场景设计可以分别促进情绪放松（如森林场景）和运动中枢激活（如城市场景），而健康个体和中风患者在认知与运动功能恢复方面表现出差异化反应。此外，个性化设计被证明是提升康复效率的重要因素，通过针对患者需求调整参数与场景内容，可进一步优化康复效果。该研究展示了VR技术在卒中康复中的巨大潜力，并为未来VR与康复硬件的结合提供了科学支撑与实践方向。

4.论文题目：Investigating Virtual Reality for Alleviating Human-Computer Interaction Fatigue: A Multimodal Assessment and Comparison with Flat Video（IEEE VR 2025）

论文作者：Xinyi Wang, Jing Qu, Lingguo Bu*, Shantong Zhu

C-FAIR本科生王欣怡，研究生曲静为该篇文章共同第一作者，卜令国教授为该篇文章通讯作者。

论文内容：本研究通过采集脑电（EEG）、fNIRS、眼动数据及主观量表评分，构建多模态数据集，并对其进行处理与分析，开发了一套人机交互疲劳评估方法，进一步探讨了VR技术在缓解疲劳方面的潜力。研究针对EEG数据提取了Alpha和Theta频段的信号，并将大脑划分为六个功能区。研究通过小波变换计算小波激活值（WA）反映大脑激活水平；采用格兰杰因果关系分析（GC）量化脑区间的因果影响，反映大脑效应连接（EC）；提取瞳孔直径均值及平均眨眼次数等眼动指标。本研究利用以上关键指标介绍了经过疲劳诱导后，参与者在多种模态表现出的显著性变化；当使用相同的配有舒缓音乐的自然草地场景时，平面视频和 VR 都具有缓解疲劳的能力，且对二者的具体表现进行了统计分析与比较。这项研究深入探讨了疲劳的多维表征，拓展了VR技术在新兴场景中的应用，为 VR 技术在疲劳管理与工作效率提升等场景的应用推广提供了新的视角和依据。

IEEE VR会议全称为IEEE Conference on Virtual Reality and 3D User Interfaces，是虚拟现实（VR）、增强现实、混合现实研究领域的国际顶级学术会议，也是中国计算机学会推荐的A类国际会议。