丹麦 iMotions 多模态数据整合采集分析系统 iMotions

iMotions Lab(iMotions A/S,丹麦)是在售的多模态人类行为研究模块化软件;Core Platform 核心平台是所有模块的前提。 它可将眼动追踪、皮肤电活动、脑电、心电、肌电、呼吸、面部表情与语音数据时间同步;设备通过 API、LSL 或 TTL 接入。 它集成 20 余家厂商的 50 余种传感器,可呈现图片、视频、网站、应用与 VR,并可导出至 Excel、SPSS 与 MatLab。 iMotions 面向学术研究、消费者洞察与人因工效。 核心平台为标配;选配模块包括眼动追踪、面部表情、语音、皮肤电活动、脑电、心电、肌电、呼吸、GPS 与动作捕捉;传感器需另行购买。 iMotions 说明其面部表情与语音分析属于情绪识别系统,欧盟《人工智能法案》禁止在工作场所与教育机构中使用此类系统。

丹麦 iMotions 多模态数据整合采集分析系统 iMotions

仪器信息

品牌iMotions
型号iMotions Lab
分类多模态数据整合采集分析系统
仪器编码denmark-imotions-human-behavior-research-platform-imotions-lab
在售状态在售
地区来源丹麦
更新时间2026-10-14
研究领域人机交互、市场营销、心理学、情感计算、机器人学

技术参数

共 103 条规格记录

功能指标

产品类型模块化软件
测量原理集成并同步多种生物传感器,形成一体化系统
屏幕式眼动追踪测量原理向瞳孔中心投射近红外光,由红外摄像机跟踪角膜与瞳孔反射形成的向量(使用屏幕式眼动追踪模块时)
EEG 测量原理通过置于头皮表面的电极记录电活动,并输出为脑电波序列(使用 EEG 模块时)
面部表情分析方法学基础面部动作编码系统(FACS)(使用面部表情分析模块时)
集成生物传感器类型眼动追踪、EDA/GSR、EEG、ECG、面部表情分析
可同步测量指标类型视觉注意、脑活动、心率、肌肉活动、呼吸、排汗、面部表情、语音分析
EDA/GSR 测量信号皮肤电导(microsiemens, μS)(使用 EDA/GSR 模块时)
面部表情分析可识别情绪7 种核心情绪:喜悦、愤怒、恐惧、惊讶、悲伤、轻蔑、厌恶(使用面部表情分析模块时)
面部表情分析头部姿态输出偏航(yaw)、俯仰(pitch)、翻滚(roll)(使用面部表情分析模块时)
面部表情分析眼间距指标两外眼角间距,用于估算与屏幕的距离(使用面部表情分析模块时)
EDA/GSR 分析指标SCR 幅度、潜伏期、上升时间、恢复半衰期、峰值计数、SCL 均值与斜率(使用 EDA/GSR 模块时)
EEG 频谱分析指标delta、theta、alpha、beta、gamma 频段功率谱密度(PSD)(使用 EEG 模块时)
ECG 分析指标由集成 R-notebooks 自动计算心率变异性(HRV)及其他指标(使用 ECG 模块时)
刺激类型支持范围图像、视频、网站、游戏、手机/平板应用、软件与 VR 环境
刺激呈现控制功能支持随机化与呈现时长等参数设置,并可跨刺激组块与整个实验批量编辑
远程数据采集功能通过浏览器界面开展在线研究(网络摄像头眼动追踪、呼吸、面部表情与语音分析)
适用研究环境实验室、自然环境、VR 环境
应用领域学术研究、消费者洞察、产品研发测试、培训、仿真与游戏
应用领域学术研究、产品研发与设计测试、市场与用户体验测试、远程或混合式研究

性能指标

眼动追踪指标数超过 40 项眼动指标(如首次注视时间、注视时长、回访次数、注视次数、鼠标点击、按键等)(使用屏幕式眼动追踪模块时)
眼动追踪指标数超过 30 项注视、注视点与扫视指标(使用眼动追踪眼镜模块时)
面部表情分析指标数32 项指标(使用 Affectiva AFFDEX 算法时)
面部表情分析表情数29 种表情(使用 Realeyes 算法时)
可同时连接传感器设备数最多 6 台(使用 ECG 模块、单个 iMotions 软件许可证时)
同时录制摄像头数最多 3 个摄像机

硬件配置

ECG 导联配置经 BIOPAC 与 Shimmer 设备支持 3 导联采集,经 Bionomadix 设备支持 2 导联采集(使用 ECG 模块时)
网络摄像头规格USB 网络摄像头(推荐 Logitech HD Pro C920)
USB 接口规格USB C、USB 3 或更高;使用 USB 集线器时仅使用有源集线器
USB 接口规格1×10 Gbps USB-C 3.1 Gen 2 或 USB-C 3.2 Gen 2,需直连芯片组(配 Varjo XR-4 与自动 AOI 时)
网络连接方式WiFi;BIOPAC MP160/MP200、Smart Eye Pro、Cedrus Stimtracker 需 Ethernet/LAN
蓝牙版本Bluetooth V4.0 或更高
蓝牙适配器规格Sena Bluetooth USB Adapter Parani UD100
TTL 触发功能支持 TTL

软件与数据

软件平台构成中央 Core 平台与可灵活搭配的传感器模块集成
核心模块CORE(必备主分析模块)
分析模块支持范围眼动追踪(屏幕式)、眼动追踪(VR)、眼动追踪(眼镜)、EMG、呼吸、EDA/GSR、EEG、fNIRS、ECG、动作捕捉、GPS、语音分析、自动 AOI、面部表情分析、FEA Multiface、远程数据采集、网络摄像头眼动追踪、网络摄像头呼吸
软件版本iMotions Lab 11
软件更新频率每两周更新一次(订阅制许可下)
远程数据采集支持模块网络摄像头眼动追踪、面部表情分析、网络摄像头呼吸、语音分析
远程数据采集许可要求需 Core 许可证
仅分析许可证分析范围支持全部分析功能,Affectiva 面部表情分析的后处理除外(持有 Analysis Only License 时)
仅分析许可证分析范围任意眼动追踪模态(屏幕式、眼镜式或 VR)、EDA 以及 EEG 的额叶不对称(持有 Analysis Only License 时)
仅分析许可证数据采集功能不支持数据采集(持有 Analysis Only License 时)
仅分析许可证数据存储与导出范围可存储、可视化并导出全部模态的数据(EEG、面部表情分析、ECG、EMG 等)(持有 Analysis Only License 时)
仅分析许可证授权方式仅作为 CORE 模块的附加组件销售(持有 Analysis Only License 时)
语音转文本服务提供方由 AssemblyAI 提供支持
语音转文本账户要求需要 AssemblyAI 账户
操作系统兼容性Windows 11
操作系统兼容性Windows 11 64 bit(配 Varjo XR-4 与自动 AOI 时)
计算平台限制不支持 Apple 电脑与虚拟化软件(如 Parallels)
计算机处理器要求最低 Intel i7 第 10 代或更新(Core Ultra 7),至少 6 核;推荐 Intel i9 第 10 代或更新,至少 10 核;不支持 Qualcomm Snapdragon CPU
计算机处理器要求推荐 8 核 12 代 Intel Core i9-12900K 或更新 / 4 代 Intel Xeon w5-2455X / AMD Ryzen 9 5950X(配 Varjo XR-4 与自动 AOI 时)
计算机内存要求最低 32 GB,推荐 32 GB+
计算机内存要求推荐 32 GB+(配 Varjo XR-4 与自动 AOI 时)
计算机存储要求推荐 1 TB NVMe SSD
计算机显卡要求最低 独立 GPU(NVIDIA、AMD)4 GB VRAM;推荐 NVIDIA RTX 或 Quadro 8 GB+ VRAM
计算机显卡要求推荐 NVIDIA RTX 或 Quadro 12 GB+ VRAM,RTX 3090/4080 或更好(配 Varjo XR-4 与自动 AOI 时)
计算机显卡要求需要计算能力 6 或以上的 NVIDIA RTX 显卡,RTX 3050 或更好(使用自动 AOI 模块时)
显示器分辨率要求推荐 1920×1080
显示器尺寸要求台式机通常 22–25 inch,笔记本 14–17.3 inch
浏览器兼容性Chrome、Firefox、MS Edge
操作系统数字格式要求操作系统建议使用句点作小数点、逗号作千位分隔符
内置数据分析工具内置 R Notebooks
EDA/GSR 信号处理功能自动伪迹检测、信号分解、分段、峰值检测、分箱聚合(使用 EDA/GSR 模块时)
EDA/GSR 信号分解方式紧张性 SCL 与相位性 SCR 分解(使用 EDA/GSR 模块时)
EDA/GSR 刺激锁定功能SCR 自动对 iMotions Lab 事件标记建立索引(使用 EDA/GSR 模块时)
EEG 额叶不对称分析功能比较左右额区特定频段功率,用于趋近—回避行为研究(使用 EEG 模块时)
EEG 跨被试同步分析功能支持多被试同时研究并比较脑活动相似性(神经同步)(使用 EEG 模块时)
语音转文本支持语言英语(美国、英国、澳大利亚、全球)、荷兰语、法语、德语、印地语、意大利语、日语、葡萄牙语、西班牙语
语音转文本支持语言70 多种语言,包括阿拉伯语、中文、俄语等(使用 AssemblyAI nano 模型时)
语音转文本扩展分析功能说话人识别与情感分析(仅英语录音)
实时查看与回放功能支持数据采集期间实时可视化原始数据与指标,并可回放会话、从回放中整体或部分导出聚合传感器数据
内置问卷工具内置 Survey Tool,支持图片、李克特量表、多选题与文本输入
多传感器同步功能将多个生物传感器无缝同步到同一平台
LSL 同步功能支持 Lab Streaming Layer(LSL)
数据导出格式适用于 Excel、SPSS、MatLab 等软件的文件格式
数据导出格式CSV,兼容 R、Python、MATLAB、SPSS(使用 EDA/GSR 模块时)
数据导出格式.csv 与 .snirf(使用 fNIRS 模块时)
事件转发协议TCP 或 UDP
事件转发工作方式软件作为服务器,在指定端口监听连接(事件转发使用 TCP 时)
事件转发工作方式将每条事件消息作为 UDP 数据报发送至配置的服务器/端口组合(事件转发使用 UDP 时)
事件转发数据内容眼动采样点、鼠标点击等实时数据流
数据序列化方式数据序列化为文本消息,可触发外部行为反应或视觉呈现
远程控制 API 功能支持外部程序远程控制 iMotions 软件,无需操作用户界面
远程控制命令Next Slide、Cancel、Save、Load、Status 等直接控制命令
外部数据接收 API 功能支持第三方应用将采集到的传感器数据发送到 iMotions
硬件兼容性硬件无关(hardware agnostic)
可集成传感器数量50+ 种传感器,来自 20+ 家合作伙伴
可集成模态数量10+ 模态
眼动仪兼容性Smart Eye、Gazepoint、SMI、Pupil Labs、The Eye Tribe、SR Research EyeLink、ASL、Eyetech、Varjo
屏幕式眼动仪兼容性Smart Eye、EyeTech、SMI、Gazepoint(使用屏幕式眼动追踪模块时)
面部表情分析引擎兼容性Affectiva
EEG 设备兼容性Advanced Brain Monitoring (ABM)、NeuroElectrics、Brain Products、Emotiv、OpenBCI
EDA/GSR 设备兼容性Shimmer、BIOPAC、Empatica
ECG 设备兼容性Shimmer、BIOPAC
EMG 设备兼容性Shimmer、BIOPAC
呼吸传感器兼容性BIOPAC
问卷平台兼容性支持 Qualtrics 集成

使用条件

眼动仪安装空间要求显示器底部边框需 >15 mm 平坦区域(使用屏幕式眼动追踪时)

其他

产品名称iMotions Lab
制造商iMotions A/S
产地丹麦

相关实验室

以下机构来自本仪器关联论文的作者署名,不代表已确认采购或持有该仪器。

得克萨斯大学

地区:美国

署名作者:莎拉·J·福斯特、诺亚·J·萨森

研究方向:自闭症、表达性、情感

关联论文 1 篇

德国鲁尔西部应用科学大学

地区:德国

署名作者:迈克·许布纳

研究方向:情绪加工、社交媒体广告、情绪节律、面部表情分析

关联论文 1 篇

荷兰特文特大学

地区:德国 · 荷兰

署名作者:迈克·许布纳、约尔格·亨塞勒

研究方向:情绪加工、社交媒体广告、情绪节律、面部表情分析

关联论文 1 篇

葡萄牙里斯本新大学

地区:荷兰

署名作者:约尔格·亨塞勒

研究方向:情绪加工、社交媒体广告、情绪节律、面部表情分析

关联论文 1 篇

卢布林理工大学

地区:波兰

署名作者:卡罗尔·瓦扎鲁克、玛丽亚·斯库布莱夫斯卡-帕什科夫斯卡

研究方向:无障碍性、可用性、图形用户界面、眼动追踪

关联论文 1 篇

美国本田研究所

地区:美国

署名作者:希夫扎·贾韦德、纳维德·贾马利

研究方向:关系情感、多模态、多视角、双人互动

关联论文 1 篇

南佛罗里达大学

署名作者:罗伯特·哈蒙德、Yuqi Wang

研究方向:情感计算、情感人工智能、生物特征测量、在线数据采集

关联论文 1 篇

澳大利亚悉尼大学

地区:澳大利亚

署名作者:凯莉·尤、雷切尔·里特迪克

研究方向:创伤性脑损伤、软件、面部表情、评估工具

关联论文 1 篇

实验方法

研究方向:网站可用性与无障碍评估、在线与实验室生物特征数据采集的比较、自闭症成人情绪表达的感知、面部表情效价自动分类、双人互动中的关系情感建模

基于眼动追踪的网页与在线菜单界面视觉注意评估

方法说明:该方法以网页界面和在线餐厅菜单为刺激,用 iMotions Lab 组织刺激呈现,同步采集屏幕式眼动仪数据并导出眼动指标,用来评估界面可用性,或比较实验室与在线两种采集方式的数据差异。Łazaruk 2024 将符合与不符合通用设计原则的博物馆网页视图导入 iMotions 软件,配合 Gazepoint GP3 HD 眼动仪记录被试完成 16 项查找任务时的首次注视时间、注视次数和扫视路径,并辅以 LUT 与 QUIS 问卷。Hammond 2023 让一组被试经 iMotions Lab 桌面程序配合 Tobii X2 30Hz 眼动仪点餐,另一组经在线平台用网络摄像头采集,比较两组的注视点数、注视次数、AOI 停留时间与首次注视时间。

实验仪器:人类行为研究平台 iMotions Lab;屏幕式眼动仪 GP3 HD;屏幕式眼动仪 X2;笔记本电脑 Nitro 5;网络摄像头

实验步骤

  1. 刺激与任务准备

    说明:Łazaruk 2024 从两个网页应用中选取界面视图并配上 16 条查找任务指令,导入 iMotions 软件,按两个研究对象组分别建立项目;Hammond 2023 以一家全国性快餐休闲餐厅的在线网页菜单为刺激,被试完成除输入信用卡外的全部点餐流程。

    关键点:Łazaruk 2024 先呈现符合通用设计原则的应用视图,再呈现不符合的;Hammond 2023 第 1 组经浏览器接入在线数据采集平台,第 2 组经安装在多用途计算机上的 iMotions Lab 访问菜单,其余参与体验相同。

  2. 被试招募与分组

    说明:Łazaruk 2024 随机选取 15 名计算机科学硕士生(14 男 1 女,平均年龄 23.2±0.54 岁);Hammond 2023 共 15 名被试(学生与公众),分配到两个相同的测试工位。

    关键点:Łazaruk 2024 的样本包含视力问题者(1 名色盲、5 名近视、2 名散光);Hammond 2023 的学生被试获课程加分,公众被试无报酬。

  3. 校准与眼动数据采集

    说明:Łazaruk 2024 的实验台由 Gazepoint GP3 HD 眼动仪、Acer Nitro 5 笔记本电脑(17.3 英寸全高清屏)和 iMotions 软件 9.0 版组成,正式测试前进行校准;被试读完任务后按空格键,查看界面并定位目标,再按空格进入下一题。Hammond 2023 的实验室组使用外接 Tobii X2 30Hz 眼动仪,在线组由网络摄像头录像计算注视点。

    关键点:Hammond 2023 选用 30 Hz 眼动仪,使两组采样率接近。

  4. 注视识别与指标导出

    说明:Łazaruk 2024 经 iMotions 软件导出眼动记录,得到 AOI 首次注视时间(TTFF)、注视次数和扫视路径;Hammond 2023 计算注视点数、注视次数,并按停留时间(DT)与首次注视时间对各菜单项 AOI 排序。

    关键点:Hammond 2023 中,实验室组用速度阈值滤波,速度超过 30 度/秒的注视点判为扫视;在线组用持续时间-离散度算法,100 ms 内且空间范围 0.1 度以内的注视点判为注视。

  5. 数据清洗

    说明:Łazaruk 2024 依据扫视路径核查任务执行是否正确,剔除 21 条未找到或找错目标的结果,并剔除缺失值与零值,480 条记录最终保留 459 条;Hammond 2023 通过回看录像与分析软件中的可视化结果判断数据是否可用。

    关键点:Łazaruk 2024 以扫视路径区分典型与非典型视觉行为,用来验证指令是否被正确执行。

  6. 统计分析

    说明:Łazaruk 2024 对两种界面的 TTFF 与注视次数做 95% 置信水平的 Student t 检验,并对单个任务做单因素方差分析;Hammond 2023 用 T 检验比较结账时间、首件入车时间、注视点数与注视次数,并比较两组 AOI 排序落在同一四分位的数量。

    关键点:Hammond 2023 使用 JASP 与 Excel 分析数据。

实验数据

AOI 首次注视时间(TTFF)

数据来源:由 Gazepoint GP3 HD 眼动仪采集,经 iMotions 软件导出(Łazaruk 2024);Hammond 2023 用于 AOI 排序比较

实验样本:Łazaruk 2024:符合通用设计原则的应用平均 0.77 s,不符合的 1.76 s;Hammond 2023:TTFF 第一四分位中两组共有的 AOI 为 14 个

数据呈现:柱状图(含置信区间误差棒)按任务比较两种界面的平均 TTFF;Hammond 2023 以表格列出各四分位 AOI 数量

注视次数

数据来源:由眼动仪注视点经 iMotions 注视识别算法计算得到

实验样本:Łazaruk 2024:平均注视次数 6.64 与 8.82;Hammond 2023:实验室组 230.38(SD 101.50),在线组 119.00(SD 73.38)

数据呈现:柱状图(含误差棒)与统计表

注视点数量

数据来源:Tobii X2 30Hz 眼动仪(实验室组)与网络摄像头视频计算(在线组)

实验样本:实验室组平均 1421.00(SD 698.74),在线组 1383.71(SD 753.01)(Hammond 2023)

数据呈现:表格列出组均值、标准差与 T 检验结果

扫视路径

数据来源:由 iMotions 软件根据眼动记录生成

实验样本:15 名被试 × 16 项任务 × 2 个应用,共 480 条眼动记录(Łazaruk 2024)

数据呈现:在界面截图上叠加扫视路径图

界面质量与满意度问卷得分

数据来源:LUT 问卷(26 题,1–5 分)计算 WUP 分数,QUIS 问卷(23 题,1–9 分)计算平均分

实验样本:WUP 4.53 与 2.5;QUIS 8.31 与 3.82(Łazaruk 2024)

数据呈现:正文报告两种应用的得分

方法关联论文:在线博物馆图形用户界面的无障碍性与可用性分析;众包在线生物特征研究:值得付出代价吗?

基于视频的面部表情自动分析与情绪效价分类

方法说明:该方法用 iMotions Lab 的面部表情分析功能(基于面部动作单元,集成 Affectiva 引擎)逐帧处理被试面部视频,输出情绪效价或参与度、注意力等指标。Foster 2026 让自闭症与非自闭症成人表达轻度和强烈的快乐、悲伤、愤怒,把剪辑后的视频交给 iMotions 逐帧分类为正性、中性或负性效价,并与非自闭症观察者的识别结果对照。Hammond 2023 录制被试点餐时的网络摄像头视频,经 iMotions 后处理得到 Engagement 与 Attention 指标,比较在线与实验室两种采集配置的面部表情数据。

实验仪器:人类行为研究平台 iMotions Lab;网络摄像头

实验步骤

  1. 表情视频录制

    说明:Foster 2026 招募 20 名自闭症和 20 名非自闭症成人作为表达者,依指导重新体验并讲述情绪经历,表达轻度和强烈的快乐、悲伤、愤怒,并自评感受到的情绪强度(0–10);Hammond 2023 在被试点餐时用网络摄像头录制面部视频。

    关键点:Foster 2026 分别录制每段情绪叙述,段间休息 45 秒至 1 分钟,每段情绪叙述前后各有一段中性叙述。

  2. 视频预处理

    说明:Foster 2026 将视频静音,并以表达者自报的情绪峰值为中心剪成 10–15 秒的片段。

    关键点:剪辑以表达者自报的情绪峰值为中心(Foster 2026)。

  3. iMotions 面部表情分析

    说明:Foster 2026 用 iMotions 依据面部动作单元逐帧分类情绪表达,生成正性、中性、负性的效价分类;Hammond 2023 用 iMotions 集成的第三方面部表情分析平台(Affectiva)后处理视频,提取 Engagement 与 Attention 指标(取值 0–100)。

    关键点:Hammond 2023 用默认阈值 50 后处理面部表情数据;因被试与菜单交互的时长未加控制,采用时间百分比指标做归一化。

  4. 数据质量筛选

    说明:Hammond 2023 剔除 1 例录像故障和 3 例 Attention 值过低(3.41、47.75、0.01)的数据,最终 11 人有可用的面部表情数据。

    关键点:把 Attention 指标作为数据可用性的判据(Hammond 2023)。

  5. 统计分析

    说明:Foster 2026 用混合模型方差分析比较 iMotions 对两组表达者的效价分类,并结合非自闭症观察者的识别准确率和强度评分做多层模型分析;Hammond 2023 因样本小而只报告面部表情变量的描述统计。

    关键点:Foster 2026 使用 IBM SPSS Statistics v29 和 RStudio 2024.04.2;列比例 z 检验未做多重比较校正。

实验数据

表情效价分类时间占比

数据来源:由 iMotions Lab 依据面部动作单元逐帧分类后汇总得到

实验样本:轻度强度:自闭症组中性 M=77.08%(SE 5.34),非自闭症组 57.75%(SE 5.82);正性分别为 17.66%(SE 5.45)和 39.17%(SE 5.91)(Foster 2026)

数据呈现:正文报告各组均值与标准误

Engagement 与 Attention 指标

数据来源:iMotions 集成的 Affectiva 面部表情分析由网络摄像头视频计算得到

实验样本:Engagement:实验室组均值 28.93(SD 37.59,范围 1.35–91.35),在线组 7.04(SD 6.58,范围 0.12–15.73);Attention:98.10 与 98.64(Hammond 2023)

数据呈现:表格列出两组的均值、标准差与范围

观察者情绪识别准确率

数据来源:非自闭症观察者对表达者视频的情绪判断

实验样本:快乐:非自闭症表达者 .538,自闭症表达者 .412;悲伤 .395 与 .209;愤怒 .163 与 .100(Foster 2026)

数据呈现:正文报告各条件的识别准确率

自评情绪感受强度

数据来源:表达者在情绪体验评定量表(0–10)上的自评

实验样本:自闭症组 M=6.01,非自闭症组 M=6.17(Foster 2026)

数据呈现:正文报告组均值

方法关联论文:感受与表达之间的差异:非自闭症观察者对自闭症与非自闭症者情绪表达的感知;众包在线生物特征研究:值得付出代价吗?

基于 iMotions 面部关键点提取的双人互动多模态关系情感建模

方法说明:该方法以真实环境中录制的在线双人对话视频为对象,用 iMotions Lab 的面部表情分析模块逐帧提取每位参与者的二维面部关键点,与音频低层描述符一起输入 LSTM 深度学习模型,实时预测每位互动者对对方的关系情感(低、中、高三个区间),为机器人辅助社交调解提供依据(Javed 2024)。

实验仪器:人类行为研究平台 iMotions Lab

实验步骤

  1. 数据集选取

    说明:采用 CORAE 数据集中的 30 场在线双人会话(60 名参与者),参与者用个人设备在自选环境中参与,录像质量、拍摄角度与光照各不相同。

    关键点:成对的参与者政治立场相反,需在 10 分钟内就 13 个选项商定最重要的五个贫困原因(Javed 2024)。

  2. 关系情感标注

    说明:参与者观看互动回放,用 CORAE 工具在 15 点滑块(−7 不认同至 +7 认同)上评价对方,评分再重新映射为低、中、高三个区间。

    关键点:标注为参与者自评,存在主观性;正、中、负性样本分布不均衡(Javed 2024)。

  3. 视觉特征提取

    说明:用 iMotions 软件平台的面部表情分析模块为每位参与者提取 34 个二维面部关键点(68 个坐标值)。

    关键点:其余会话的面部关键点提取失败,只有 21 场会话可用于分析(Javed 2024)。

  4. 音频特征提取与同步

    说明:为每位参与者提取 34 个音频低层描述符(含 MFCC、能量与频谱特征),音频采样率为 48,000 Hz,下采样到与视频(平均约 30 帧/秒)一致;按时间戳同步,裁剪首尾片段,并按参与者对面部关键点做归一化。

    关键点:多模态特征须按时间戳严格对齐(Javed 2024)。

  5. 模型训练

    说明:训练 3 层 LSTM(每层 32 个隐藏单元),输入为 5 秒滑动窗口(150 个样本);Adam 优化器,学习率 1e-3,权重衰减 1e-4,批大小 64,训练 500 轮。

    关键点:用加权采样与加权交叉熵损失应对类别不平衡(Javed 2024)。

  6. 模型评估

    说明:用 18 场会话(36 人)训练,3 场会话(6 人)作为留出测试集;以各类别平均召回率选择模型,并与 Inception-V3 和 Inception-V3 + LSTM 基线比较。

    关键点:以平均类别召回率作为模型选择指标(Javed 2024)。

实验数据

二维面部关键点坐标

数据来源:iMotions Lab 面部表情分析模块从会话视频中逐帧提取

实验样本:每位参与者 34 个关键点、68 个坐标值;视频平均约 30 帧/秒(Javed 2024)

数据呈现:作为模型输入特征,以文字描述

音频低层描述符

数据来源:由会话音频计算得到

实验样本:每位参与者 34 个描述符(含 MFCC、能量、频谱特征),原始采样率 48,000 Hz(Javed 2024)

数据呈现:作为模型输入特征,以文字描述

关系情感评分

数据来源:参与者观看回放后用 CORAE 工具给出的自评

实验样本:15 点量表(−7 至 +7),映射为低、中、高三个区间;样本中负性占 4.7%,中性 15.6%,正性 79.6%(Javed 2024)

数据呈现:以文字报告各区间样本比例

模型预测性能

数据来源:由 LSTM 模型在留出测试集上的预测结果计算

实验样本:测试集平均召回率 45.99%、准确率 40.49%,训练集 90.17% 与 89.05%;低区间 41%、高区间 72% 的样本分类正确(Javed 2024)

数据呈现:论文以文字报告平均召回率与准确率,并给出各情感区间的分类正确比例

方法关联论文:双人互动中的人际感知建模:迈向真实世界中的机器人辅助社交调解

主要部件

CORE 核心平台

类型:部件

形式:软件

配置:标配

说明:平台必备核心模块,提供研究设计、刺激呈现、问卷调查、摄像头录制、数据采集、导入导出及 API、LSL 接入;其他各模块均以此为前提。

下载软件

Survey Tool 调查工具

类型:部件

形式:软件

配置:标配

说明:内置于 CORE 核心平台,可设计含单选、李克特量表、图片与开放题的问卷,可与生理数据同步采集,并支持 Qualtrics 集成。

下载软件

Remote Data Collection 远程数据采集平台

类型:配件

形式:软件

配置:选配

说明:CORE 核心平台的扩展,需 CORE 许可;通过浏览器远程部署研究、管理参与者并经加密通道传输数据,是网络摄像头眼动追踪与网络摄像头呼吸模块的前提。

下载软件

Eye Tracking Screen-Based 屏幕式眼动追踪模块

类型:配件

形式:软件

配置:选配

说明:需 CORE 与屏幕式眼动仪,集成多家厂商的屏幕式眼动仪,支持兴趣区、热图、数据分段与注视映射分析。

下载软件

Eye Tracking Glasses 眼镜式眼动追踪模块

类型:配件

形式:软件

配置:选配

说明:需 CORE 与眼动追踪眼镜,集成多种眼动追踪眼镜,支持自然环境下视觉注意的自动注视映射与分析。

下载软件

Eye Tracking VR 虚拟现实眼动追踪模块

类型:配件

形式:软件

配置:选配

说明:需 CORE 与内置眼动追踪的 VR 头显,采集、可视化、分析并导出 VR 眼动追踪数据。

下载软件

WebET 3.0 网络摄像头眼动追踪模块

类型:配件

形式:软件

配置:选配

说明:基于 iMotions WebET 3.0 技术,用网络摄像头实现眼动追踪,可显示注视路径与热图并导出数据。

下载软件

Affectiva 面部表情分析模块

类型:配件

形式:软件

配置:选配

说明:需 CORE 与网络摄像头,采集并分析面部表情,输出效价、投入度、面部关键点、基本表情、瞳间距与头部朝向等指标。

下载软件

EDA/GSR 皮肤电活动模块

类型:配件

形式:软件

配置:选配

说明:需 CORE 与皮肤电硬件,采集与生理唤醒相关的皮肤电数据,经 R Notebook 自动峰值检测。

下载软件

Voice Analysis 语音分析模块

类型:配件

形式:软件

配置:选配

说明:需 CORE,分析音高、语调、节奏、情绪及情绪效价等语音特征。

下载软件

Respiration 呼吸模块

类型:配件

形式:软件

配置:选配

说明:需 CORE 与呼吸传感器,采集、分析与导出呼吸数据,可用 R Notebook 进行滤波与呼吸峰值检测。

下载软件

Webcam Respiration 网络摄像头呼吸模块

类型:配件

形式:软件

配置:选配

说明:通过网络摄像头采集呼吸数据,支持陷波滤波与 R Notebook 自动呼吸检测;远程使用时以远程数据采集平台为前提。

下载软件

EEG 脑电图模块

类型:配件

形式:软件

配置:选配

说明:需 CORE 与脑电头戴设备,连接多种脑电头戴设备,采集、可视化并报告脑电信号。

下载软件

ECG 心电图模块

类型:配件

形式:软件

配置:选配

说明:需 CORE 与心电硬件,采集、可视化并导出原始心电信号。

下载软件

EMG 肌电图模块

类型:配件

形式:软件

配置:选配

说明:需 CORE 与肌电硬件,采集、可视化并导出原始肌电或面部肌电信号。

下载软件

Automated AOIs 自动兴趣区模块

类型:配件

形式:软件

配置:选配

说明:需 CORE 与任一眼动追踪模块,利用计算机视觉为动态刺激自动创建兴趣区,用于后续注视分析。

下载软件

GPS 模块

类型:配件

形式:软件

配置:选配

说明:需 CORE,在桌面端接收并可视化 GPS、GLONASS 与 Galileo 的定位、速度与航向数据。

下载软件

fNIRS 功能性近红外光谱模块

类型:配件

形式:软件

配置:选配

说明:需 CORE 与 fNIRS 硬件,通过 LSL 同步记录功能性近红外光谱数据,可与其他模态组合进行多模态研究。

下载软件

Motion Capture 动作捕捉模块

类型:配件

形式:软件

配置:选配

说明:需 CORE,对受试者摄像头视频进行后处理,用 R Notebook 提取身体与手部关键点、运动指标与骨骼叠加。

下载软件

Multiface 多人面部表情分析模块

类型:配件

形式:软件

配置:选配

说明:Affectiva 模块的附加组件,需 CORE 与面部表情分析模块,通过网络摄像头同时测量多张人脸的面部表情。

下载软件

iMotions Lab 产品宣传册

类型:部件

形式:文档

配置:标配

说明:官方 iMotions Lab 宣传册,介绍刺激呈现、多传感器同步、数据分析与导入导出等功能及支持的传感器。

查看文档

iMotions Software Module Descriptions 模块说明

类型:部件

形式:文档

配置:标配

说明:官方模块说明文档(2026 年 4 月版),说明 CORE 核心平台、远程数据采集平台与各软件模块的功能与前提条件。

查看文档

Pupil Labs Neon 眼动追踪眼镜

类型:配件

形式:硬件

配置:选配

说明:iMotions 官网硬件目录所列眼镜式眼动追踪设备,可与 iMotions Lab 集成,配合眼镜式眼动追踪模块用于自然环境视觉注意研究。

Smart Eye Pro 60 Hz 眼动仪

类型:配件

形式:硬件

配置:选配

说明:iMotions 官网硬件目录所列屏幕式眼动追踪设备,可与 iMotions Lab 集成采集与同步眼动数据。

Enobio 8 脑电系统

类型:配件

形式:硬件

配置:选配

说明:iMotions 官网硬件目录所列脑电设备,可与 iMotions Lab 集成,配合脑电模块采集脑电信号。

Shimmer3R GSR+ Kit 皮电套件

类型:配件

形式:硬件

配置:选配

说明:iMotions 官网硬件目录所列皮肤电采集套件,可与 iMotions Lab 集成,配合皮肤电活动模块测量生理唤醒。

BIOPAC MP200 数据采集系统

类型:配件

形式:硬件

配置:选配

说明:iMotions 官网硬件目录所列数据采集系统,可与 iMotions Lab 集成,同步采集多种生理信号。

相关论文

共 6 篇;当前显示第 1 页

感受与表达之间的差异:非自闭症观察者对自闭症与非自闭症者情绪表达的感知

原文题名:Discrepancies between feeling and expressing: Perceptions of autistic and non-autistic emotional expressions by non-autistic observers

发表年份:2026

作者:莎拉·J·福斯特;丹尼·邓恩;西迪·帕特尔;埃米·E·平卡姆;罗伯特·A·阿克曼;诺亚·J·萨森

刊源:Autism

DOI 10.1177/13623613251415129
查看论文摘要与书目信息

摘要 · 中文整理:本研究考察自闭症与非自闭症成人感受到的情绪是否不同,以及非自闭症观察者如何感知他们的情绪表达。两组表达者自报的情绪感受相当(M = 6.01 与 6.17)。观察者对非自闭症表达者的快乐识别更准确(.538 与 .412),对自闭症表达者的悲伤(.395 与 .209)和愤怒(.163 与 .100)识别更准确,并认为自闭症表达者的悲伤和愤怒更强烈。告知诊断基本没有影响。研究还用 iMotions 情绪识别软件对表情的情绪效价分类,iMotions 更常把自闭症表达者的轻度表情判为中性,把非自闭症表达者的轻度表情判为正性。

原文摘要:The study examined whether autistic and non-autistic adults differ in felt emotion and how non-autistic observers perceive their emotional expressions. Autistic and non-autistic expressers reported comparable felt emotion (M = 6.01 vs 6.17). Observers identified happiness more accurately in non-autistic expressers (.538 vs .412), and sadness (.395 vs .209) and anger (.163 vs .100) more accurately in autistic expressers, and rated autistic expressions of sadness and anger as more intense. Disclosing diagnosis largely had no effect. iMotions emotion recognition software also classified the emotional valence of the expressions; iMotions more often classified mild autistic expressions as neutral and mild non-autistic expressions as positive.

关键词:自闭症、表达性、情感

研究目标:自闭症者的情绪表达常被非自闭症观察者认为更负面或难以解读。本研究要弄清:这种感知差异来自感受到的情绪不同、表达方式不同,还是观察者的偏差;告知诊断是否改变感知;自动情绪识别软件对两组表情的分类是否也存在差异。

主要结论:自闭症与非自闭症表达者的情绪感受无显著差异,在 ±0.70 范围内等价。观察者对快乐的识别在非自闭症表达者中更准确,对悲伤与愤怒的识别在自闭症表达者中更准确,并认为自闭症者的悲伤与愤怒更强烈。告知诊断总体无主效应。iMotions 把自闭症者的轻度表情更多判为中性(MD = 19.33,p = .020),把非自闭症者的轻度表情更多判为正性(p = .011)。作者认为,导致自闭症者表情被感知为更负面的可能是观察者偏差而非情绪感受差异,自动系统可能更契合神经典型者的表达模式。

创新点:研究同时测量表达者自报的情绪感受、非自闭症观察者的识别与强度评分,以及自动面部表情软件的效价分类,并操纵诊断告知与表达强度(轻度与强烈),从感受、表达与感知三个层面区分自闭症情绪表达被误读的来源。

后续建议:表达者样本缺乏多样性,且排除了智力障碍者与非言语者,可扩大并纳入更多样的自闭症表达者。;研究未设中性表情条件,也没有自闭症观察者对照组,可补充这两类条件,以检验双向共情问题。;表情由指导下的重新体验诱发,生态效度有限,可加入自然情境下诱发的情绪表达。;作者指出 iMotions 基于神经典型表情建立常模、敏感性可能有限,可用自闭症者的表情数据对分类结果做校准或验证。;研究未测量述情障碍和伪装行为,可将其作为协变量纳入分析。

APA 引文:Foster, S. J., Dunn, D., Patel, S., Pinkham, A. E., Ackerman, R. A., & Sasson, N. J. (2026). Discrepancies between feeling and expressing: Perceptions of autistic and non-autistic emotional expressions by non-autistic observers. Autism, 30(4), 914–930. https://doi.org/10.1177/13623613251415129

仪器引用:iMotions classifies emotional expressions frame by frame using facial action units (iMotions Lab, 2022).

打断浏览体验:赞助社交媒体内容对情绪流的影响并不驱动参与行为

原文题名:Disrupting the browsing experience: impact of sponsored social media content on affective flow without driving engagement

发表年份:2025

作者:迈克·许布纳;尤莉亚·塔尔曼;约尔格·亨塞勒

刊源:Frontiers in Neuroscience

DOI 10.3389/fnins.2025.1636848
查看论文摘要与书目信息

摘要 · 中文整理:理解情绪体验如何塑造数字环境中的消费者行为是决策神经科学的核心议题。社交媒体信息流充斥着赞助内容,但人们对这类内容如何调节情绪节律并影响参与行为知之甚少。本研究基于决策神经科学框架和情绪加工模型,构建了一个三层分析模型,用以捕捉滚动浏览行为的情绪微观结构(概念化为微观顾客旅程)。被试浏览模拟社交媒体信息流,同时通过面部表情分析、皮肤电导和实时参与追踪记录其反应。浏览过程的情绪基调以中性为主,间或出现短暂的唤醒与正性效价峰值。赞助内容打破了这一基线中性状态,使情绪流发生微妙偏移,但并未放大情绪强度。与普遍假设相反,情绪唤醒与效价的生物特征指标并不能预测参与行为。研究结果表明,商业内容影响决策的方式不是提升情绪显著性,而是打断习惯性的情绪连续性。这对强调情绪强度的传统说服模型提出了挑战,并凸显了需要建立考虑节律打断、认知重评及用户反应特质差异的新框架。

原文摘要:Understanding how emotional experiences shape consumer behavior in digital environments is a central issue in decision-making neuroscience. While social media feeds are saturated with sponsored content, little is known about how such content modulates affective rhythms and influences engagement. Grounded in decision neuroscience frameworks and affective processing models, this study develops a three-layer analytical model to capture the emotional microstructure of scrolling behavior, conceptualized as the micro-customer journey. Participants navigate a simulated social media feed while responses were recorded via facial expression analysis, skin conductance, and real-time engagement tracking. Browsing was predominantly neutral in affective tone, interrupted by brief spikes in arousal and positive valence. Sponsored content disrupted this baseline neutrality, producing a subtle shift in affective flow without amplifying emotional intensity. Contrary to common assumptions, biometric indicators of emotional arousal and valence did not predict engagement behavior. Findings suggest that commercial content influences decision-making not by heightening emotional salience but by interrupting habitual affective continuity. This challenges conventional persuasion models that emphasize emotional intensity and highlights the need for revised frameworks that account for rhythm disruption, cognitive reappraisal, and trait-level variability in user responses.

关键词:情绪加工、社交媒体广告、情绪节律、面部表情分析、皮肤电反应、用户参与

在线博物馆图形用户界面的无障碍性与可用性分析

原文题名:Accessibility and usability analysis of online museum's graphical user interface

发表年份:2024

作者:卡罗尔·瓦扎鲁克;卡茨佩尔·迈赫尔;玛丽亚·斯库布莱夫斯卡-帕什科夫斯卡

刊源:Journal of Computer Sciences Institute

DOI 10.35784/jcsi.6312
查看论文摘要与书目信息

摘要 · 中文整理:本文分析了两个网络服务图形用户界面的无障碍性与可用性:一个是按通用设计原则实现的自研网络应用,另一个是不符合这些原则的比乌戈拉伊地区博物馆网站。实验有 15 名参与者,分为眼动追踪与问卷两部分。第一部分用眼动仪获取兴趣区首次注视时间、注视次数和扫视路径;第二部分用 LUT 与 QUIS 问卷考察两个系统的可用性和受访者满意度。结果表明,在符合通用设计原则的系统中定位元素所需时间更短;界面按用户主要需求调整后,满意度随之提高。

原文摘要:The paper analyses the accessibility and usability of the graphical user interface of two web services: a proprietary web application implemented with the principles of universal design and the website of the Biłgoraj Land Museum, which does not meet these principles. The experiment involved 15 participants and had two parts, eye tracking and surveys. In the first part an eye tracker was used to acquire times to first fixation of the area of interest, fixation count and scan paths; in the second, the LUT and QUIS surveys were used to examine usability and respondents' satisfaction with both systems. The time to locate elements was shown to be shorter for the system meeting the principles of universal design, and satisfaction with the interface rises when it is adjusted to the user's main needs.

关键词:无障碍性、可用性、图形用户界面、眼动追踪

研究目标:研究通用设计原则对博物馆网页图形界面的无障碍性、可用性和用户满意度有何影响。作者比较符合与不符合通用设计原则的两版界面,检验两个假设:不符合原则的界面需要更长的元素定位时间;按原则实现的界面质量和用户满意度更高。

主要结论:在 16 项任务中,符合通用设计原则的应用有 13 项的首次注视时间更短,平均短 0.992 s;有 12 项的注视次数更少,平均少 2.17 次。WUP 分数为 4.53 与 2.5,QUIS 平均分为 8.31 与 3.82。两个假设均得到证实,通用设计原则显著影响博物馆在线图形界面的无障碍性、可用性和用户满意度。

创新点:作者自行开发了符合通用设计原则的博物馆网页应用,与真实的博物馆网站对照,把眼动追踪指标(首次注视时间、注视次数、扫视路径)与 LUT、QUIS 两种问卷结合,从客观注视行为和主观评价两方面检验通用设计原则的效果。

后续建议:论文因剔除错误数据而减少了有效样本,作者建议补充测试,并在更多参与者中重复实验。;被试为 15 名计算机科学硕士生(14 男 1 女),可纳入老年人、视障者等更多样的用户群体,检验结论的普适性。;两个应用的视图按固定顺序呈现(先符合原则的,后不符合的),可采用平衡或随机顺序,以控制学习效应。;对于不符合原则的界面反而更快的任务(如任务 10、13、16),可单独设计对照实验,区分元素位置习惯与通用设计原则各自的影响。

APA 引文:Łazaruk, K., Majcher, K., & Skublewska-Paszkowska, M. (2024). Accessibility and usability analysis of online museum's graphical user interface. Journal of Computer Sciences Institute, 33, 277–284. https://doi.org/10.35784/jcsi.6312

仪器引用:iMotions software (version 9.0) [16]. | Website of iMotions software, https://imotions.com/products/imotions-lab/

双人互动中的人际感知建模:迈向真实世界中的机器人辅助社交调解

原文题名:Modeling interpersonal perception in dyadic interactions: towards robot-assisted social mediation in the real world

发表年份:2024

作者:希夫扎·贾韦德;Weinan Wang;阿凡·本·乌斯曼;纳维德·贾马利

刊源:Frontiers in Robotics and AI

DOI 10.3389/frobt.2024.1410957
查看论文摘要与书目信息

摘要 · 中文整理:社交调解机器人需要实时理解人际动态。本文提出一种多模态、多视角的关系情感模型,即每位互动者在互动中如何感知对方,模型用真实非受控环境下采集的对话数据集中的视听数据训练,可实时预测每位互动者的关系情感。结果初步表明,该模型有望让机器人介入负面互动、促进中性互动、尊重正面互动。文中还讨论了评分主观性等局限以及在真实世界部署的意义。

原文摘要:Social mediator robots require a real-time understanding of interpersonal dynamics. This work proposes a multimodal, multi-perspective model of relational affect, that is, how each interactant perceives the other during an interaction, trained on audiovisual data from a conversational dataset collected in uncontrolled, real-world settings. The model predicts the relational affect of each interactant in real time. The results show early indications of the model's capability to enable a robot to intervene in negative interactions, enhance neutral ones, and respect positive ones. Limitations, including the subjectivity of the ratings, and implications for real-world deployment are discussed.

关键词:关系情感、多模态、多视角、双人互动、群体动力学、人际动态、社交调解

研究目标:社交调解机器人要在真实环境中改善群体互动,必须实时理解互动双方如何感知彼此(关系情感)。本文针对非受控环境下的在线双人对话,建立能实时预测每位互动者关系情感的多模态模型。

主要结论:多模态、多视角的 LSTM 模型在留出测试集上的平均召回率为 45.99%,准确率为 40.49%,优于 Inception-V3 和 Inception-V3 + LSTM 基线(召回率均为 33.33%)。作者认为,这是在真实场景中为机器人辅助社交调解建立关系情感模型的早期一步,模型已显示出介入负面互动、促进中性互动、尊重正面互动的初步能力。

创新点:研究从多视角建模关系情感,分别预测每位互动者对对方的感知;用真实非受控环境中采集的在线对话数据,融合 iMotions 提取的面部关键点与音频特征,实时预测,面向机器人辅助社交调解的实际部署。

后续建议:低情感样本只占 4.7%,模型对低区间预测较弱,可定向采集更多负面互动样本或采用数据增强。;因面部关键点提取失败,30 场会话只用了 21 场,可改进视频质量控制或换用更稳健的关键点提取设置以提高可用率。;作者指出模型未纳入人格、文化等个体差异以及言语内容、停顿和注视,可把这些特征加入模型。;作者计划扩展到更大的群体,可按其设想尝试图模型与预训练嵌入表示。

APA 引文:Javed, H., Wang, W., Usman, A. B., & Jamali, N. (2024). Modeling interpersonal perception in dyadic interactions: Towards robot-assisted social mediation in the real world. Frontiers in Robotics and AI, 11, Article 1410957. https://doi.org/10.3389/frobt.2024.1410957

仪器引用:facial expression analysis module from the iMotions software platform | https://imotions.com/products/imotions-lab/

使用Affectiva软件区分创伤性脑损伤患者与健康人群的面部表情使用:一项初步研究

原文题名:Differentiating Use of Facial Expression between Individuals with and without Traumatic Brain Injury Using Affectiva Software: A Pilot Study

发表年份:2023

作者:凯莉·尤;利安·托格;艾玛·鲍尔;梅丽莎·布伦纳;雷切尔·里特迪克

刊源:International Journal of Environmental Research and Public Health

DOI 10.3390/ijerph20021169
查看论文摘要与书目信息

摘要 · 中文整理:本研究探讨了使用自动面部编码引擎Affectiva(集成于iMotions 8.2版本)评估创伤性脑损伤(TBI)后面部表情的可行性。研究采用观察性横断面设计,基于TBI患者与对照被试的视频面部表情数据,旨在比较TBI组与对照组,并识别影响数据分析的混杂因素。分析了10名TBI患者和10名对照被试完成两项叙事任务的视频样本。Affectiva检测到TBI患者在两项任务中的参与度时间百分比均高于对照被试,在其中一项任务中TBI患者的微笑时间百分比也更高。Affectiva可提供关于面部表情的标准化数据,可能对检测TBI后面部表情使用的变化具有敏感性。未来研究可采用标准化的录制协议,在更大、更多样化的样本中重复本研究。

原文摘要:This study investigated the feasibility of using an automated facial coding engine, Affectiva (integrated in iMotions, version 8.2), for evaluating facial expression after traumatic brain injury (TBI). An observational cross-sectional study was conducted based on facial expression data from videos of participants with TBI and control participants, with the aims to compare TBI and control groups and identify confounding factors affecting the data analysis. Video samples of ten participants with TBI and ten control participants completing two narrative tasks were analysed. Affectiva detected a higher percentage of time of engagement for TBI participants than for control participants on both tasks. There was also a higher percentage of time of smiling for TBI participants in one task. Affectiva provides standardized data about facial expression and may be sensitive to detecting change in the use of facial expression after TBI. Future research could replicate this study with a standardized recording protocol using a larger and more diverse sample.

关键词:创伤性脑损伤、软件、面部表情、评估工具、社交沟通

众包在线生物特征研究:值得付出代价吗?

原文题名:Crowdsourced Online Biometric Studies: Is the juice worth the squeeze?

发表年份:2023

作者:罗伯特·哈蒙德;Yuqi Wang

刊源:Muma Business Review

DOI 10.28945/5224
查看论文摘要与书目信息

摘要 · 中文整理:招募众包参与者的在线生物特征研究前景可观,但存在种种变数,可能影响研究成败。本文分享了研究者开展在线生物特征数据采集的经验,并报告了一项比较在线与实验室眼动追踪(ET)和面部表情(FE)数据的研究。学生与公众被分为两组,在一家知名餐厅的在线菜单应用上点餐:第 1 组通过在线生物特征数据采集工具访问菜单网页应用,第 2 组通过采集生物特征数据的桌面应用操作。两种采集方式在用户体验指标、面部表情数据和注视点数量上差异很小,但眼动数据差异显著,与现场经验一致。现场环境的变数给研究者带来很大风险,参与者有报酬时尤甚。文章就招募、参与者报酬、分析投入与专业能力、提高可用数据比例以及眼动工具的选用提出了建议。

原文摘要:Online biometric studies with crowdsourced participants are promising but have vagaries that can limit their success. This paper shares researcher experience with biometric online data collection and reports a study comparing online and lab-based eye tracking (ET) and facial expression (FE) data. Students and members of the public were split into two groups to place orders from a well-known restaurant's online menu application: Group 1 accessed the menu web application routed through an online biometric data collection tool, while Group 2 used a desktop application that collected the biometric data. The study found little difference between the two data collection methods in user experience metrics, facial expression data, or the number of gaze points, but observed a significant difference in the ET data, consistent with field experience. The vagaries of the field present significant hazards for researchers, more so if participants are compensated. Recommendations are given on recruitment, participant compensation, analysis effort and expertise, maximizing usable data, and employing eye tracking tools.

关键词:情感计算、情感人工智能、生物特征测量、在线数据采集、众包、眼动追踪、面部表情分析、人类洞察

研究目标:作者在疫情期间开展在线生物特征现场采集时发现,在线眼动可视化结果更分散、可用数据比例偏低。本文在实验室中控制环境因素,比较在线采集与实验室设备在眼动追踪和面部表情分析上的差异,回答两者差异来自何处,并检验可用数据比例、被试行为、眼动准确性和面部表情数据相似性四项假设。

主要结论:四项假设均得到支持。两组在结账时间(p=0.714)、首件入车时间(p=0.993)和注视点数(1421 与 1384)上无显著差异;注视次数相差 48%(实验室 230,在线 119,p=0.032)。面部表情的 Attention 指标两组接近。在线与实验室生物特征研究都可行且有价值,但属于不同的工具:网络摄像头带来的灵活性和覆盖面,以眼动准确性降低和可用数据减少为代价。

创新点:在实验室中同时部署在线(网络摄像头)与实验室(桌面软件加外接眼动仪)两种采集配置,排除现场环境的干扰,单独比较两者在眼动与面部表情数据上的差异,并结合作者的现场在线采集经验,为研究者提供了招募、报酬与数据质量方面的操作建议。

后续建议:论文承认样本量小且为便利样本,可扩大样本并随机分组,再检验注视次数差异的稳健性。;实验室组只用了 30 Hz 眼动仪,作者指出更高采样率的设备可能扩大两组的注视次数差距,可比较不同采样率眼动仪的情形。;两组的注视识别算法不同(速度阈值与持续时间-离散度),可对同一份数据统一使用一种算法,以分离算法差异与硬件差异。;面部表情部分因样本少只报告了描述统计,可增加样本后对 Engagement 等指标做推断统计。;研究只涉及一家厂商的技术,作者建议今后比较不断演进的其他在线与实验室工具。

APA 引文:Hammond, R., & Wang, Y. (2023). Crowdsourced online biometric studies: Is the juice worth the squeeze? Muma Business Review, 7(12), 141–148. https://doi.org/10.28945/5224

仪器引用:installed on a multi-purpose computer (iMotions, 2022a) | iMotions. (2022a). iMotions Lab. In (Version 9.3)

使用资料与操作视频

暂未收录使用资料