美国 Vulintus 言语训练系统 Opti-Speech

Opti-Speech 是美国科罗拉多州拉法叶市 Vulintus, Inc. 的交互式言语训练系统，厂商目前仍在其官网展示该产品。它是一套集成三维电磁发音描记术（EMA）系统的舌、唇、颌运动捕捉数据、用于驱动逼真三维虚拟形象的交互式系统。 EMA 系统捕捉的舌、唇、颌运动驱动虚拟形象动画，在言语产生过程中为说话者和言语治疗师提供舌与颌运动的实时视觉反馈，从而引导各语音所需的正确舌位。 系统提供舌位的实时视觉反馈，并可用可自定义的形状目标引导舌运动，该目标可取自正常说话者数据集或用户自身的最佳运动。 Vulintus 报告称，对正常言语者和构音障碍患者的测试已证实，将发音时舌运动的视觉反馈用作治疗工具具有可行性；包括一项 30 名受试者疗效研究在内的持续研发，旨在开发可商用的临床系统。Opti-Speech 系统的研发得到美国国立耳聋与其他交流障碍研究所 SBIR 基金的资助。 Vulintus 说明，Opti-Speech 目前仅可用于研究实验室。

仪器信息

品牌Vulintus
型号Opti-Speech
分类三维电磁发音仪
仪器编码united-states-vulintus-speech-training-system-opti-speech
在售状态在售
地区来源美国
更新时间2026-10-10
研究领域言语科学与言语语言病理学、言语运动控制与发音运动学、人机交互与实时三维可视化、生物医学工程与康复技术

技术参数

共 37 条规格记录

产品状态临床原型开发阶段，尚未商业化
临床试验验证情况疗效临床试验已完成（NCT02705326），申办方 Vulintus, Inc.，实际入组 37 人，试验点含 The Cleveland Hearing and Speech Center
测量原理三维电磁发音动作描记（3D Electromagnetic Articulography, EMA）
信号检测原理磁力计（magnetometer）跟踪
测量对象舌、唇、颌运动
记录维度三维（3D）
位置测量准确度约 0.5 mm（配合 NDI Wave 系统时）
数据时间戳分辨率1 ms（Opti-Speech-VMT 变体）
系统总延迟87.3 ms（平均）（Opti-Speech-VMT 变体，配 NDI Wave 硬件）
硬件接口延迟69.8 ms（平均）（Opti-Speech-VMT 变体，配 NDI Wave 硬件）
可视化软件延迟17.4 ms（平均）（Opti-Speech-VMT 变体，配 NDI Wave 硬件）
网络与数据传输接口TCP/IP
舌部传感器数量5 个（NDI Wave 系统）
下颌传感器数量1 个（NDI Wave 系统）
头部参考传感器数量1 个 6DOF 参考传感器（安装于眼镜上）（NDI Wave 系统）
传感器固定方式生物相容性粘合剂粘贴
软件开发平台Unity 2020.1.12f1（Opti-Speech-VMT 变体）
三维建模与动画软件Autodesk Maya
数据源支持范围文件回放（File reader）、NDI WAVE 硬件实时数据流（WaveFront）、Carstens AG500 系列实时数据流（开发中）（Opti-Speech-VMT 变体）
EMA 硬件兼容性NDI Wave
EMA 硬件兼容性Carstens AG501（研发中，尚在构建）
操作系统兼容性Windows 10（Opti-Speech-VMT 变体）
工作站处理器要求标准 PC（四核 3 GHz 处理器，1 GB 显存 ATI 显卡）（初始版本试验配置）
数据文件格式.tsv（tab-separated values）（Opti-Speech-VMT 变体）
音频与运动数据同步功能支持（Opti-Speech-VMT 变体）
实时视觉反馈功能支持
可视化呈现形式同步运动的透明头部模型内显示舌面标记点与舌体三维化身
头部模型不透明度调节功能支持
三维化身模型面数约 3,500 个多边形
发音目标生成方式由正常说话人数据集或用户自身最佳动作生成
目标区域尺寸1.25 cm（球体）（美式英语齿龈辅音发音部位试验配置；尺寸与目标保持时间可由用户调整）
目标区域尺寸1.00 cm（球体）（新语音学习试验配置，无目标保持时间要求）
目标命中反馈形式目标球体由红色变为绿色
目标运动轨迹类型直线、曲线、自定义（Opti-Speech-VMT 变体）
预期用途限制仅限研究实验室使用
应用领域语音治疗中的舌位视觉生物反馈训练、语音错误矫治与外语语音教学
适用人群典型语音者与构音障碍患者

相关实验室

以下机构来自本仪器关联论文的作者署名，不代表已确认采购或持有该仪器。

美国得克萨斯州理查森市得克萨斯大学

地区：美国

署名作者：希兰亚·G·库马尔、威廉·F·卡茨

研究方向：舌、视觉反馈、电磁发音描记、虚拟头像

关联论文 1 篇

实验方法

研究方向：基于电磁发音仪的舌运动实时视觉生物反馈、面向舌体的视觉运动跟踪（VMT）范式：静态、移动、线性、曲线与自定义目标轨迹、发音可视化反馈框架的延迟测量与评估、由肉点电磁传感器驱动的三维舌头虚拟化身建模、临床言语训练与第二语言发音学习应用

Opti-Speech 可视化反馈系统的端到端延迟测量实验

方法说明：该实验针对 Opti-Speech（及其面向视觉运动跟踪的扩展版本 Opti-Speech-VMT）这一基于三维电磁发音仪的实时舌运动可视化反馈系统，量化其从真实传感器运动到屏幕上虚拟舌头化身更新之间的时间延迟。实验不直接比较未标定的原始位移量，而是让一枚电磁传感器沿振荡轨迹运动，用一台高帧率摄像机同时拍摄真实传感器与显示屏上由厂商 API 渲染的传感器点和 Opti-Speech-VMT 渲染的虚拟传感器点，再对视频逐帧做基于颜色的目标跟踪，比较三条归一化轨迹在换向峰谷处的帧差，从而把总延迟拆分为电磁发音仪硬件与 API 造成的延迟以及 Opti-Speech-VMT 自身造成的延迟两部分。结果表明平均总延迟为 87.319 ms，其中 API 占 69.855 ms，Opti-Speech-VMT 仅占 17.464 ms，说明可视化反馈软件本身引入的滞后极小，延迟主要来自电磁发音仪的信号处理硬件。

实验仪器：Opti-Speech 三维电磁发音可视化反馈系统 Opti-Speech；Opti-Speech-VMT 视觉运动跟踪扩展系统 Opti-Speech-VMT；Wave 电磁发音仪（电磁发音运动跟踪系统） NDI Wave Speech Research System；电磁发音仪传感器（肉点标记传感器） Wave 5DOF/6DOF 传感器；智能手机摄像机 Galaxy S20 FE；计算机显示器；Unity 游戏引擎 Unity 2020.1.12f1；OpenCV 计算机视觉库；三维动画建模与动作绑定软件 Maya / MotionBuilder

实验步骤

  1. 搭建电磁发音仪与可视化反馈链路

    说明：将 NDI Wave 电磁发音仪的传感器数据经 Wave 信号处理器与 NDI Wave API 通过局域网流式传入运行于 Windows 10 的 Unity 环境中的 Opti-Speech-VMT，由其完成数据源读取、数据处理与虚拟场景渲染。

    关键点：数据通路为 Wave 传感器→Wave Cube→Wave 信号处理器→NDI Wave API→Opti-Speech-VMT，三级链路必须同时在线，API 层与框架层的输出需同屏显示以便同帧比较。

  2. 设置对照显示与摄像机拍摄条件

    说明：将一枚电磁传感器置于实验者手指上做振荡运动，计算机显示器（刷新率 60 Hz）同时显示 API 层传感器点与 Opti-Speech-VMT 层传感器点；用三脚架固定的手机摄像机以 1920×1080、60 FPS 模式同时拍摄真实传感器与显示屏。

    关键点：渲染软件中的虚拟摄像机视角必须调整到与真实摄像机的观察平面一致，使三者处于同一观察平面；拍摄环境需光照良好以便后续基于颜色的跟踪；除录制模式外其余相机参数设为自动。

  3. 录制振荡轨迹视频

    说明：由实验者手动驱动传感器沿振荡轨迹往复运动并录制视频，使真实传感器、API 传感器与 Opti-Speech-VMT 传感器三条轨迹被同一视频同时记录。

    关键点：由于运动由手工完成，轨迹并非完全正弦，因此延迟只在轨迹换向处（峰与谷）测量；振荡需持续足够时间以提供多个换向点。

  4. 视频逐帧处理与轨迹提取

    说明：用 Python 逐帧处理录像，借助 OpenCV 依据颜色跟踪真实传感器、API 传感器与 Opti-Speech-VMT 传感器的运动轨迹，并对三条轨迹的振幅做归一化处理。

    关键点：因传感器未标定、原始位移量不可直接比较，必须先归一化振幅再做时间对齐；颜色分割的稳定性直接决定峰谷定位精度。

  5. 延迟计算与分层拆解

    说明：在归一化轨迹的峰谷处测量帧数差，按每帧 16.67 ms 换算为毫秒；总延迟为真实传感器与 Opti-Speech-VMT 轨迹之差，API 延迟为真实传感器与 API 轨迹之差，二者相减得到 Opti-Speech-VMT 自身延迟。

    关键点：公式为 latency(ms)=帧数×16.67，OptiSpeechVMT latency = total latency − API latency；受 60 Hz 刷新率与 60 FPS 拍摄限制，可测量的最小延迟分辨率为 1/60 s（16.67 ms）。

  6. 多样本平均与结果判读

    说明：在轨迹峰谷处共取 42 个样本求平均，得到平均总延迟、平均 API 延迟与平均 Opti-Speech-VMT 延迟，并绘制三条归一化轨迹曲线进行可视化比对。

    关键点：需说明测量分辨率限制：Opti-Speech-VMT 延迟仅约 1.048 帧，实际值可能小于 1 帧时长，属于该实验装置的分辨率下限之内。

实验数据

三路传感器归一化运动轨迹时间序列

数据来源：由手机摄像机拍摄的 60 FPS 视频，经 Python 与 OpenCV 基于颜色跟踪逐帧提取真实传感器、API 传感器与 Opti-Speech-VMT 传感器的位置

实验样本：以帧号为横轴、归一化振幅（约 0.3～0.85）为纵轴的三条曲线数值序列，真实传感器曲线最早到达峰值，API 曲线次之，Opti-Speech-VMT 曲线最后

数据呈现：归一化振幅—帧号折线图（Fig. 6），三条曲线分别以红色点划线、绿色虚线和蓝色实线绘制，并放大显示若干个振荡周期以突出时间差

延迟帧数测量值

数据来源：在归一化轨迹峰谷处采集的 42 个样本的帧号差统计

实验样本：平均总延迟 5.238 帧，平均 API 延迟 4.19 帧，平均 Opti-Speech-VMT 延迟 1.048 帧

数据呈现：延迟测试结果表（Table 1）中的“Latency (Frames)”行

延迟毫秒换算值

数据来源：由延迟帧数按 60 Hz 帧时间 16.67 ms 换算得到

实验样本：平均总延迟 87.319 ms，API 延迟 69.855 ms，Opti-Speech-VMT 延迟 17.464 ms

数据呈现：延迟测试结果表（Table 1）中的“Latency (ms)”行

方法关联论文：Opti-Speech-VMT：实现与评估

基于 Opti-Speech 虚拟目标的舌部视觉运动跟踪（VMT）任务实现与运动数据采集

方法说明：该实验方法依托 Opti-Speech 系列系统，把三维电磁发音仪采集的舌、唇、颌肉点运动数据实时映射到一具可形变的三维舌头化身上，并置于可调透明度的颅骨与下颌模型中，使被试能够实时观看自己舌头的三维运动。实验者可在口腔虚拟空间内放置静态目标或在两点间振荡的移动目标，目标轨迹可设为线性（正弦插值）、曲线（椭圆方程，限于 YZ 中矢面）或复刻既有录制运动的自定义轨迹，并可设定振荡频率、幅度、方向、暂停时间与速度随机性；被试用指定舌部传感器去命中目标，命中时目标变色以给出准确性反馈，系统同时以 1 ms 时间戳分辨率记录全部传感器、目标与标记的位置参数（sweep），可与音频同步保存为 tsv 文件供离线分析与回放。该范式用于考察舌这一主要发音器官的运动控制、前馈与反馈加工，并可扩展至失用症、帕金森病等人群的临床研究与言语训练。

实验仪器：Opti-Speech 三维电磁发音可视化反馈系统 Opti-Speech；Opti-Speech-VMT 视觉运动跟踪扩展系统 Opti-Speech-VMT；Wave 电磁发音仪（电磁发音运动跟踪系统） NDI Wave Speech Research System；电磁发音仪信号处理单元与场发生立方体 Wave Cube / Wave Signal Processor；发音运动学数据接口 NDI Wave API；三维电磁发音仪（备选数据源） AG500 系列；Unity 游戏引擎 Unity 2020.1.12f1；三维动画建模与动作绑定软件 Maya / MotionBuilder；运行可视化反馈软件的计算机工作站

实验步骤

  1. 电磁传感器布置与虚拟传感器映射

    说明：在舌面等部位粘贴电磁发音仪传感器（系统以五个标记点驱动舌头网格），在 Sensors List 菜单中把软件虚拟标记与物理传感器实时对应，并可按需设置传感器偏移量。

    关键点：五个标记点被确定为识别多种言语音所需舌形与舌位的最小充分分辨率；映射可在运行中实时更改，无需按固定顺序安装物理传感器；偏移量调整在软件端完成，避免反复调整被试口内的实际传感器。

  2. 建立数据源连接与信号平滑设置

    说明：在 Data Source Selector 中选择数据源：文件回放（File reader）、NDI Wave 实时流（WaveFront）或开发中的 Carstens AG500 系列接口；在 Advanced 菜单中设定与硬件通信的网络参数与滤波强度。

    关键点：系统支持多数据源同时接入，可按开发者手册扩展新数据源；滤波强度用于平滑 API 传入的原始传感器数据，抑制硬件高灵敏度导致的虚拟传感器抖动。

  3. 配置可视化呈现与视角

    说明：在 Display 菜单中控制舌模型、颅骨、上下颌、标记点与传感器的显示与透明度（例如将颅骨与颌骨透明度设为约 50%），在 Camera 菜单中一键切换预设视角（正面、左侧、右侧、三四分之一、俯视等）。

    关键点：透明度与视角需按被试个体偏好或实验要求设定，保证被试既能看到舌头化身又能获得口腔解剖参照；舌模型为非刚体，可根据被试实际传感器位置自动改变形状与尺寸。

  4. 设定目标类型与运动轨迹

    说明：在 Targets 菜单中添加一个或多个目标：静态目标用于定点命中训练，移动目标在口腔内两个位置之间振荡；分别按线性、曲线或自定义轨迹设定方向、行程距离、频率、暂停时间与速度可预测性。

    关键点：线性轨迹用正弦函数配合线性插值，使目标在两端减速换向、更接近自然舌运动；曲线轨迹用椭圆方程实现，当前限定在 YZ（中矢）平面，需另设椭圆长短轴；自定义轨迹由先前录制的 sweep 复刻，可让被试模仿特定音节或词的发音运动；可选加入速度随机性以降低可预测性。

  5. 执行跟踪任务并记录扫掠数据

    说明：被试用选定的舌部传感器追随目标，命中目标时目标变色给出视觉准确性反馈；用 Sweeps 菜单录制整段实验，逐时间戳保存全部传感器、目标与标记的状态与位置参数，并可同步保存音频。

    关键点：时间戳分辨率为 1 ms，数据以 tsv 格式保存，可用文本编辑器或电子表格读取，并能通过 File Reader 数据源精确回放；可选择保存原始坐标或已做偏移变换的坐标。

  6. 在线与离线的准确性评估

    说明：利用 Accuracy 窗口实时查看舌运动相对目标的逐周期（cycle）与逐次扫掠（sweep）准确率，实验后再基于保存的 sweep 数据做离线运动学分析。

    关键点：逐周期与逐次扫掠的准确率既是被试理解自身表现的在线反馈指标，也是后续比较言语性与非言语性运动、评估前馈与反馈加工作用的量化依据。

实验数据

扫掠（sweep）运动学记录文件

数据来源：Opti-Speech-VMT 的 Sweeps 录制功能，按时间戳记录场景中全部传感器、目标与标记的位置与状态

实验样本：以制表符分隔的 tsv 文件，每行对应一个 1 ms 分辨率时间戳，字段包含各传感器三维坐标、目标位置与参数、标记状态等，可选保存原始坐标或经偏移变换的坐标

数据呈现：通过 File Reader 数据源在三维虚拟场景中回放整段扫掠，或导入电子表格与分析程序绘制位移-时间曲线

目标命中与跟踪准确性指标

数据来源：Opti-Speech-VMT 的 Accuracy 窗口对舌部传感器与目标空间关系的实时计算

实验样本：逐振荡周期的 cycle accuracy 与整段扫掠的 sweep accuracy 百分比数值

数据呈现：界面内的准确性窗口实时数值显示，配合目标命中时的颜色变化提示

目标轨迹参数与生成位置序列

数据来源：依据线性（正弦插值）、曲线（椭圆方程）或自定义轨迹算法，由用户设定的频率、起止位置、椭圆半径、暂停时间等参数实时计算

实验样本：线性轨迹按 f(freq,time)=(Cos(2πfreq·time/1000)+1)/2 与 Lerp(startPosition,endPosition,f) 生成的位置序列；曲线轨迹按 currPosition=(c.x, c.y+r.y·Sin(angle), c.z+r.z·Cos(angle)) 生成的位置序列

数据呈现：在三维虚拟口腔场景中以球形目标的实时运动呈现，并随扫掠记录一并保存供回放

同步音频数据

数据来源：Sweeps 菜单中与运动时间戳同步保存的音频录制

实验样本：与 tsv 运动数据时间戳对齐的音频文件

数据呈现：与运动轨迹曲线对齐的声波形或时频显示

方法关联论文：Opti-Speech-VMT：实现与评估

主要部件

暂未收录主要部件

相关论文

共 1 篇；当前显示第 1 页

Opti-Speech-VMT：实现与评估

原文题名：Opti-Speech-VMT: Implementation and Evaluation

发表年份：2022

作者：希兰亚·G·库马尔；安东尼·R·劳恩；B·普拉巴卡兰；威廉·F·卡茨

刊源：Body Area Networks. Smart IoT and Big Data for Intelligent Health Management

DOI 10.1007/978-3-030-95593-9_19
查看论文摘要与书目信息

摘要 · 中文整理：本文介绍 Opti-Speech-VMT——一套使用电磁发音描记技术、可在口腔运动过程中提供视觉反馈的舌运动跟踪原型系统。Opti-Speech-VMT 专门面向视觉运动追踪（VMT）实验，受试者用舌上的传感器跟随口腔内一个振荡的虚拟目标。文中给出了线性轨迹、曲线轨迹与自定义轨迹的算法，并简要介绍了新增功能。由于延迟可能影响 VMT 任务的精度，作者在 API 层与整体框架层两个层面考察了系统延迟：用一台摄像机，将贴在实验者手指上的传感器的运动与计算机显示器上显示的振荡目标进行比较。测得平均总延迟为 87.3 ms，其中 69.8 ms 来自 API，17.4 ms 来自 Opti-Speech-VMT。结果表明 Opti-Speech-VMT 造成的性能下降极小，同时也说明所使用的 EMA 硬件与信号处理优化十分重要。

原文摘要：We describe Opti-Speech-VMT, a prototype tongue tracking system that uses electromagnetic articulography to permit visual feedback during oral movements. Opti-Speech-VMT is specialized for visuomotor tracking (VMT) experiments in which participants follow an oscillating virtual target in the oral cavity using a tongue sensor. The algorithms for linear, curved, and custom trajectories are outlined, and new functionality is briefly presented. Because latency can potentially affect accuracy in VMT tasks, we examined system latency at both the API and total framework levels. Using a video camera, we compared the movement of a sensor (placed on an experimenter’s finger) against an oscillating target displayed on a computer monitor. The average total latency was 87.3 ms, with 69.8 ms attributable to the API, and 17.4 ms to Opti-Speech-VMT. These results indicate minimal reduction in performance due to Opti-Speech-VMT, and suggest the importance of the EMA hardware and signal processing optimizations used.

关键词：言语、舌、视觉反馈、电磁发音描记、虚拟头像、三维模型、延迟

研究目标：解决既有 Opti-Speech 原型系统只能呈现静态目标、无法引入移动目标与多样化运动轨迹，从而限制言语运动控制研究与临床训练的问题；同时回答基于电磁发音仪的舌运动可视化反馈框架究竟引入多大延迟、延迟主要来源于哪一层这一尚缺乏实测数据的问题。

主要结论：Opti-Speech-VMT 在保留原有虚拟目标命中反馈的基础上，新增了移动目标、线性/曲线/自定义轨迹、多数据源选择、传感器实时映射、透明度调节、扫掠录制与精度窗口等功能；延迟实测显示平均总延迟为 87.319 ms，其中 NDI Wave API 占 69.855 ms，而 Opti-Speech-VMT 自身仅占 17.464 ms，说明总延迟主要由电磁发音仪的信号处理硬件造成，可视化软件层的附加滞后极小，且总延迟低于文献报道会对言语表现产生明显不良影响的范围。

创新点：其一，首次在舌部视觉反馈系统中实现可参数化的振荡移动目标，并给出基于正弦插值的线性轨迹算法、基于椭圆方程的曲线轨迹算法以及可复刻既有舌运动录制数据的自定义轨迹算法；其二，用非侵入的摄像机同屏比对方法，把可视化反馈系统的端到端延迟拆分为 API 层与应用框架层，给出了该类框架少见的分层延迟实测基准；其三，系统基于 Unity 构建、支持多种电磁发音仪数据源（文件回放、NDI Wave、开发中的 Carstens AG500 系列），具备跨平台迁移与二次开发能力，并配套研究者手册与开发者手册。

后续建议：改用采样率更高、动态精度更好的 Carstens AG501 等新一代电磁发音仪，并配合更快的 API，以进一步压缩硬件端延迟；采用高于 60 Hz 的显示器与高速摄像机重做延迟测量，突破当前 16.67 ms 的分辨率下限，验证 Opti-Speech-VMT 延迟是否低于一帧；建立真实口腔尺度与虚拟场景坐标之间的标定方法，避免当前振荡目标距离依赖经验估计，提高目标放置的个体化精度；在真实言语任务与不同人群（失用症、帕金森病、构音障碍患者）中开展延迟敏感性研究，量化各类延迟对言语表现的实际影响；将实验对象由实验者手指扩展为真实舌部传感器，在被试在体条件下复测延迟与跟踪精度，提高结论对临床场景的外推性

APA 引文：Kumar, H. G., Lawn, A. R., Prabhakaran, B., & Katz, W. F. (2022). Opti-Speech-VMT: Implementation and evaluation. In M. Ur Rehman & A. Zoha (Eds.), Body area networks: Smart IoT and big data for intelligent health management (LNICST, Vol. 420, pp. 233–246). Springer. https://doi.org/10.1007/978-3-030-95593-9_19

仪器引用：We describe Opti-Speech-VMT, a prototype tongue tracking system that uses electromagnetic articulography to permit visual feedback during oral movements. … Using a video camera, we compared the movement of a sensor (placed on an experimenter's finger) against an oscillating target displayed on a computer monitor. The average total latency was 87.3 ms, with 69.8 ms attributable to the API, and 17.4 ms to Opti-Speech-VMT. 图 1 图注：Fig. 1. A participant using the Opti-Speech system with NDI WAVE hardware. 第 4.1 节：The experiment makes use of a camera to monitor the real sensor and the computer screen (60 Hz refresh rate) showing the API and Opti-Speech-VMT sensors.

仪器引用：第 3.2 节：As in the original Opti-Speech prototype, Opti-Speech-VMT provides a static target for tongue tracking by allowing the operator to designate a virtual sphere in the oral cavity that a participant hits using a selected sensor on their tongue avatar. When the target is hit, it changes color, providing the participant with visual feedback of accuracy. Opti-Speech-VMT includes a moving target option that programs a single target to oscillate between two positions in the oral cavity. 第 1 节：In previous work, we described Opti-Speech, a technique for animating a 3D model of the human tongue in real time. … Through a custom plugin for MotionBuilder, the motion data from our EMA system is streamed in real-time and constrained to the marker setup of the rig.

使用资料与操作视频