iOS Motion Tracker - 用 iPhone 做高精度面部和手部追踪

为什么用 iOS 面捕

PC 自带摄像头的面捕精度普遍一般。原因：

• 普通摄像头分辨率和帧率不高
• PC 摄像头通常没有深度传感器
• Windows 自带的 MediaPipe 追踪精度不如 iOS ARKit

而 iPhone：

• Face ID 硬件有深度传感器
• ARKit 框架精度很高
• Live2DViewerEX 官方推出了配套的 iOS App

Live2DViewerEX Motion Tracker App Store 上免费提供，功能是：iPhone 当面部捕捉摄像头，把高精度面部数据通过网络传给 Windows/Mac 上的 Live2DViewerEX。

两种追踪引擎

App 内置两种追踪引擎，根据设备自动选择：

简单说：新 iPhone 自动用 ARkit（更好），旧 iPhone 用 Mediapipe（也能用）。

多设备联动

Motion Tracker App 支持最多 8 台 iOS 设备同时连接，分别控制 Live2DViewerEX 里的 8 个模型槽。

这是什么概念：

• 如果你在做一个多角色直播场景（比如 4 个 Live2D 角色同屏互动）
• 4 台 iPhone 分别对应 4 个模型槽
• 每个人脸都独立追踪，各动各的
• 理论上一个人也可以用两台手机——一台追脸，一台追手

设置步骤

1. iPhone 端

1. App Store 搜索 Live2DViewerEX Motion Tracker 并下载
2. 打开 App，允许摄像头权限
3. 保持 iPhone 和 PC 在同一个局域网（同一个 Wi-Fi）
4. App 会显示当前 Wi-Fi 名称和它的 IP 地址（如 192.168.1.100）

2. PC / Mac 端

1. 打开 Live2DViewerEX
2. 控制面板 → 模型 → 选中模型
3. 点击「自定义」→ 面部追踪
4. 选择"外部设备"（或类似选项，名称可能随版本变化）
5. 输入 iPhone 显示的 IP 地址
6. 连接成功后，PC 上会出现面部捕捉画面预览
7. 调整参数映射（见上一页）

3. 测试效果

看着 iPhone 的摄像头做几个表情：

• 点头 → 模型头跟着点
• 眨眼 → 模型眼睛眨
• 张嘴 → 模型嘴巴张
• 转头 → 模型头跟着转
• 做手势 → 如果模型有手部参数，手也跟着动

效果不对？回去检查参数映射是否正确绑定了。

典型使用场景

场景 1：单人直播追求精度

一台 iPhone + 一台 PC：

• iPhone 放面前正对自己脸
• PC 上跑 Live2DViewerEX + OBS
• 面捕精度直接拉满

场景 2：多角色联动

4 台 iPhone + 一台 PC + 4 个模型槽：

• 每台 iPhone 由不同人（或同一个人的不同角度）控制不同角色
• 4 个 Live2D 角色实时同步到 4 个 iPhone 的表情

场景 3：PC 摄像头太烂

老笔记本自带摄像头画质差 → 用 iPhone 当面捕摄像头是最便宜的升级方案。

注意事项

网络延迟

Wi-Fi 面捕有轻微延迟——通常几十毫秒。如果感觉反应慢：

• 确认 iPhone 和 PC 在同一个 5GHz 频段
• 不要同时在同一 Wi-Fi 下跑大量高带宽设备
• 有线网卡的 PC 面捕延迟会更低（iPhone 还是 Wi-Fi 连）

设备要求

App 价格

iOS App 免费下载，没有内购或广告。

与 PC 自带面捕对比