结论与范围
01 / V9P3R2

V9P3R2：改了什么，还差什么

对比基线：FoundationHand-S9L10（1e-6）＋ HaWoR 的旧 V9 融合版。

三维手来源统一到 S9L10，
用观测与整段拟合修正几何。

已改善

部分搬物漏显、身份错配、SAM 裁剪突变和掌面突翻；深度一致性总体改善。

仍存在

手指卷曲、模糊/遮挡漏检、掌面选错；部分 R2 帧比 R1 更差。

需要区分

结构变化对比旧 V9；定量数据主要是 R1 → R2，不能冒称旧 V9 → R2 的提升率。

1350907 / 0910 完整序列
74,698完整拟合及数值检查帧
8RGB 双栏视频 · 4,408 帧
34 + 26R2 再消融 / 卷曲专项条件

检查范围：0907 为 119 条，0910 为 16 条。八条 RGB 首次交付实际抽看 293 个不同帧，后续专项另有复查；没有逐帧手部 GT（独立测量的真值）。

旧版定义 ↗ 全量报告 ↗ RGB 验收 ↗ 卷曲消融 ↗

02 / V9P3R2

从旧 V9 到 R2：两层变化

先更换三维融合方式，再逐步修正观测、初始化和拟合约束。

旧 V9S9L10（1e-6）+ HaWoR 融合
→
P3 / P3R1S9 单一三维来源 + 整段拟合
→
P3R2侧别 / 边界 / 遮挡 / 初始化保护
环节旧 V9 融合版当前 R2 路线改动的作用与边界
三维来源S9L10 + HaWoR/旧几何分支；selector 与整块回退决定输出。S9L10 是唯一学习式三维来源；保留 YOLO、SAM3、MMPose 二维证据。移除双来源选择/回退依赖，来源更清楚；不代表 S9 裸输出已经准确。
后续拟合旧 HaWoR 分支已有几何/关键点修正，并非裸模型。替换为 S9 初始化的整段 MANO 拟合，联合优化位置、朝向、指姿和形状。统一误差来源，能做明确的单因素消融。
稳定性融合选择、旧分支和各自时序处理共同影响结果。整段时序项 + 序列共享形状；R2 在观测身份边界断开时序连接。减少不连续变化与跨身份牵引；仍可能跟踪切错或优化选错。
位置与尺度早期 RGB demo 使用假设 K、MANO 尺度与单目场景路线。Stereo 使用匹配 K / 深度；R1 起联合估计腕部 Z；RGB 仍标明假设和预测。解决部分投影与深度不一致，不能把 RGB 结果称为标定米制 GT。
观测与存在性继承旧分支的检测、质量和有界短缺口策略。逐帧 SAM3 + 四旋转检测/关键点 + 身份跟踪；遮挡须有当前帧证据。部分搬运手不再突然消失；完全缺证据时仍保留无效。
掩膜与初始化早期几何和裁剪策略被沿用。R2 清理 SAM 孤立点、加入场景遮挡判断与掌面初始化保护。修复特定裁剪突变和翻面；保护规则存在误拒绝和选错分支。
显示与数据旧版有独立 display adapter 和质量回退逻辑。拟合出的同一组 MANO 参数生成相机/世界输出与渲染；不追加输出 mesh 滤波。减少标签和显示分离；相机有效、世界无效可分别处理。
播放旧 V9 与当前结果的同源对比（170110，4–8 秒）

上：20260903 目录的旧 V9 融合成片；下：R2 + 已接受的 RIGHT_IDFIX。相同源视频 SHA256、相同源时刻、30 fps；仅统一画面尺寸和上下排列。这个片段同时包含右手专项修复与未修好的左手时段，不能当作全量质量结论或单因素消融。

S9L10 的 1e-6 指模型训练阶段的学习率，不是此次拟合器的学习率。模型 checkpoint 没换；这轮没有继续训练基模。

版本边界：哪些还不是通用 R2 能力？

RGB 八条中的去重、侧别纠正与弱短轨迹门控属于该批次配置。EXP-CURL01 仅是实验；170110 的 RIGHT_IDFIX 只替换了这一条视频，没有推广到 0907 / 0910。旧 V9 以历史合同及 20260903 融合回执核实，不把工作树里后来新增的能力算成最早旧版。

没有完成旧 V9 → 当前 R2 的同输入、同有效帧全量 GT 评测，因此不写“整体精度提高多少”或“抖动全部消除”。

旧融合实际回执 ↗ 单模型替换 ↗ P3R1 后处理 ↗ 单片修复范围 ↗

03 / V9P3R2

两条输入路线，一套手部拟合

纯 RGB 依赖预测深度与相机轨迹；Stereo 使用本次录制匹配的标定与深度。

项目纯 RGB：八条 demoStereo：0907 / 0910
参考图像 / 内参SBS 左眼 1920×1080；fx=fy=960、cx=960、cy=540，历史假设。校正左目与对应 K；标定和 frame-map 须匹配本次输入。
深度DA3METRIC-LARGE；同份深度供 ViPE 和点云，未作手部深度因子。0907 复用已发布深度；0910 FFS：max_disp=416、8 iterations、0.1–4 m。
相机轨迹ViPE + 共享 DA3 深度 + 固定 K + RGB 人体排除，无 IMU。0907 复用已有 EGO 轨迹；0910 原始双目 + IMU → SpectacularAI。
尺度 / 世界系MANO 尺寸先验 + 假设焦距；每序列单一标量对齐场景与相机平移。深度由标定基线定尺度；0910 的 SLAM 世界系未配准到 XR 物体世界系。
实际发布八条完整双栏 demo；单目场景和接触存在误差。0907 / 0910 本轮全量为 overlay + 参数 / 世界系输出，不能混称已交付双栏。

0910 深度保留历史分支：02–05 沿用双向一致性检查，后续序列使用官方单次 forward。单次策略的 0/255 confidence 是几何有效标志，不是置信概率。

RGB 配置 ↗ FFS 策略 ↗ 0910 SLAM ↗ ViPE 深度开关 ↗

04 / V9P3R2

后处理到底做了什么？

优化器是一个“反复调整 MANO 参数，使其符合观测”的程序。当前实现使用 Adam。

观测RGB 关键点、mask
合格深度、相邻帧
→
拟合器调整手的位置、掌面朝向
手指角度、手形
→
输出一组一致的 MANO 参数
关节、mesh、轨迹

“更稳定”来自求解中的时序约束和错误观测修复。 当前 R2 没有在最终 mesh 上再叠一层平滑滤波；这些结果也不是基模直接输出。

名词： MANO 是用少量姿态、形状参数生成三维手的模型；mesh 是手的三角网格；mask 是图像中的手部区域；PnP 是用 3D 点与 2D 对应点估计位置和朝向。

后处理做什么有什么用仍有什么风险
观测清理与跟踪识别当前帧哪里有手、是哪一侧、是否同一只手；清除孤立点和重复候选。减少错误裁剪、旁人手混入和左右手争抢。YOLO / MMPose 高分也会认错，模糊和遮挡仍会漏检。
掌面 PnP 初始化用腕部、指根等二维点，尝试更合理的整只手朝向。避免在错误朝向附近，把手指硬弯成能贴合图像的样子。R2 ≥4 个掌点 + ≥2 个非掌点、分数 ≥0.6；可能挡住必要纠正。
2D 与轮廓约束让 MANO 投影接近可靠关键点和可见手部区域。改善位置、朝向和外轮廓。错误指链会带偏拟合；遮挡手指不能强迫挤进可见 mask。
合格深度与遮挡约束Stereo 只使用当前帧质量合格的掌部深度，并判断哪些部分被物体挡住。约束前后位置，减轻错误深度和遮挡导致的形变。深度也有误差；RGB 八条没有启用 Stereo 关节深度因子。
时序正则拟合时惩罚不合理的帧间加速度，分别约束整手、掌部局部指姿、根部和 Z。抑制高频抖动；整段求解没有独立优化小窗口的拼接边界。R2 不跨有效性和身份边界；过强约束也可能拖住真实快动作。S9 推理仍使用 T8 窗口。
共享形状 + S9 先验同一侧手在序列内共享形状；姿态不要过度偏离模型预测。减少手大小、骨段随帧波动，限制无约束形变。原模型也会错；0.7 rad 增量范围不是生理活动范围或自碰撞约束。
有效性门控当前证据不足则不输出完整手；世界位姿缺失只影响世界输出。减少幻觉手；避免世界跟踪掉了连左栏手也消失。会保留空缺，不能把“少显示错误手”说成“漏检全部解决”。
实际参数与运行差异

0907：119 条均 360 步，其中 89 条姿态时序权重 0.8，30 条为 2.0；0910：16 条均 720 步、权重 0.8；RGB 八条：360 步、权重 2.0。均联合估计腕部深度。0910 采用姿态感知的深度初始化与 720 步配套。

RGB 批次：姿态学习率 0.012、根部 0.002、姿态先验权重 0.08、深度时序权重 200、根部时序权重 0.015；共享形状优化学习率 0.004。不同损失的数值尺度不同，不能只按权重大小判断谁起主导作用。

Adam 与损失 ↗ 实际配置继承 ↗ RGB 深度因子关闭 ↗ 深度初始化对照 ↗

05 / V9P3R2

改善了部分跳变和漏显，但有代价

以下数值全部是 P3R1 → P3R2，不是旧 V9 融合版 → R2。

掌面突翻

0907 clip18，f19→20：108.92° → 9.29°。同 R2 输入关闭掌面保护又到 152.22°。

裁剪突变

0910_11，f630：关节旋转步长 126.64° → 9.51°；f631 的双手漏显恢复。

搬桶漏显

0910_10，f1031–1032：原本双手消失，R2 在相邻 5 帧保持双手输出；隐藏指姿仍未验证。

相同当前帧观测上的配对统计

P95：95% 的可比值不超过此数。重投影与深度偏差针对模型观测，不是 GT；速度、加速度和旋转步长包含真实运动。它们下降不能单独证明“更准”。

多数统计改善

全部数据：手腕加速度 P95 7.61 → 6.60 m/s²；深度偏差 P95 75.02 → 55.91 mm。侧别冲突候选事件 70 → 2。

不能忽略退化

0907 贴合 P95 6.41 → 7.51 px 变差；已有至少 8 处相对 R1 明显新增的可见坏例。

消融做了哪些？候选数该怎么读？

R2 全量完成后做 34 项整段对照：关闭身份边界、归属判断、掌面保护、部分初始化、场景约束，以及改变深度时序项、取消部分邻帧旋转借用。卷曲专项另有 26 组条件：5 条序列 × 5 个主要条件，加 1 个歧义指链剔除控制；其中 23 次新拟合、3 组复用旧控制。两组统计不能直接加成“60 种不同方法”。

4,908 是连续异常候选事件，不是真实坏帧数。2,412 条新增异常记录去重后是 2,372 个帧内手实例；排除网格相交后为 452 个。合法接触也能触发相交，不能用这些数字算准确率。

配对统计与 8 处退化 ↗ 34 项控制 ↗ 26 组卷曲条件 ↗

06 / V9P3R2

具体画面：改善、退化和卷曲原因

点击图像可放大。静态图用于看形状；运动结论结合邻帧与已有完整序列消融。

0910_11 · f630：网格突变减轻

从左到右：原图 / R1 / R2。同一帧，R1 右手明显变大扭转，R2 更贴近手部区域。

对应前后帧 f628–632，R2 保持双手输出；物体后面的手指仍不能由图像独立验证。查看完整五帧

170110 · 5.1–5.4 秒：修正指链身份，不增加平滑

原图 / 原 R2 / 已接受的 identity_R2 修复；f158。图中文字 identity_R2 对应 RIGHT_IDFIX。

MMPose 四指顺序在 f154–158 反转，f159 恢复；错误高分点驱动掌面 PnP 大幅翻转。前后锚帧双向 RGB 光流验证后，纠正 74 个点的身份、恢复 6 个点的位置，再按原 R2 参数重拟合右手。

整体旋转步长 71.37° → 3.77°同片右手专项接受；其余七条不变，左手 6–7 秒问题仍在。

已替换视频的 4–7 秒双栏节选，原速 30 fps。这里展示修复结果，不是旧 V9 对比。

专项修复报告 ↗
07 / V9P3R2

目前的主要问题

三类问题要分开：观测不足、拟合选错，以及场景/相机估计误差。

问题可定位的案例目前判断
遮挡 / 边缘漏检080134 搬箱；165923 f434；160047 f659 / f711。手部分露出、关键点不足、身份弱；尚未解决，不能靠跨缺口补手掩盖。
侧别 / 身份不稳0910_11 f998–1002 在轨迹 22/19 间切换。R2 强侧别规则有效但不万能；仅取消邻帧旋转借用无效。
掌面翻转 / 手指卷曲RGB 160047 8 秒；170110 左手 6–7 秒；0907 / 0910 多例。2D 对应、初始化和拟合补偿共同作用；基模也有错误。
初始化保护的退化0910_17 f3214、0910_10 f2319、0910_05 f46。硬置信阈值会误拒绝或改变候选选择；不能全局简单开关。
深度 / 近景形状 / 接触近景模糊、握物、遮挡指尖；165923 场景尺度对齐被拒绝。手部深度与形状有歧义，低二维误差不能保证正确 3D。
场景与世界系RGB 移动物体残影、点云孔洞；0910 未对齐 XR 物体世界系。不是手指卷曲的起点，但限制了物理接触与联合仿真用途。

八条 RGB 成片逐条状态

视频标识帧 / 时长截至本次汇报的状态
20000101T080048.619358+0800
source_00000		720
24.000 s		重复手已处理；近景轮廓、截断膨胀和 f175 模糊漏检仍在。
20000101T080134.889593+0800
source_00000		900
30.000 s		弱短片段深度跳变已抑制；搬箱漏检及隐藏指姿仍明显。
20000101T080134.889593+0800
source_00001		5
0.167 s		5 帧尾段，无可靠手输出；不能作为手部重建成功例。
20260818T165923.310573+0800
source_00000		900
30.000 s		线缆/底边漏检、快速动作形状错误；场景尺度对齐未通过。
20260818T165923.310573+0800
source_00001		80
2.667 s		80 帧尾段，无可靠手输出；短序列尺度约束不足。
20260818T170110.207199+0800
source_00000		873
29.100 s		右手 5.1–5.4 秒指链反转已专项修复；左手 6–7 秒、搬箱漏检仍在。
20260824T160047.570868+0800
source_00000		900
30.000 s		侧别竞争/重复手已处理；8 秒左手卷曲未修好，仍有搬箱漏检。
20260824T160047.570868+0800
source_00001		30
1.000 s		30 帧尾段，底角极小手片段证据不足，仍无可靠完整手。

打开已有 HF 八视频目录 ↗

可作为当前成果汇报

完整重建与双栏展示已跑通；部分跳变、漏显、身份错误有明确同片对照；局部失败有消融证据。

还不能声称

抖动/卷曲全部修好；全部检测正确；隐藏关节和接触准确；RGB 尺度为 GT；已满足统一训练 GT 标准。

下一步优先级（尚未完成）

  1. 先修观测对应：推广整条指链身份一致性检查，验证是否会误改正常交叉手指。
  2. 再修掌面选择：结合腕部、拇指、时间上下文和可信深度选候选，替代单一硬置信门槛。
  3. 最后约束不合理形变：实验验证关节活动与自碰撞约束，同时检查快动作是否被压平。

0907 / 0910 坏例 ↗ 八条原交付 ↗ 卷曲实验 ↗ 170110 更新 ↗

08 / V9P3R2

证据、版本与讲述口径

正文以已执行的配置和交付记录为准。历史报告里的“未上传 / 尚未运行”等状态只代表当时。

建议组会讲法

“我们取消了旧 V9 的双模型三维融合，改为 S9 初值加整段几何拟合。R2 修复了部分身份、遮挡和初始化问题，减少了一些跳变；但错误观测和姿态歧义仍会导致卷曲与退化。”

最容易混淆的三点

① R1→R2 指标不等于旧 V9→R2。
② 时序正则在拟合时约束相邻帧，不是输出后的平滑滤镜。
③ RIGHT_IDFIX 是单片接受，EXP-CURL01 没有成为通用 R2。

模型、代码与检查范围

模型：FoundationHand-S9L10（1e-6），checkpoint SHA256：29018790a9c72454dd41b088d910ecd7488f4eaa85b9675e67d16f6ef139bf24。S9：T8 / stride4 / center stitching；输入 letterbox 512×896。

仓库 HEAD：a98666665036d9471b38a5bf3ac8d52570eee09b。工作树含未提交修改，HEAD 不是完整运行版本；原运行源码快照和回执仍保留在任务目录。本网页保存了所引用文档和当前相关实现的 SHA256，见 sources.json。

本次仅整理文档、核对运行配置和已有画面，未重跑模型、未修改生产管线。页面内截图来自既有消融/验收；视频为已交付成片的原速节选。

135/135 参数重解码、相机/世界/时间合同检查通过，是输出一致性检查，不是 135/135 视觉无错误。尚无这些实拍视频的逐帧 3D GT 和全量语义坏帧标注。

全部证据快照（可离线查看，有行号）

更新：2026-09-17 · 独立汇报页面 · 图片、流程图、节选视频均可离线打开；只有 HF 外链需要网络。

放大诊断图