論文の概要: DewHand: Direct Metric World-Space Hand Motion Reconstruction from Egocentric Videos
- arxiv url: http://arxiv.org/abs/2610.29936v1
- Date: Wed, 21 Oct 2026 16:08:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.400955
- Title: DewHand: Direct Metric World-Space Hand Motion Reconstruction from Egocentric Videos
- Title（参考訳）: DewHand:エゴセントリックビデオによる世界空間の直接手の動きの再現
- Abstract要約: DewHandは、世界空間の手とカメラの動きを直接的に再現するための統一モデルである。
HOT3Dでは32.9mmから28.4mmに、ARCTICでは76.2mmから36.2mmに減少する。
また、HOT3Dクリップの3分の2でカメラのスケールが10%以内に回復し、SLAMの約4分の1が回復する。
- 参考スコア（独自算出の注目度）: 38.06316736126488
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recovering metric world-space hand motion from egocentric video supports understanding human interactions and transferring them to embodied agents. Three challenges complicate this task: multi-stage pipelines propagate errors from independently estimated hand and camera motion; monocular observations leave physical scale ambiguous; and occlusion and out-of-view hands admit multiple plausible motion trajectories. We present DewHand, a unified model for direct joint reconstruction of world-space hand and camera motion. To avoid compounding errors from multi-stage estimation, DewHand jointly predicts hand and camera motion in a shared world coordinate system within a single-stage pipeline. To resolve metric-scale ambiguity, it combines scene-level geometric features from VGGT-$Ω$ with metric-space supervision, while hand-specific features preserve fine-grained articulation. To handle occlusion and out-of-view hands, we formulate reconstruction as conditional motion generation with flow matching. Under the same architecture, this generative formulation outperforms direct regression in both accuracy and temporal smoothness with only two sampling steps. Experiments on HOT3D and ARCTIC demonstrate improved world-space accuracy and temporal consistency over state-of-the-art methods. DewHand reduces rigid-aligned world-space error relative to StableHand from 32.9 to 28.4 mm on HOT3D and from 76.2 to 36.2 mm on ARCTIC. It also recovers camera scale within 10% on two thirds of HOT3D clips, versus about a quarter for SLAM. Moreover, in zero-shot evaluations on HoloAssist, H2O, and TACO, captured with different devices, DewHand achieves the lowest rigid-aligned world-space error (WA-MPJPE) on each dataset.
- Abstract（参考訳）: 自我中心のビデオからメートル法の世界空間のハンドモーションを復元することは、人間のインタラクションを理解し、それをエンボディされたエージェントに転送するのをサポートする。
マルチステージパイプラインは、独立に推定された手とカメラの動きからのエラーを伝播し、モノクロ観察は物理的スケールを曖昧にし、オクルージョンとアウト・オブ・ビュー・ハンドは複数のプラウチブル・モーション・トラジェクトリーを許容する。
我々は,世界空間の手とカメラの動きを直接再構成するための統一モデルであるDewHandを提案する。
多段推定による複雑な誤差を避けるため、DewHandは単一段パイプライン内の共有世界座標系において、手動とカメラの動きを共同で予測する。
計量スケールの曖昧さを解決するために、VGGT-$Ω$のシーンレベルの幾何学的特徴とメートル法空間の監督を組み合わせる。
本研究は,オクルージョンとアウト・オブ・ビューハンドを扱うために,フローマッチングによる条件付き動作生成として再構成を定式化する。
同じアーキテクチャの下では、この生成的定式化は2つのサンプリングステップだけで、精度と時間的滑らかさの両方において直接回帰よりも優れる。
HOT3DとARCTICの実験では、最先端手法による空間精度と時間的一貫性が改善された。
DewHandは、StableHandと比較して、HOT3Dでは32.9mmから28.4mmに、ARCTICでは76.2mmから36.2mmに剛性のある世界空間誤差を減少させる。
また、HOT3Dクリップの3分の2でカメラのスケールが10%以内に回復し、SLAMの約4分の1が回復する。
さらに、異なるデバイスでキャプチャされたHoloAssist、H2O、TACOのゼロショット評価では、DewHandは各データセット上で最低の厳密な世界空間エラー(WA-MPJPE)を達成する。
関連論文リスト
- V-JEPA Hand: Simple, Accurate and Fast 3D Hand and Camera Trajectory Recovery from Egocentric Videos [27.650240221560907]
V-JEPAハンド(V-JEPA Hand)は、エゴセントリッククリップから両手の動きとカメラの動きを再構成するフィードフォワードビデオモデルである。
1本のA6000ビデオで93.4 FPSの前方通過スループットを実現する。
論文 参考訳（メタデータ） (2026-10-19T17:34:49Z) - EgoFound3R: End-to-End Egocentric Hand Reconstruction in World Space with Point-Wise Interaction Attributes [18.6677210357203]
EgoFound3Rは、世界空間の手の幾何学を、シーンと共有するメートル法スケールで推定する統一的なエンドツーエンドモデルである。
平均結合位置誤差(MPJPE)を43.2%、22.4%、11.6%削減する。
また、同じパスのジオメトリと並行して点の接触と距離を予測し、スループットはおよそ6倍に向上する。
論文 参考訳（メタデータ） (2026-10-01T07:17:28Z) - InfiniHand: Streaming World-Space Hand Motion Estimation from Egocentric Video [56.69937268636807]
自我中心手の動き推定のためのエンドツーエンドストリーミングフィードフォワードフレームワークを提案する。
InfiniHandは、永続メモリと手中心の視覚的特徴を統合し、カメラモーションとローカルハンドジオメトリを明示的に結合する。
InfiniHandは、Wildビデオにしっかりと一般化し、11.19 FPSで動作し、HaWoRの2倍以上のスループットを提供する。
論文 参考訳（メタデータ） (2026-09-28T17:54:32Z) - DreamHand: Repurposing Video Diffusion Models for Occlusion-Robust Egocentric 3D Hand Motion Recovery [51.92897182932217]
Egocentric Videoは、組み込みAIのためのスケーラブルな操作データを提供する。
しかし、重度物体の閉塞と頻繁な視界外ギャップのため、3次元手指軌跡の復元は困難である。
オフラインのクリップレベルフレームワークであるDreamHandを導入し、決定論的クリーンレイテンシを使って機能を抽出し、双方向時空間デコーダでデコードする。
論文 参考訳（メタデータ） (2026-08-20T17:46:24Z) - HandsOnWorld: Unconstrained Egocentric Video Generation with Camera-Disentangled Hand Control [51.913695868638634]
We present HandsOnWorld, a framework for hand-control egocentric video generation that for multi-view and marker-based motion capture, learning from unconstrained monocular video。
EgoVid-Proは、クリーンでプロタゴニストのみのハンドトラジェクトリのデータセットで、103Kのクリップと、さまざまな日常シーンの約1200万フレームにまたがる。
また, カメラから手表面への3次元光線表現, カメラと手の動きを表現レベルで切り離す3次元ハンドマップを提案する。
論文 参考訳（メタデータ） (2026-07-02T12:14:02Z) - StableHand: Quality-Aware Flow Matching for World-Space Dual-Hand Motion Estimation from Egocentric Video [16.34074981480264]
本研究では,エゴセントリックビデオから相互作用する2つの手の世界空間4次元運動を復元するためのフローマッチングフレームワークを提案する。
以上の結果から,StableHandは,最強のベースラインと比較して,W-MPJPEを20～25%削減できることを示す。
論文 参考訳（メタデータ） (2026-05-18T15:33:15Z) - Controllable Egocentric Video Generation via Occlusion-Aware Sparse 3D Hand Joints [87.13154261503168]
モーションコントロール可能なビデオ生成は、仮想現実と組み込みAIにおけるエゴセントリックなアプリケーションに不可欠である。
既存の手法は、しばしば3D一貫性のきめ細かい手話を実現するのに苦労する。
単一の参照フレームからエゴセントリックなビデオを生成する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-12T10:02:23Z) - W-HMR: Monocular Human Mesh Recovery in World Space with Weak-Supervised Calibration [57.37135310143126]
モノクロ画像からの3次元運動回復のための従来の手法は、カメラ座標に依存するため、しばしば不足する。
W-HMRは、身体の歪み情報に基づいて「適切な」焦点長を予測する弱教師付き校正法である。
また,世界空間における可視的再構築のために,身体の向きを補正する OrientCorrect モジュールを提案する。
論文 参考訳（メタデータ） (2023-11-29T09:02:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。