論文の概要: InfiniHand: Streaming World-Space Hand Motion Estimation from Egocentric Video

• arxiv url: http://arxiv.org/abs/2609.35743v1
• Date: Mon, 28 Sep 2026 17:54:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 19:16:41.139241
• Title: InfiniHand: Streaming World-Space Hand Motion Estimation from Egocentric Video
• Title（参考訳）: InfiniHand:エゴセントリックビデオによる世界空間のハンドモーション推定
• Abstract要約: 自我中心手の動き推定のためのエンドツーエンドストリーミングフィードフォワードフレームワークを提案する。 InfiniHandは、永続メモリと手中心の視覚的特徴を統合し、カメラモーションとローカルハンドジオメトリを明示的に結合する。 InfiniHandは、Wildビデオにしっかりと一般化し、11.19 FPSで動作し、HaWoRの2倍以上のスループットを提供する。
• 参考スコア（独自算出の注目度）: 56.69937268636807
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: World-space hand motion estimation from egocentric video requires recovering 3D articulated hand geometry while tracking camera egomotion. Existing approaches heavily rely on cascading independent hand pose estimators and SLAM systems, resulting in error accumulation, complex pipelines, and severe computational overhead. To address these limitations, we present InfiniHand, an end-to-end streaming feed-forward framework that jointly estimates MANO parameters, camera trajectories, and hand locations directly from uncalibrated egocentric video. InfiniHand integrates persistent spatiotemporal memory with hand-centered visual features, explicitly coupling camera motion with local hand geometry within a unified architecture. We train InfiniHand in two progressive stages by first learning robust camera-space hand priors and then extending to streaming world-space reconstruction. To support this process, we aggregate a pretraining corpus of approximately 5,000 hours of egocentric data across multiple public datasets. Extensive evaluations demonstrate that InfiniHand outperforms state-of-the-art baselines on in-domain benchmarks, achieving a 21.4% reduction in ARCTIC PA-p compared to ViDiHand while substantially mitigating world-space drift. Furthermore, InfiniHand generalizes robustly to in-the-wild videos and operates at 11.19 FPS, delivering more than twice the throughput of HaWoR.
• Abstract（参考訳）: エゴセントリックビデオからの世界空間の手の動き推定には、カメラの動きを追跡しながら3次元手の動きを復元する必要がある。 既存のアプローチは、カスケードされた独立したハンドポーズ推定器とSLAMシステムに大きく依存しており、結果としてエラーの蓄積、複雑なパイプライン、計算オーバーヘッドが深刻になる。 InfiniHandは,MANOパラメータ,カメラトラジェクトリ,手動位置を直接非平衡ビデオから推定する,エンドツーエンドのストリーミングフィードフォワードフレームワークである。 InfiniHandは、永続時空間メモリと手中心の視覚的特徴を統合し、カメラモーションと局所的な手形状を統一アーキテクチャ内で明示的に結合する。 InfiniHandを2段階のプログレッシブステージでトレーニングし、まず、堅牢なカメラ空間の手先を学習し、次にストリーミングの世界空間再構築に拡張する。 このプロセスをサポートするために、複数の公開データセットに約5,000時間のエゴセントリックなデータを事前学習したコーパスを集約する。 広範囲な評価の結果、InfiniHandはドメイン内のベンチマークで最先端のベースラインを上回り、世界空間のドリフトを大幅に軽減しつつ、ARCTIC PA-pを ViDiHand と比較すると21.4%削減した。 さらに、InfiniHandは、Wildのビデオにしっかりと一般化し、11.19 FPSで動作し、HaWoRの2倍以上のスループットを提供する。

関連論文リスト

• MINT: A Unified Model for World-Space Camera and Hand Motion Estimation from Scalable Egocentric Pipeline Supervision [12.312144883974566]
  我々は、エゴ中心のRGBビデオから世界空間のハンドモーション再構成のための基礎モデルであるMINTを紹介する。 Mintは、カメラの軌跡、視野ビュー、カメラフレームのハンドステート、フレーム単位のハンドオブザーバビリティを共同で予測する。 これは明示的な座標アノテーションによって世界空間の手の動きを生成する。
  論文  参考訳（メタデータ） (2026-09-04T10:05:11Z)
• DreamHand: Repurposing Video Diffusion Models for Occlusion-Robust Egocentric 3D Hand Motion Recovery [51.92897182932217]
  Egocentric Videoは、組み込みAIのためのスケーラブルな操作データを提供する。 しかし、重度物体の閉塞と頻繁な視界外ギャップのため、3次元手指軌跡の復元は困難である。 オフラインのクリップレベルフレームワークであるDreamHandを導入し、決定論的クリーンレイテンシを使って機能を抽出し、双方向時空間デコーダでデコードする。
  論文  参考訳（メタデータ） (2026-08-20T17:46:24Z)
• HandsOnWorld: Unconstrained Egocentric Video Generation with Camera-Disentangled Hand Control [51.913695868638634]
  We present HandsOnWorld, a framework for hand-control egocentric video generation that for multi-view and marker-based motion capture, learning from unconstrained monocular video。 EgoVid-Proは、クリーンでプロタゴニストのみのハンドトラジェクトリのデータセットで、103Kのクリップと、さまざまな日常シーンの約1200万フレームにまたがる。 また, カメラから手表面への3次元光線表現, カメラと手の動きを表現レベルで切り離す3次元ハンドマップを提案する。
  論文  参考訳（メタデータ） (2026-07-02T12:14:02Z)
• Controllable Egocentric Video Generation via Occlusion-Aware Sparse 3D Hand Joints [87.13154261503168]
  モーションコントロール可能なビデオ生成は、仮想現実と組み込みAIにおけるエゴセントリックなアプリケーションに不可欠である。 既存の手法は、しばしば3D一貫性のきめ細かい手話を実現するのに苦労する。 単一の参照フレームからエゴセントリックなビデオを生成する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-12T10:02:23Z)
• Hand2World: Autoregressive Egocentric Interaction Generation via Free-Space Hand Gestures [33.2764643227486]
  エゴセントリックなインタラクティブな世界モデルは、拡張現実と具体的AIにとって不可欠であり、視覚生成は低レイテンシ、幾何的一貫性、長期的な安定性でユーザの入力に応答する必要がある。 自由空間ハンドジェスチャ下での単一シーン画像からのエゴセントリックなインタラクション生成について検討し、シーンに手を入れたり、オブジェクトと対話したり、ヘッドモーション下でプラプティブルな世界ダイナミクスを誘導するフォトリアリスティックな映像を合成することを目的とした。 この設定には、自由空間のジェスチャーと接触重大なトレーニングデータとの分配シフト、モノクロビューにおける手の動きとカメラの動きのあいまいさ、任意の長さのビデオ生成の必要性など、基本的な課題が導入されている。
  論文  参考訳（メタデータ） (2026-02-10T09:51:07Z)
• HaWoR: World-Space Hand Motion Reconstruction from Egocentric Videos [26.766489527823662]
  HaWoRは、エゴセントリックなビデオから世界座標のハンドモーション再構成のための高忠実度手法である。 正確なカメラ軌道推定を実現するために,適応型エゴセントリックSLAMフレームワークを提案する。 本研究では,HawoRが手動再建と世界フレームカメラの軌跡推定の両面において,最先端の性能を実現することを実証する。
  論文  参考訳（メタデータ） (2025-01-06T12:29:33Z)
• Dyn-HaMR: Recovering 4D Interacting Hand Motion from a Dynamic Camera [49.82535393220003]
  Dyn-HaMRは、野生のダイナミックカメラで撮影されたモノクロビデオから4Dグローバルハンドモーションを再構築する最初のアプローチである。 提案手法は,4次元メッシュ・リカバリにおいて最先端の手法を著しく上回ることを示す。 これにより、動くカメラでモノクロビデオから手の動きを復元するための新しいベンチマークが確立される。
  論文  参考訳（メタデータ） (2024-12-17T12:43:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。