論文の概要: V-JEPA Hand: Simple, Accurate and Fast 3D Hand and Camera Trajectory Recovery from Egocentric Videos
- arxiv url: http://arxiv.org/abs/2610.26780v1
- Date: Mon, 19 Oct 2026 17:34:49 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:17:38.230764
- Title: V-JEPA Hand: Simple, Accurate and Fast 3D Hand and Camera Trajectory Recovery from Egocentric Videos
- Title（参考訳）: V-JEPAハンド:エゴセントリックビデオによる3Dハンドとカメラの軌道復元
- Abstract要約: V-JEPAハンド(V-JEPA Hand)は、エゴセントリッククリップから両手の動きとカメラの動きを再構成するフィードフォワードビデオモデルである。
1本のA6000ビデオで93.4 FPSの前方通過スループットを実現する。
- 参考スコア（独自算出の注目度）: 27.650240221560907
- License:
- Abstract: Egocentric video supports diverse applications, including robot learning, augmented reality, and human activity understanding. Recovering metric 3D hand trajectories from such video requires estimating both hand motion and camera egomotion to express the hands in a consistent reference frame. Many existing pipelines recover hand and camera motion in separate stages, combining hand detection, hand reconstruction, camera tracking, and trajectory refinement. We present V-JEPA Hand, a simple feed-forward video model that jointly reconstructs bilateral hand motion and camera motion from egocentric clips. It uses a self-supervised V-JEPA 2.1 encoder to extract spatio-temporal features from full-frame video and a query-based predictor to decode these features into per-frame hand poses, hand presence, and camera motion. We use the predicted camera motion to express the hand trajectories in a common world frame. The model accepts known focal lengths or predicts them when unavailable. It reconstructs each clip in a single forward pass. We train both components end to end in a single stage on a mixture of diverse pseudo-labelled videos and high-precision 3D annotations. A single model achieves the lowest coverage-aware mean per-joint position error (MPJPE) among comparable baselines on ARCTIC, HOT3D, and EgoStandard. It also yields lower world-frame trajectory errors than the compared SLAM-based pipelines. Ablations support the benefits of video pretraining, temporal context, and mixed supervision. V-JEPA Hand achieves a forward-pass throughput of 93.4 FPS on a single RTX A6000. Project page: https://qft-333.github.io/V-JEPA-Hand-Page/.
- Abstract（参考訳）: Egocentric Videoは、ロボット学習、拡張現実、人間の活動理解など、さまざまなアプリケーションをサポートする。
このようなビデオから3Dの手の軌跡を復元するには、手の動きとカメラの動きの両方を推定し、一貫した基準フレームで手を表現する必要がある。
既存のパイプラインの多くは手動とカメラの動きを別々の段階で回収し、手検出、手再構成、カメラ追跡、軌道修正を組み合わせたものである。
両手の動きとカメラの動きを自我中心のクリップから共同で再構成するシンプルなフィードフォワードビデオモデルであるV-JEPA Handを提案する。
V-JEPA 2.1エンコーダを使用してフルフレームビデオから時空間的特徴を抽出し、クエリベースの予測器を使用してこれらの特徴をフレームごとの手ポーズ、手プレゼンス、カメラモーションにデコードする。
我々は、予測カメラモーションを用いて、共通の世界フレームのハンドトラジェクトリを表現する。
モデルは、既知の焦点長を受け入れるか、利用できないときに予測する。
各クリップを1つの前方パスで再構築する。
異なる擬似ラベル付きビデオと高精度な3Dアノテーションを混合して、両コンポーネントを1つのステージでエンドツーエンドにトレーニングする。
1つのモデルは、ARCTIC、HOT3D、EgoStandardに匹敵するベースラインの中で、最小のカバレッジ・アウェア平均結合位置誤差(MPJPE)を達成する。
また、比較したSLAMベースのパイプラインよりも、ワールドフレームの軌道誤差が低い。
アブレーションは、ビデオ事前訓練、時間的文脈、複合監視の利点をサポートする。
V-JEPA Handは1つのRTX A6000上で93.4 FPSのフォワードパススループットを実現する。
プロジェクトページ:https://qft-333.github.io/V-JEPA-Hand-Page/。
関連論文リスト
- InfiniHand: Streaming World-Space Hand Motion Estimation from Egocentric Video [56.69937268636807]
自我中心手の動き推定のためのエンドツーエンドストリーミングフィードフォワードフレームワークを提案する。
InfiniHandは、永続メモリと手中心の視覚的特徴を統合し、カメラモーションとローカルハンドジオメトリを明示的に結合する。
InfiniHandは、Wildビデオにしっかりと一般化し、11.19 FPSで動作し、HaWoRの2倍以上のスループットを提供する。
論文 参考訳（メタデータ） (2026-09-28T17:54:32Z) - MINT: A Unified Model for World-Space Camera and Hand Motion Estimation from Scalable Egocentric Pipeline Supervision [12.312144883974566]
我々は、エゴ中心のRGBビデオから世界空間のハンドモーション再構成のための基礎モデルであるMINTを紹介する。
Mintは、カメラの軌跡、視野ビュー、カメラフレームのハンドステート、フレーム単位のハンドオブザーバビリティを共同で予測する。
これは明示的な座標アノテーションによって世界空間の手の動きを生成する。
論文 参考訳（メタデータ） (2026-09-04T10:05:11Z) - DreamHand: Repurposing Video Diffusion Models for Occlusion-Robust Egocentric 3D Hand Motion Recovery [51.92897182932217]
Egocentric Videoは、組み込みAIのためのスケーラブルな操作データを提供する。
しかし、重度物体の閉塞と頻繁な視界外ギャップのため、3次元手指軌跡の復元は困難である。
オフラインのクリップレベルフレームワークであるDreamHandを導入し、決定論的クリーンレイテンシを使って機能を抽出し、双方向時空間デコーダでデコードする。
論文 参考訳（メタデータ） (2026-08-20T17:46:24Z) - HandsOnWorld: Unconstrained Egocentric Video Generation with Camera-Disentangled Hand Control [51.913695868638634]
We present HandsOnWorld, a framework for hand-control egocentric video generation that for multi-view and marker-based motion capture, learning from unconstrained monocular video。
EgoVid-Proは、クリーンでプロタゴニストのみのハンドトラジェクトリのデータセットで、103Kのクリップと、さまざまな日常シーンの約1200万フレームにまたがる。
また, カメラから手表面への3次元光線表現, カメラと手の動きを表現レベルで切り離す3次元ハンドマップを提案する。
論文 参考訳（メタデータ） (2026-07-02T12:14:02Z) - The Surprising Effectiveness of Video Diffusion Models for Hand Motion Reconstruction [36.627109956900256]
ViDiHandは、エゴセントリックなビデオから4Dの手の動きを再現するためのパイプラインだ。
予め訓練されたビデオ拡散モデルに基づいており、世界史を保存しながら手の特徴を専門とする。
ARCTIC、HOT3D、HOI4Dでは、ViDiHandは従来の方法よりも大幅に優れている。
論文 参考訳（メタデータ） (2026-06-29T13:53:00Z) - Dyn-HaMR: Recovering 4D Interacting Hand Motion from a Dynamic Camera [49.82535393220003]
Dyn-HaMRは、野生のダイナミックカメラで撮影されたモノクロビデオから4Dグローバルハンドモーションを再構築する最初のアプローチである。
提案手法は,4次元メッシュ・リカバリにおいて最先端の手法を著しく上回ることを示す。
これにより、動くカメラでモノクロビデオから手の動きを復元するための新しいベンチマークが確立される。
論文 参考訳（メタデータ） (2024-12-17T12:43:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。