論文の概要: MINT: A Unified Model for World-Space Camera and Hand Motion Estimation from Scalable Egocentric Pipeline Supervision

• arxiv url: http://arxiv.org/abs/2609.04958v2
• Date: Tue, 08 Sep 2026 08:22:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-09 14:43:42.043467
• Title: MINT: A Unified Model for World-Space Camera and Hand Motion Estimation from Scalable Egocentric Pipeline Supervision
• Title（参考訳）: MINT:スケーラブル・エゴセントリックパイプライン・スーパービジョンによる世界空間カメラと手の動き推定のための統一モデル
• Abstract要約: 我々は、エゴ中心のRGBビデオから世界空間のハンドモーション再構成のための基礎モデルであるMINTを紹介する。 Mintは、カメラの軌跡、視野ビュー、カメラフレームのハンドステート、フレーム単位のハンドオブザーバビリティを共同で予測する。 これは明示的な座標アノテーションによって世界空間の手の動きを生成する。
• 参考スコア（独自算出の注目度）: 12.312144883974566
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recovering camera and hand motion in world coordinates from egocentric video is a key capability for activity understanding, robot learning, and augmented reality. Existing systems typically decompose this problem into separate stages for camera motion, depth estimation, hand reconstruction, and trajectory refinement, resulting in substantial computational overhead and preventing the joint modeling of camera and hand motion. We introduce MINT (Minting IN-the-Wild Trajectories), a foundation model for world-space hand motion reconstruction from ego-centric RGB video. From a single shared spatiotemporal video representation, MINT jointly predicts the camera trajectory, field of view (FoV), camera-frame hand states, and per-frame hand observability, and then produces world-space hand motion via explicit coordinate transformations. Training such a model at scale is challenging, since paired world-space camera and hand annotations are scarce. We therefore develop an open-source labeling EGOPIPELINE that converts large collections of public egocentric videos into structured camera-and-hand trajectory supervision. MINT is first pretrained on these large-scale pseudo-labels and then fine-tuned on a small set of high-quality camera-and-hand annotations. Across public benchmarks MINT approaches state-of-the-art accuracy without seeing either benchmark in training, reaching 0.945 frame accuracy, 13.646 mm PA-MPJPE-p and 55.058 px EPE-p for camera-frame bimanual reconstruction on HOT3D, 4.690 mm RPE-T and 0.284 degrees RPE-R for camera trajectory, and a 3.67x end-to-end speedup over the labeling pipeline that supervises it. We release the model, training and inference code, labeling pipeline, and a curated 1,021-hour egocentric trajectory dataset.
• Abstract（参考訳）: エゴセントリックなビデオから世界座標でカメラと手の動きを復元することは、アクティビティ理解、ロボット学習、拡張現実にとって重要な機能である。 既存のシステムは通常、この問題をカメラモーション、深さ推定、手再構成、軌道修正の別々の段階に分解し、計算オーバーヘッドが大きくなり、カメラと手の動きの合同モデリングが妨げられる。 我々は、エゴ中心のRGBビデオから世界空間の手動再構成のための基礎モデルであるMINT(Minting IN-the-Wild Trajectories)を紹介する。 1つの共有時空間ビデオ表現から、MINTはカメラ軌跡、視野(FoV)、カメラフレームのハンドステート、フレームごとのハンドオブザーバビリティを共同で予測し、明示的な座標変換によって世界空間のハンドモーションを生成する。 ペアのワールドスペースカメラと手書きアノテーションが不足しているため、そのようなモデルを大規模にトレーニングすることは難しい。 そこで我々は,多数の公開自我中心ビデオのコレクションを構造化カメラと手動軌跡監視に変換するオープンソースのラベル付きEGOPIPELINEを開発した。 MINTはこれらの大規模な擬似ラベルで事前訓練され、その後、高品質のカメラ・アンド・ハンドアノテーションの小さなセットで微調整される。 MINTはトレーニングのベンチマークを見ることなく最先端の精度にアプローチし、13.646 mm PA-MPJPE-p と55.058 px EPE-p で HOT3D 上のカメラフレームのバイマンシャル再構成、カメラ軌道の4.690 mm RPE-T と 0.284° RPE-R 、ラベリングパイプラインを監督する3.67倍のエンドツーエンドのスピードアップを達成した。 モデル、トレーニング、推論コード、ラベル付けパイプライン、修正された1,021時間のエゴセントリックな軌道データセットをリリースします。

関連論文リスト

• ReViV: Reconstructing the Viewer and the View in 4D from Monocular Egocentric Video [51.951128822418774]
  ReViVは、総合的なエゴセントリックな4D再構成のためのフレームワークである。 Masked Generative Egocentric Transformerにより、ReViVは単一のフィードフォワードアーキテクチャ内で動作する。
  論文  参考訳（メタデータ） (2026-07-20T10:22:53Z)
• HandsOnWorld: Unconstrained Egocentric Video Generation with Camera-Disentangled Hand Control [51.913695868638634]
  We present HandsOnWorld, a framework for hand-control egocentric video generation that for multi-view and marker-based motion capture, learning from unconstrained monocular video。 EgoVid-Proは、クリーンでプロタゴニストのみのハンドトラジェクトリのデータセットで、103Kのクリップと、さまざまな日常シーンの約1200万フレームにまたがる。 また, カメラから手表面への3次元光線表現, カメラと手の動きを表現レベルで切り離す3次元ハンドマップを提案する。
  論文  参考訳（メタデータ） (2026-07-02T12:14:02Z)
• Directing the World: Fast Autoregressive Video Generation with Compositional Human-Camera Control [56.828569670698975]
  デレクシング・ザ・ワールド(Directing the World)は、人体動作とカメラ軌道制御を備えた、制御可能な世界モデルビデオ生成のための高速自動回帰フレームワークである。 私たちのキーとなるアイデアは、前もって統合された自己回帰ビデオを保持しながら、制御学習を分離することです。 人間の動作制御のために、t誘導型動的投射機構と洗練されたモーション-CFG戦略を設計する。
  論文  参考訳（メタデータ） (2026-06-26T11:08:09Z)
• Geo-Align: Video Generation Alignment via Metric Geometry Reward [53.65904111864641]
  Geo-Alignは、カメラ制御ビデオ再レンダリング用に特別に設計された最初の強化学習フレームワークである。 事前訓練されたモデルに基づいて、スケールアウェアの知覚報酬機構を用いてモデルを最適化する。 実験により、Geo-Alignは、カメラの正確な制御性と視覚的忠実性の両方において、既存の教師付き学習ベースラインを一貫して上回っていることが示された。
  論文  参考訳（メタデータ） (2026-05-22T17:59:43Z)
• Controllable Egocentric Video Generation via Occlusion-Aware Sparse 3D Hand Joints [87.13154261503168]
  モーションコントロール可能なビデオ生成は、仮想現実と組み込みAIにおけるエゴセントリックなアプリケーションに不可欠である。 既存の手法は、しばしば3D一貫性のきめ細かい手話を実現するのに苦労する。 単一の参照フレームからエゴセントリックなビデオを生成する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-12T10:02:23Z)
• EgoGrasp: World-Space Hand-Object Interaction Estimation from Egocentric Videos [25.047225764745978]
  EgoGraspは,世界空間のハンドオブジェクトインタラクション(W-HOI)を,野生のダイナミックカメラを用いて,エゴセントリックなモノクロビデオから再構築する最初の方法である。 実験では,W-HOI再建における最先端性能を実現する手法を実証した。
  論文  参考訳（メタデータ） (2026-01-03T03:08:48Z)
• Towards High-Consistency Embodied World Model with Multi-View Trajectory Videos [24.111891848073288]
  身体的世界モデルは、視覚的な観察と行動を通じて物理的世界と予測し、相互作用することを目的としている。 MTV-Worldは正確なビジュモータ予測のためのマルチビュートラジェクトリ・ビデオ制御を導入した。 MTV-Worldは、複雑なデュアルアームシナリオにおける正確な制御実行と正確な物理的相互作用モデリングを実現する。
  論文  参考訳（メタデータ） (2025-11-17T02:17:04Z)
• PlayerOne: Egocentric World Simulator [73.88786358213694]
  PlayerOneは、最初のエゴセントリックなリアルワールドシミュレータである。 それは、エゴセントリックなビデオを生成し、エゴセントリックなカメラで捉えたユーザーの実際のシーンの人間の動きと厳密に一致している。
  論文  参考訳（メタデータ） (2025-06-11T17:59:53Z)
• FRAME: Floor-aligned Representation for Avatar Motion from Egocentric Video [52.33896173943054]
  ヘッドマウントのボディフェイスステレオカメラを備えたエゴセントリックなモーションキャプチャーは、VRやARアプリケーションには不可欠だ。 既存の方法は、合成事前学習と、現実の環境で滑らかで正確な予測を生成するのに苦労している。 本稿では、デバイスポーズとカメラフィードを組み合わせて、最先端のボディポーズ予測を行う、シンプルで効果的なアーキテクチャFRAMEを提案する。
  論文  参考訳（メタデータ） (2025-03-29T14:26:06Z)
• HaWoR: World-Space Hand Motion Reconstruction from Egocentric Videos [26.766489527823662]
  HaWoRは、エゴセントリックなビデオから世界座標のハンドモーション再構成のための高忠実度手法である。 正確なカメラ軌道推定を実現するために,適応型エゴセントリックSLAMフレームワークを提案する。 本研究では,HawoRが手動再建と世界フレームカメラの軌跡推定の両面において,最先端の性能を実現することを実証する。
  論文  参考訳（メタデータ） (2025-01-06T12:29:33Z)
• Dyn-HaMR: Recovering 4D Interacting Hand Motion from a Dynamic Camera [49.82535393220003]
  Dyn-HaMRは、野生のダイナミックカメラで撮影されたモノクロビデオから4Dグローバルハンドモーションを再構築する最初のアプローチである。 提案手法は,4次元メッシュ・リカバリにおいて最先端の手法を著しく上回ることを示す。 これにより、動くカメラでモノクロビデオから手の動きを復元するための新しいベンチマークが確立される。
  論文  参考訳（メタデータ） (2024-12-17T12:43:10Z)
• Uncertainty-aware State Space Transformer for Egocentric 3D Hand Trajectory Forecasting [79.34357055254239]
  ハンドトラジェクトリ予測は、AR/VRシステムと対話する際の人間の意図の迅速な理解を可能にするために不可欠である。 既存の方法では、現実の3Dアプリケーションでは不十分な2次元画像空間でこの問題に対処する。 初対人視点で観察されたRGBビデオから3次元空間のハンドトラジェクトリを予測することを目的とした,エゴセントリックな3Dハンドトラジェクトリ予測タスクを構築した。
  論文  参考訳（メタデータ） (2023-07-17T04:55:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。