論文の概要: EgoExo-WM: Unlocking Exo Video for Ego World Models
- arxiv url: http://arxiv.org/abs/2605.15477v1
- Date: Thu, 14 May 2026 23:35:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-18 21:22:26.12841
- Title: EgoExo-WM: Unlocking Exo Video for Ego World Models
- Title（参考訳）: EgoExo-WM:エゴワールドモデルのエゴビデオのロック解除
- Abstract要約: エゴセントリックな世界モデルはエージェントの予測と計画を可能にする有望な方向性を示す。
外心ビデオは豊富で、身体のポーズは良好だが、エージェントのアクション空間と直接的に一致していない。
本稿では,このギャップを埋めるために,アクションの表現として,外心ビデオから構造体ポーズを抽出する手法を提案する。
- 参考スコア（独自算出の注目度）: 59.337519140691775
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Egocentric world models present a promising direction for enabling agents to predict and plan, but their performance is constrained by the limited availability of egocentric training data and its inherent partial observability of humans' physical actions. In contrast, exocentric video is abundant and reveals body poses well, but lacks direct alignment with an agent's action space -- and is not egocentric. We propose a method to bridge this gap by extracting structured body pose from exocentric video as a representation of action and transforming the exocentric video to egocentric video, informed by a human kinematics prior. This process unlocks the integration of in-the-wild exocentric data for egocentric world model training. We show that training whole-body action-conditioned egocentric world models with our converted data significantly improves both prediction quality and downstream planning performance, where we infer the sequence of body poses needed to achieve a visual goal state. Our approach paves the way to enlist arbitrary in-the-wild videos for building powerful egocentric world models, furthering applications in robot planning and augmented-reality guidance.
- Abstract（参考訳）: エゴセントリックな世界モデルはエージェントの予測と計画を可能にする有望な方向を示すが、その性能は、エゴセントリックなトレーニングデータの限られた可用性と、人間の身体行動の固有の部分的観測可能性によって制約される。
対照的に、エキソセントリックなビデオは豊富で、身体のポーズは良好だが、エージェントのアクション空間との直接的な整合性が欠如しており、エゴセントリックではない。
そこで本研究では,このギャップを埋める手法として,エキソセントリックな映像から構造体ポーズを抽出し,エキソセントリックな映像をエゴセントリックな映像に変換する手法を提案する。
このプロセスは、エゴセントリックな世界モデルトレーニングのための、Wildのエクソセントリックなデータの統合を解放する。
本研究では,身体全体の行動条件に基づく自己中心型世界モデルを変換データでトレーニングすることにより,予測品質と下流計画性能が著しく向上し,視覚的目標状態を達成するために必要な身体ポーズの順序を推定できることを示す。
われわれのアプローチは、強力なエゴセントリックな世界モデルを構築するために、任意のインザワイルド動画を登録する方法を開拓し、ロボット計画やARガイダンスの応用をさらに進めるものである。
関連論文リスト
- EgoX: Egocentric Video Generation from a Single Exocentric Video [46.41583107241048]
EgoXは,1つのインプットからエゴセントリックなビデオを生成するための新しいフレームワークである。
提案手法は,不明瞭でリアルなエゴシックなビデオ生成を実現すると同時に,未確認映像のスケーラビリティとロバスト性を実証する。
論文 参考訳（メタデータ） (2025-12-09T05:53:39Z) - Whole-Body Conditioned Egocentric Video Prediction [98.94980209293776]
我々は、人間行動(PEVA)からエゴ中心のビデオを予測するモデルを訓練する。
身体の関節階層によって構成される運動的ポーズの軌跡を条件にすることで,人間の身体行動が1対1の視点から環境をどう形成するかをシミュレートする。
我々の研究は、複雑な現実世界の環境をモデル化し、人間の視点から映像を予測するエージェントの振る舞いを具体化するための最初の試みである。
論文 参考訳（メタデータ） (2025-06-26T17:59:59Z) - PlayerOne: Egocentric World Simulator [73.88786358213694]
PlayerOneは、最初のエゴセントリックなリアルワールドシミュレータである。
それは、エゴセントリックなビデオを生成し、エゴセントリックなカメラで捉えたユーザーの実際のシーンの人間の動きと厳密に一致している。
論文 参考訳（メタデータ） (2025-06-11T17:59:53Z) - EgoExo-Gen: Ego-centric Video Prediction by Watching Exo-centric Videos [49.24266108952835]
エゴ中心の動画、対応するエゴ中心のビデオの最初のフレーム、テキストによる指示が与えられたら、エゴ中心のビデオの未来的なフレームを生成することが目的である。
EgoExo-Genは、クロスビュービデオ予測のための手動オブジェクトのダイナミクスを明示的にモデル化する。
論文 参考訳（メタデータ） (2025-04-16T03:12:39Z) - Unlocking Exocentric Video-Language Data for Egocentric Video Representation Learning [80.37314291927889]
EMBEDは、エゴセントリックなビデオ表現学習のための、エゴセントリックなビデオ言語データを変換するために設計された手法である。
エゴセントリックなビデオは、主にクローズアップなハンドオブジェクトのインタラクションを特徴としているのに対し、エゴセントリックなビデオは、人間の活動に対してより広い視点を提供する。
視覚と言語スタイルの転送の両方を適用することで、私たちのフレームワークは新しいエゴセントリックなデータセットを作成します。
論文 参考訳（メタデータ） (2024-08-07T06:10:45Z) - EgoExo-Fitness: Towards Egocentric and Exocentric Full-Body Action Understanding [27.881857222850083]
EgoExo-Fitnessは新しいフルボディアクション理解データセットである。
シンクロナイズドエゴセントリックカメラと固定型エゴセントリックカメラで撮影されたフィットネス・シーケンス・ビデオが特徴。
EgoExo-Fitnessは、エゴセントリックでエゴセントリックなフルボディの行動理解を研究するための新しいリソースを提供する。
論文 参考訳（メタデータ） (2024-06-13T07:28:45Z) - EgoGen: An Egocentric Synthetic Data Generator [53.32942235801499]
EgoGenは新しい合成データジェネレータで、エゴセントリックな知覚タスクのための正確でリッチな地上訓練データを生成することができる。
EgoGenの中心となるのは、仮想人間の自我中心の視覚入力を直接利用して3D環境を感知する、新しい人間のモーション合成モデルである。
我々は、ヘッドマウントカメラのマッピングとローカライゼーション、エゴセントリックカメラトラッキング、エゴセントリックビューからのヒューマンメッシュリカバリの3つのタスクで、EgoGenの有効性を実証する。
論文 参考訳（メタデータ） (2024-01-16T18:55:22Z) - Ego-Body Pose Estimation via Ego-Head Pose Estimation [22.08240141115053]
エゴセントリックなビデオシーケンスから3次元の人間の動きを推定することは、人間の行動理解において重要な役割を担い、VR/ARに様々な応用がある。
Ego-Head Pose Estimation (EgoEgo) と呼ばれる新しい手法を提案する。
この頭と体のポーズのゆがみは、ペア化されたエゴセントリックなビデオと3D人間の動きでデータセットをトレーニングする必要をなくす。
論文 参考訳（メタデータ） (2022-12-09T02:25:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。