論文の概要: EgoWorld: Translating Exocentric View to Egocentric View using Rich Exocentric Observations

• arxiv url: http://arxiv.org/abs/2506.17896v1
• Date: Sun, 22 Jun 2025 04:21:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.641629
• Title: EgoWorld: Translating Exocentric View to Egocentric View using Rich Exocentric Observations
• Title（参考訳）: EgoWorld: リッチ・エクソセントリック・ビューを用いたエゴセントリック・ビューへの変換
• Authors: Junho Park, Andrew Sangwoo Ye, Taein Kwon,
• Abstract要約: EgoWorld(エゴワールド)は、エゴセントリックな視点を、豊富なエゴセントリックな視点から再構築する新しいフレームワークである。 提案手法は,推定された遠心深度マップから点雲を再構成し,それをエゴセントリックな視点に再投影し,拡散に基づくインペインティングを適用して,密集した意味的コヒーレントなエゴセントリックな画像を生成する。 EgoWorldは最先端のパフォーマンスを実現し、新しいオブジェクト、アクション、シーン、主題への堅牢な一般化を実証している。
• 参考スコア（独自算出の注目度）: 4.252119151012245
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Egocentric vision is essential for both human and machine visual understanding, particularly in capturing the detailed hand-object interactions needed for manipulation tasks. Translating third-person views into first-person views significantly benefits augmented reality (AR), virtual reality (VR) and robotics applications. However, current exocentric-to-egocentric translation methods are limited by their dependence on 2D cues, synchronized multi-view settings, and unrealistic assumptions such as necessity of initial egocentric frame and relative camera poses during inference. To overcome these challenges, we introduce EgoWorld, a novel two-stage framework that reconstructs an egocentric view from rich exocentric observations, including projected point clouds, 3D hand poses, and textual descriptions. Our approach reconstructs a point cloud from estimated exocentric depth maps, reprojects it into the egocentric perspective, and then applies diffusion-based inpainting to produce dense, semantically coherent egocentric images. Evaluated on the H2O and TACO datasets, EgoWorld achieves state-of-the-art performance and demonstrates robust generalization to new objects, actions, scenes, and subjects. Moreover, EgoWorld shows promising results even on unlabeled real-world examples.
• Abstract（参考訳）: エゴセントリックなビジョンは、人間と機械の両方の視覚的理解、特に操作作業に必要な詳細な手-物体の相互作用を捉えるのに不可欠である。 3人称ビューを1人称ビューに変換することは、拡張現実(AR)、仮想現実(VR)、ロボット工学のアプリケーションに大きな恩恵をもたらす。 しかし、現在のエキソセントリックからエゴセントリックへの翻訳方法は、2Dキュー、同期マルチビュー設定、および推論中に最初のエゴセントリックフレームや相対カメラのポーズを必要とするといった非現実的な仮定に依存しているため、制限されている。 これらの課題を克服するために,投影された点雲,3Dハンドポーズ,テキスト記述などを含む,エゴセントリックな視点からエゴセントリックな視点を再構築する,新しい2段階のフレームワークであるEgoWorldを紹介した。 提案手法は,推定された遠心深度マップから点雲を再構成し,それをエゴセントリックな視点に再投影し,拡散に基づくインペインティングを適用して,密集した意味的コヒーレントなエゴセントリックな画像を生成する。 H2OとTACOデータセットに基づいて評価されたEgoWorldは、最先端のパフォーマンスを実現し、新しいオブジェクト、アクション、シーン、主題に対する堅牢な一般化を実証する。 さらに、EgoWorldは、ラベルのない実世界の例でも有望な結果を示している。

関連論文リスト

• Egocentric and Exocentric Methods: A Short Survey [25.41820386246096]
  エゴセントリックな視覚は、カメラ装着者の視点からシーンを捉えます。 外見中心の視覚はシーン全体のコンテキストを捉えます。 エゴとエクソビューの併用モデリングは、次世代AIエージェントの開発に不可欠である。
  論文  参考訳（メタデータ） (2024-10-27T22:38:51Z)
• Ego3DT: Tracking Every 3D Object in Ego-centric Videos [20.96550148331019]
  本稿では,エゴ中心映像からの物体の3次元再構成と追跡のための新しいゼロショット手法を提案する。 Ego3DTは,エゴ環境内のオブジェクトの検出とセグメンテーション情報を最初に識別し,抽出する新しいフレームワークである。 また,エゴ中心ビデオにおける物体の3次元追跡軌道を安定的に作成するための動的階層化機構を革新した。
  論文  参考訳（メタデータ） (2024-10-11T05:02:31Z)
• Unlocking Exocentric Video-Language Data for Egocentric Video Representation Learning [80.37314291927889]
  EMBEDは、エゴセントリックなビデオ表現学習のための、エゴセントリックなビデオ言語データを変換するために設計された手法である。 エゴセントリックなビデオは、主にクローズアップなハンドオブジェクトのインタラクションを特徴としているのに対し、エゴセントリックなビデオは、人間の活動に対してより広い視点を提供する。 視覚と言語スタイルの転送の両方を適用することで、私たちのフレームワークは新しいエゴセントリックなデータセットを作成します。
  論文  参考訳（メタデータ） (2024-08-07T06:10:45Z)
• EgoChoir: Capturing 3D Human-Object Interaction Regions from Egocentric Views [51.53089073920215]
  エゴセントリックな人間と物体の相互作用(HOI)を理解することは、人間中心の知覚の基本的な側面である。 既存の手法は主にHOIの観測を利用して、外心的な視点から相互作用領域を捉えている。 EgoChoirは、オブジェクト構造と、外見と頭部運動に固有の相互作用コンテキストを結びつけて、オブジェクトの余裕を明らかにする。
  論文  参考訳（メタデータ） (2024-05-22T14:03:48Z)
• Put Myself in Your Shoes: Lifting the Egocentric Perspective from Exocentric Videos [66.46812056962567]
  Exocentric-to-egocentric cross-view translationは、第三者(exocentric)の観点からアクターをキャプチャするビデオ録画に基づいて、アクターの1人(egocentric)ビューを生成することを目的としている。 そこで我々は,Exo2Egoという,翻訳過程を高次構造変換と画素レベルの幻覚の2段階に分解する生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-11T01:00:00Z)
• EgoGen: An Egocentric Synthetic Data Generator [53.32942235801499]
  EgoGenは新しい合成データジェネレータで、エゴセントリックな知覚タスクのための正確でリッチな地上訓練データを生成することができる。 EgoGenの中心となるのは、仮想人間の自我中心の視覚入力を直接利用して3D環境を感知する、新しい人間のモーション合成モデルである。 我々は、ヘッドマウントカメラのマッピングとローカライゼーション、エゴセントリックカメラトラッキング、エゴセントリックビューからのヒューマンメッシュリカバリの3つのタスクで、EgoGenの有効性を実証する。
  論文  参考訳（メタデータ） (2024-01-16T18:55:22Z)
• EgoHumans: An Egocentric 3D Multi-Human Benchmark [37.375846688453514]
  EgoHumansは、エゴセントリックな人間の3Dポーズ推定と追跡の最先端化を図るために、新しいマルチビューマルチヒューマンビデオベンチマークである。 本研究では,エゴセントリックなマルチヒューマン・ベンチマークを構築するために,新しい3Dキャプチャ・セットアップを提案する。 コンシューマグレードのウェアラブルカメラ搭載メガネを、エゴセントリックな視点に活用することで、テニス、フェンシング、バレーボールなどのダイナミックな活動を捉えることができます。
  論文  参考訳（メタデータ） (2023-05-25T21:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。