論文の概要: EgoOmniWorld: Unifying Egocentric Understanding via Ego-Action-World Interactions

• arxiv url: http://arxiv.org/abs/2610.18499v1
• Date: Tue, 13 Oct 2026 14:53:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.646952
• Title: EgoOmniWorld: Unifying Egocentric Understanding via Ego-Action-World Interactions
• Title（参考訳）: EgoOmniWorld: Ego-Action-Worldインタラクションによるエゴセントリックな理解の統合
• Abstract要約: 本稿では,Ego-Action-World相互作用ループを統一原理として提案する。 Ego OmniWorldは4つの補完的な相互作用構造を中心に編成されたベンチマークである。 我々は,エゴセントリックなビデオから構造化されたインタラクションを抽出する,インタラクションファーストでエビデンスに基づくデータパイプラインを開発した。
• 参考スコア（独自算出の注目度）: 71.3606758706381
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Egocentric video understanding spans diverse capabilities, modalities, and evaluation formats, yet these are often studied in isolation despite their tight coupling in real-world interaction. We propose the Ego-Action-World interaction loop as a unifying principle: the wearer perceives the world, forms goals, acts, changes the world, and uses feedback to guide subsequent behavior. Based on this view, we introduce EgoOmniWorld, a benchmark organized around four complementary interaction structures: Node captures ego, action, and world states; Edge captures directed relations among them; Chain captures linked dependencies; and Loop captures feedback-closed interactions. We develop an interaction-first, evidence-grounded data pipeline that extracts structured interactions from egocentric videos, grounds them in visual and auditory evidence, and generates questions according to their interaction structure. Required modalities and single- or multi-turn formats follow naturally from the supporting evidence and dependencies. EgoOmniWorld contains 24,166 QA groups, including 20,284 training and 3,882 test samples. Experiments on representative open- and closed-source multimodal large language models reveal substantial and uneven limitations across interaction structures. Models trained on EgoOmniWorld improve in-domain interaction understanding and generalize to existing egocentric benchmarks. EgoOmniWorld provides a unified foundation for evaluating and advancing egocentric video understanding. Data, code, and models will be released.
• Abstract（参考訳）: エゴセントリックなビデオ理解は多様な能力、モダリティ、評価形式にまたがるが、実世界の相互作用において密結合しているにもかかわらず、しばしば独立して研究される。 本研究では,世界観を認知し,目標を設定し,行動し,世界を変え,その後の行動を導くためにフィードバックを用いることにより,エゴ・アクション・ワールドの相互作用ループを統一原則として提案する。 ノードはエゴ、アクション、ワールドステートをキャプチャし、エッジはそれら間の有向関係をキャプチャし、チェーンは関連した依存関係をキャプチャし、Loopはフィードバックが閉じた相互作用をキャプチャする。 我々は、エゴセントリックなビデオから構造化されたインタラクションを抽出し、視覚的および聴覚的エビデンスに基礎を置き、その相互作用構造に応じて質問を生成する、インタラクションファーストでエビデンスに基づくデータパイプラインを開発する。 必要なモダリティとシングルターンまたはマルチターンフォーマットは、支持するエビデンスと依存関係から自然に従う。 EgoOmniWorldには24,166のQAグループがあり、20,284のトレーニングと3,882のテストサンプルが含まれている。 オープンソースおよびクローズドソースのマルチモーダルな大規模言語モデルに対する実験は、相互作用構造における実質的かつ不均一な制限を明らかにしている。 EgoOmniWorldでトレーニングされたモデルは、ドメイン間相互作用の理解を改善し、既存のエゴセントリックベンチマークに一般化する。 EgoOmniWorldは、エゴセントリックなビデオ理解の評価と進歩のための統一された基盤を提供する。 データ、コード、モデルがリリースされる。

関連論文リスト

• AnchorWorld: Embodied Egocentric World Simulation with View-based Evolution Customization [79.26935895370191]
  AnchorWorldは、対話の整合性を強化することで、エゴセントリックなシミュレーションを促進するフレームワークである。 補助訓練監督は、エージェントのファーストパーソンセンタリウムから切り離された視点を取り入れている。 我々は、自己進化する世界をカスタマイズするためのシンプルで効果的なメカニズムを提案する。
  論文  参考訳（メタデータ） (2026-06-05T14:43:13Z)
• ENIGMA-360: An Ego-Exo Dataset for Human Behavior Understanding in Industrial Scenarios [50.47300468137957]
  ENIGMA-360は、実際の産業シナリオで取得された新しいエゴエクソデータセットである。 データセットは、時間的に同期された180エゴセントリックと180エゴセントリックなプロシージャビデオで構成されている。 これらの結果は、実環境において堅牢なエゴエクソ理解が可能な新しいモデルの必要性を浮き彫りにする。
  論文  参考訳（メタデータ） (2026-03-10T14:47:15Z)
• Perceiving and Acting in First-Person: A Dataset and Benchmark for Egocentric Human-Object-Human Interactions [110.43343503158306]
  本稿では、手動支援タスクを視覚言語アクションフレームワークに組み込み、そのアシスタントは、自我中心のビジョンとコマンドに従ってインストラクターにサービスを提供する。 この設定の下で、我々は、マルチモーダルデータの11.4時間1.2Mフレームを持つ、最初の大規模人・物・人間のインタラクションデータセットであるInterVLAを達成した。 我々は,エゴセントリックな人の動き推定,相互作用合成,および包括的分析による相互作用予測に関する新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2025-08-06T17:46:23Z)
• EgoMe: A New Dataset and Challenge for Following Me via Egocentric View in Real World [12.699670048897085]
  人間の模倣学習において、模倣者は、通常、自我中心の視点を基準として、自我中心の視点から自我中心の視点に観察された振る舞いを自然に伝達する。 実世界における模倣者の自我中心的な視点を通じて、人間の模倣学習のプロセスに従うためのEgoMeを紹介する。 我々のデータセットには7902対のエゴビデオが含まれており、様々な現実のシナリオにおいて多様な日々の行動にまたがっている。
  論文  参考訳（メタデータ） (2025-01-31T11:48:22Z)
• EgoExo-Fitness: Towards Egocentric and Exocentric Full-Body Action Understanding [27.881857222850083]
  EgoExo-Fitnessは新しいフルボディアクション理解データセットである。 シンクロナイズドエゴセントリックカメラと固定型エゴセントリックカメラで撮影されたフィットネス・シーケンス・ビデオが特徴。 EgoExo-Fitnessは、エゴセントリックでエゴセントリックなフルボディの行動理解を研究するための新しいリソースを提供する。
  論文  参考訳（メタデータ） (2024-06-13T07:28:45Z)
• EgoChoir: Capturing 3D Human-Object Interaction Regions from Egocentric Views [51.53089073920215]
  エゴセントリックな人間と物体の相互作用(HOI)を理解することは、人間中心の知覚の基本的な側面である。 既存の手法は主にHOIの観測を利用して、外心的な視点から相互作用領域を捉えている。 EgoChoirは、オブジェクト構造と、外見と頭部運動に固有の相互作用コンテキストを結びつけて、オブジェクトの余裕を明らかにする。
  論文  参考訳（メタデータ） (2024-05-22T14:03:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。