論文の概要: Reinforcing Egocentric Spatial Perception in Multimodal Large Language Models via Ego Scene Augmentation
- arxiv url: http://arxiv.org/abs/2607.14497v1
- Date: Thu, 16 Jul 2026 02:22:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:32.957832
- Title: Reinforcing Egocentric Spatial Perception in Multimodal Large Language Models via Ego Scene Augmentation
- Title（参考訳）: Ego Scene Augmentationによる多モーダル大言語モデルにおける自己中心型空間知覚の強化
- Abstract要約: 本稿では,エゴ中心空間認識フレームワークであるEgo Scene Augmentation(ESA)を提案する。
提案するESAフレームワークは,EgoTextVQAベンチマークで大幅な性能向上を実現している。
ESAは,屋内環境のショッピングサブセットにおいて,最も印象的なパフォーマンス向上を示す。
- 参考スコア（独自算出の注目度）: 50.408982219008216
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Egocentric Visual Question Answering (VQA) has attracted widespread attention as an important task for enabling Multimodal Large Language Models (MLLMs) to interact with the real world. However, existing MLLMs struggle to perform effective spatial reasoning in complex egocentric scenes due to their limited spatial perception capabilities. To this end, we introduce Ego Scene Augmentation (ESA), an egocentric spatial perception framework, which actively enhances the spatial perception capabilities from the egocentric perspective, powered by the proposed Ego-element Graph. Our core insight is leveraging the Ego-element Graph as an intermediary representation to augment the egocentric spatial perception of MLLMs via visual foundational models. Specifically, we 1) construct the Ego-element Graph, which encapsulates and integrates egocentric spatial features enabled by visual foundational models; 2) enhance the spatial perception capabilities of MLLMs via the Ego-element Graph for ego-perspective scenes. Our proposed ESA framework presents significant performance improvement on the EgoTextVQA benchmark. We achieve an 8.14% gain on the indoor setting and an 8.72% gain on the outdoor setting. Furthermore, our ESA shows the most impressive performance improvement in the shopping subset of the indoor setting. The project code is publicly available.
- Abstract（参考訳）: Egocentric Visual Question Answering (VQA)は、マルチモーダル大言語モデル(MLLM)が現実世界と対話できるようにする重要なタスクとして広く注目を集めている。
しかし、既存のMLLMは、空間知覚能力の制限により、複雑な自我中心のシーンにおいて効果的な空間推論を行うのに苦労している。
この目的のために,エゴ中心型空間認識フレームワークであるEgo Scene Augmentation (ESA)を導入する。
我々の中核となる洞察は、エゴ要素グラフを中間表現として活用し、視覚的基礎モデルを通してMLLMの自我中心的な空間知覚を増大させることである。
具体的には
1) 視覚基礎モデルにより実現された自我中心の空間的特徴をカプセル化し統合するEgo-Element Graphを構築する。
2)エゴ・エレメント・グラフを用いて,エゴ・パースペクティブ・シーンに対するMLLMの空間知覚能力を向上させる。
提案するESAフレームワークは,EgoTextVQAベンチマークで大幅な性能向上を実現している。
屋内では8.14%、屋外では8.72%の上昇を達成した。
さらに,ESAは屋内環境のショッピング・サブセットにおいて,最も印象的な性能向上を示す。
プロジェクトのコードは公開されている。
関連論文リスト
- Do MLLMs Understand Pointing? Benchmarking and Enhancing Referential Reasoning in Egocentric Vision [22.502853661316028]
EgoPoint-Benchは、egocentric viewにおけるマルチモーダルポインティング推論の評価と強化を目的とした総合的な質問応答ベンチマークである。
合成データに微調整を施したモデルが,性能向上とロバストなsim-to-realの一般化を実現していることを示す。
この研究は、空間的に意識された監視の重要性を強調し、正確な自我中心のAIアシスタントへのスケーラブルなパスを提供する。
論文 参考訳（メタデータ） (2026-04-23T09:15:42Z) - EgoSound: Benchmarking Sound Understanding in Egocentric Videos [68.1897133235638]
MLLMにおけるエゴセントリックな音の理解を評価するための最初のベンチマークであるEgoSoundを紹介する。
EgoSoundは、Ego4DとEgoBlindのデータを統合する。
固有音知覚、空間的局所化、因果推論、および相互モーダル推論にまたがる7つのタスクの分類を定義している。
論文 参考訳（メタデータ） (2026-02-15T12:46:35Z) - EgoThinker: Unveiling Egocentric Reasoning with Spatio-Temporal CoT [56.24624833924252]
EgoThinkerは、時間的連鎖管理と2段階の学習カリキュラムを通じて、堅牢なエゴセントリック推論能力を備えたMLを支援するフレームワークである。
EgoThinkerは、複数のエゴセントリックなベンチマークで既存のメソッドよりも優れており、微粒な時間的ローカライゼーションタスクで大幅に改善されている。
論文 参考訳（メタデータ） (2025-10-27T17:38:17Z) - Fine-grained Spatiotemporal Grounding on Egocentric Videos [13.319346673043286]
EgoMaskは、エゴセントリックビデオの微細時間グラウンド化のための最初のピクセルレベルのベンチマークである。
EgoMaskは、式やオブジェクトマスクを参照するアノテーションパイプラインによって構築されている。
また、モデル開発を容易にする大規模なトレーニングデータセットであるEgoMask-Trainも作成しています。
論文 参考訳（メタデータ） (2025-08-01T10:53:27Z) - EgoWorld: Translating Exocentric View to Egocentric View using Rich Exocentric Observations [4.252119151012245]
EgoWorld(エゴワールド)は、エゴセントリックな視点を、豊富なエゴセントリックな視点から再構築する新しいフレームワークである。
提案手法は,推定された遠心深度マップから点雲を再構成し,それをエゴセントリックな視点に再投影し,拡散に基づくインペインティングを適用して,密集した意味的コヒーレントなエゴセントリックな画像を生成する。
EgoWorldは最先端のパフォーマンスを実現し、新しいオブジェクト、アクション、シーン、主題への堅牢な一般化を実証している。
論文 参考訳（メタデータ） (2025-06-22T04:21:48Z) - EgoM2P: Egocentric Multimodal Multitask Pretraining [55.259234688003545]
大規模なエゴセントリックなマルチモーダルモデルとマルチタスクモデルの構築は、ユニークな課題を示している。
EgoM2Pは、時間的に認識されたマルチモーダルトークンから学習し、エゴセントリックな4D理解のための大規模な汎用モデルをトレーニングするマスク付きモデリングフレームワークである。
私たちはEgoM2Pを完全にオープンソース化し、コミュニティを支援し、エゴセントリックなビジョン研究を前進させます。
論文 参考訳（メタデータ） (2025-06-09T15:59:25Z) - Exo2Ego: Exocentric Knowledge Guided MLLM for Egocentric Video Understanding [69.96199605596138]
現在のMLLMは、主に第三者(外見中心)のビジョンに焦点を当てており、一対一(自我中心)の動画のユニークな側面を見下ろしている。
本研究では,エゴ中心領域とエゴ中心領域のマッピングを学習し,エゴ中心領域の理解を高めることを提案する。
Ego-ExoClipは1.1M同期のEgo-Exoクリップテキストペアからなる事前学習データセットである。
論文 参考訳（メタデータ） (2025-03-12T08:10:33Z) - From My View to Yours: Ego-Augmented Learning in Large Vision Language Models for Understanding Exocentric Daily Living Activities [7.952665773362793]
我々は,エゴセントリックな視点の相補的な性質を活用し,LVLMのエゴセントリックなADLビデオに対する理解を高めることを目的としている。
このアプローチは効果的だが、大規模な収集には実用的ではないペア付きエゴエクソビデオが必要である。
合成データに基づいて訓練されたLVLMのエゴ表現を強化するため,我々はドメイン・ア・ブートストラップ付きego2exogstic戦略を開発した。
論文 参考訳（メタデータ） (2025-01-10T05:01:58Z) - Unlocking Exocentric Video-Language Data for Egocentric Video Representation Learning [80.37314291927889]
EMBEDは、エゴセントリックなビデオ表現学習のための、エゴセントリックなビデオ言語データを変換するために設計された手法である。
エゴセントリックなビデオは、主にクローズアップなハンドオブジェクトのインタラクションを特徴としているのに対し、エゴセントリックなビデオは、人間の活動に対してより広い視点を提供する。
視覚と言語スタイルの転送の両方を適用することで、私たちのフレームワークは新しいエゴセントリックなデータセットを作成します。
論文 参考訳（メタデータ） (2024-08-07T06:10:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。