論文の概要: Towards Comprehensive Scene Understanding: Integrating First and Third-Person Views for LVLMs

• arxiv url: http://arxiv.org/abs/2505.21955v1
• Date: Wed, 28 May 2025 04:09:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.407774
• Title: Towards Comprehensive Scene Understanding: Integrating First and Third-Person Views for LVLMs
• Title（参考訳）: 総合的な場面理解に向けて:LVLMにおける第1と第3の視点の統合
• Authors: Insu Lee, Wooje Park, Jaeyun Jang, Minyoung Noh, Kyuhong Shim, Byonghyo Shim,
• Abstract要約: E3VQAは,ego-exo画像対をベースとした4Kの高品質な質問応答対を用いた,マルチビュー質問応答のための最初のベンチマークである。 また、3つの相補的な視点からシーングラフを統合することにより、統一的なシーン表現を構築するトレーニングフリープロンプト技術であるM3CoTを提案する。
• 参考スコア（独自算出の注目度）: 21.092805986558346
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large vision-language models (LVLMs) are increasingly deployed in interactive applications such as virtual and augmented reality, where first-person (egocentric) view captured by head-mounted cameras serves as key input. While this view offers fine-grained cues about user attention and hand-object interactions, their narrow field of view and lack of global context often lead to failures on spatially or contextually demanding queries. To address this, we introduce a framework that augments egocentric inputs with third-person (exocentric) views, providing complementary information such as global scene layout and object visibility to LVLMs. We present E3VQA, the first benchmark for multi-view question answering with 4K high-quality question-answer pairs grounded in synchronized ego-exo image pairs. Additionally, we propose M3CoT, a training-free prompting technique that constructs a unified scene representation by integrating scene graphs from three complementary perspectives. M3CoT enables LVLMs to reason more effectively across views, yielding consistent performance gains (4.84% for GPT-4o and 5.94% for Gemini 2.0 Flash) over a recent CoT baseline. Our extensive evaluation reveals key strengths and limitations of LVLMs in multi-view reasoning and highlights the value of leveraging both egocentric and exocentric inputs.
• Abstract（参考訳）: 大きな視覚言語モデル(LVLM)は、バーチャルや拡張現実のようなインタラクティブなアプリケーションにますます多くデプロイされている。 このビューは、ユーザの注意と手動のインタラクションに関するきめ細かい手がかりを提供するが、その狭い視野とグローバルコンテキストの欠如は、空間的あるいはコンテキスト的に要求されるクエリの失敗につながることが多い。 そこで本稿では,グローバルなシーンレイアウトやLVLMへのオブジェクト可視性といった補完的な情報を提供するとともに,エゴセントリックなインプットを第三者(外部中心)のビューで強化するフレームワークを提案する。 E3VQAは、4Kの高品質な質問応答対を同期したエゴ・エクソ画像対に固定したマルチビュー質問応答のための最初のベンチマークである。 さらに,3つの相補的な視点からシーングラフを統合することにより,統一的なシーン表現を構築するトレーニングフリープロンプト技術であるM3CoTを提案する。 M3CoTにより、LVLMはビュー全体にわたってより効果的に推論でき、最近のCoTベースラインよりも一貫したパフォーマンス向上(GPT-4oでは4.84%、Gemini 2.0 Flashでは5.94%)が得られる。 我々は多視点推論におけるLVLMの長所と短所を明らかにし,エゴセントリックインプットとエゴセントリックインプットの両方を活用することの価値を強調した。

関連論文リスト

• ViewSpatial-Bench: Evaluating Multi-perspective Spatial Localization in Vision-Language Models [47.237216851265316]
  視覚言語モデル (VLM) は視覚的内容の理解と推論において顕著な能力を示した。 現在のVLMは、主に自我中心の空間的推論(カメラの観点から)に優れるが、同中心の視点に一般化することができない。 マルチ視点空間位置認識評価に特化して設計された,初の総合的なベンチマークであるViewSpatial-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-05-27T17:59:26Z)
• Towards Omnidirectional Reasoning with 360-R1: A Dataset, Benchmark, and GRPO-based Method [8.039453341761538]
  我々は,最初のデータセットであるOmniVQAを導入し,全方向視覚質問応答のための最初のベンチマークを行う。 最先端MLLMの評価結果から,全方向視覚質問応答の処理における限界が明らかとなった。 本研究ではQwen2.5-VL-Instructに基づく規則に基づく強化学習手法である360-R1を提案する。
  論文  参考訳（メタデータ） (2025-05-20T10:55:26Z)
• Benchmarking Large Vision-Language Models on Fine-Grained Image Tasks: A Comprehensive Evaluation [53.84282335629258]
  我々は、FG-BMKと呼ばれる包括的きめ細かい評価ベンチマークを導入し、1.01万の質問と0.33万の画像を含む。 本評価では,人間指向と機械指向の両方の観点からLVLMを体系的に検討する。 トレーニングパラダイム,モダリティアライメント,摂動感受性,および細粒度カテゴリー推論がタスクパフォーマンスに与える影響について,重要な知見を明らかにした。
  論文  参考訳（メタデータ） (2025-04-21T09:30:41Z)
• Semantic-Clipping: Efficient Vision-Language Modeling with Semantic-Guidedd Visual Selection [53.558449071113245]
  Vision-Language Models (VLM) は、アライメントされたビジュアルエンコーダを利用して、画像をビジュアルトークンに変換することで、バックボーン大言語モデル (LLM) によるテキストと同じように処理することができる。 視覚言語モデリングの最近の進歩は、すべての符号化されたサブイメージをモデルに供給する画像トリミング技術を導入している。 本稿では,既存のVLMとシームレスに統合し,細粒度処理能力を高める軽量で普遍的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-14T18:33:31Z)
• GPT4Scene: Understand 3D Scenes from Videos with Vision-Language Models [39.488763757826426]
  2次元視覚言語モデル(VLM)は、画像テキスト理解タスクにおいて大きな進歩を遂げている。 近年の進歩は、3Dポイントクラウドとマルチビューイメージを入力として活用し、有望な結果をもたらしている。 人間の知覚にインスパイアされた視覚ベースのソリューションを提案する。
  論文  参考訳（メタデータ） (2025-01-02T18:59:59Z)
• POV: Prompt-Oriented View-Agnostic Learning for Egocentric Hand-Object Interaction in the Multi-View World [59.545114016224254]
  人間は、手と物体の相互作用の第三者による観察をエゴセントリックな視点に変換するのに長けている。 本稿では,自我中心の動画をほとんど持たない視点適応を実現するための,Prompt-Oriented View-Agnostic Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-09T09:54:44Z)
• Good Questions Help Zero-Shot Image Reasoning [110.1671684828904]
  質問駆動型視覚探索(QVix)は、大規模視覚言語モデル(LVLM)の探索能力を高める新しい促進戦略である。 QVixは、視覚的なシーンのより広い探索を可能にし、視覚的な質問応答や視覚的エンターテイメントといったタスクにおけるLVLMの推論精度と深さを改善している。 我々は,ScienceQAやきめ細かな視覚分類など,難易度の高いゼロショット視覚言語ベンチマークの評価を行い,QVixが既存の手法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2023-12-04T03:18:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。