論文の概要: Informative Viewpoint Selection for Episodic-Memory Embodied Question Answering using Omnidirectional Images

• arxiv url: http://arxiv.org/abs/2609.33288v1
• Date: Sun, 27 Sep 2026 06:50:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 01:24:26.272157
• Title: Informative Viewpoint Selection for Episodic-Memory Embodied Question Answering using Omnidirectional Images
• Title（参考訳）: 全方位画像を用いたエピソード記憶型質問応答のためのインフォームティブ視点選択
• Abstract要約: 全方位画像を用いたEQA(Embodied Question Answering)の視点選択法を提案する。 提案手法は,等方形観測を立方体図投影による視点ビューに変換し,細調整BLIP-2を用いて質問条件関連性を推定する。 本手法は, 正方形観測による報告結果のうち, 最先端のモデル性能を実現する。
• 参考スコア（独自算出の注目度）: 6.558761304336893
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Embodied Question Answering (EQA) requires agents to answer natural language questions about surrounding environments from visual observations. In this work, we focus on open-vocabulary episodic-memory EQA (EM-EQA), where an agent answers free-form questions using recorded observation histories. Omnidirectional images are promising for this task, as they provide wide field-of-view observations that can capture surrounding context without requiring explicit camera rotations. However, omnidirectional images introduce two challenges for EQA: (i) equirectangular projection causes severe geometric distortion that degrades vision-language model (VLM) recognition accuracy, and (ii) feeding equirectangular images directly into VLMs introduces excessive irrelevant background information, reducing answer accuracy and increasing the visual-token burden. To address these challenges, we propose a viewpoint selection method for EM-EQA using omnidirectional images. Our method converts equirectangular observations into perspective views via cubemap projection, estimates question-conditioned relevance with fine-tuned BLIP-2, and selects informative and diverse viewpoints through diversity-aware greedy selection. Experiments on the Habitat-Matterport 3D (HM3D) subset of OpenEQA show that our method achieves state-of-the-art model performance among the reported model results with equirectangular observations. Moreover, after removing rotation views, which reduces observation frames by 65.5%, our method largely maintains its answer accuracy.
• Abstract（参考訳）: EQA(Embodied Question Answering)は、視覚的な観察から周囲の環境に関する自然言語の質問に答えることを要求する。 本研究では,オープン語彙のエピソードメモリEQA(EM-EQA)に着目し,エージェントが記録された観測履歴を用いて自由形式の質問に回答する。 カメラの回転を明示することなく周囲のコンテキストを捉えられる広い視野の観察を提供するため、全方位画像はこのタスクに有望である。 しかし、全方位画像はEQAに2つの課題をもたらす。 (i)正方形投影は、視覚言語モデル(VLM)の認識精度を低下させる厳密な幾何学的歪みを引き起こし、 二 VLM に直接等方形画像を供給することにより、過度に無関係な背景情報を導入し、解答精度を低下させ、視覚的負担を増大させる。 これらの課題に対処するために,全方位画像を用いたEM-EQAの視点選択手法を提案する。 提案手法は,正方形観測を立方体図投影による視点視に変換し,細調整BLIP-2を用いて質問条件関連性を推定し,多様性を意識した欲求選択により,情報的・多様な視点を選択する。 OpenEQA の Habitat-Matterport 3D (HM3D) サブセットに対する実験により,本手法は等方形観測による報告されたモデル結果のうち,最先端のモデル性能を実現することを示す。 さらに,観測フレームを65.5%削減した回転ビューを除去し,解答精度を大きく維持する。

関連論文リスト

• The Earth in One Gaze: Training-Free Active Focus for UHR Remote Sensing Understanding [39.27641770509501]
  マルチモーダル大言語モデル(MLLM)は、限られた視覚入力予算内で超高解像度(UHR)リモートセンシング(RS)画像を解釈する際に、シーンコンテキストに対して局所的な詳細をバランスさせなければならない。 GazeEarth(ガゼアース)は,質問誘導型領域選択とフルシーンフェーブ付き観測とを結合した,単純なyet効果のトレーニングフリーフレームワークである。 分析の結果、既存のMLLMは、自力でUHR画像を見る場所を案内でき、選択された証拠から推測できることは、その証拠がどのように提示されるかによって異なることがわかった。
  論文  参考訳（メタデータ） (2026-09-23T07:38:41Z)
• PADFormer: Pose-agnostic Anomaly Detection from Sparse View Images [40.540633292445925]
  突発性異常検出(PAD: Pose-Anostic Anomaly Detection)は、任意の視点で異常が現れるため、依然として困難である。 本研究では、視覚変換器(ViT)を利用して、クエリー画像の異常のないバージョンを直接再構築する新しい画像空間アプローチであるPADFormerを提案する。 PADは、古典的な数発の異常検出タスクにおいて同等のパフォーマンスを維持しながら、PADベンチマークで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2026-08-04T20:23:34Z)
• ReVSI: Rebuilding Visual Spatial Intelligence Evaluation for Accurate Assessment of VLM 3D Reasoning [59.558706734431276]
  空間知能の現在の評価は、現代の視覚言語モデル(VLM)設定下で体系的に無効にすることができる。 本稿では,各QAペアが実際の入力の下で応答可能で正しいことを保証するためのベンチマークとプロトコルであるReVSIを紹介する。
  論文  参考訳（メタデータ） (2026-04-27T10:45:51Z)
• CoV: Chain-of-View Prompting for Spatial Reasoning [64.77921266428824]
  CoV(Chain-of-View)は、視覚言語モデルをアクティブな視点推論子に変換する。 我々はOpenEQA上でのCoVの評価を行い、Qwen3-VL-Flashで最大13.62%向上したLLM-Matchで平均+11.56%改善した。
  論文  参考訳（メタデータ） (2026-01-08T17:59:42Z)
• Towards Generalizable Multi-Camera 3D Object Detection via Perspective Debiasing [28.874014617259935]
  マルチカメラ3Dオブジェクト検出(MC3D-Det)は,鳥眼ビュー(BEV)の出現によって注目されている。 本研究では,3次元検出と2次元カメラ平面との整合性を両立させ,一貫した高精度な検出を実現する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-17T15:31:28Z)
• Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models [59.05769810380928]
  Rephrase, Augment and Reason (RepARe) は勾配のないフレームワークで、基礎となる視覚言語モデルを用いて画像に関する詳細な情報を抽出する。 その結果、VQAv2では3.85%(絶対)、A-OKVQAでは6.41%、VizWizでは7.94%の増加が見られた。
  論文  参考訳（メタデータ） (2023-10-09T16:57:57Z)
• From Pixels to Objects: Cubic Visual Attention for Visual Question Answering [132.95819467484517]
  近年,注目度に基づく視覚質問応答 (VQA) は,質問を利用して回答に関連する異なる視覚領域をターゲットにすることで大きな成功を収めている。 本稿では、VQAタスクを改善するために、新しいチャネルと空間的注意をオブジェクト領域に適用し、キュービック視覚注意(CVA)モデルを提案する。 実験の結果,提案手法は最先端技術よりも優れていた。
  論文  参考訳（メタデータ） (2022-06-04T07:03:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。