論文の概要: EfficientEQA: An Efficient Approach to Open-Vocabulary Embodied Question Answering

• arxiv url: http://arxiv.org/abs/2410.20263v2
• Date: Fri, 08 Aug 2025 23:10:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 16:55:51.15689
• Title: EfficientEQA: An Efficient Approach to Open-Vocabulary Embodied Question Answering
• Title（参考訳）: エフィシエントEQA:オープン・ボキャブラリ・エスボディード・クエスチョーリングへの効率的なアプローチ
• Authors: Kai Cheng, Zhengyuan Li, Xingpeng Sun, Byung-Cheol Min, Amrit Singh Bedi, Aniket Bera,
• Abstract要約: 大規模視覚言語モデル(VLM)は、EQA(Embodied Question Answering)を約束している。 既存のアプローチでは、アクティブな探索をせずに静的なビデオ質問応答として扱うか、あるいはクローズドな選択に対する回答を制限するかのどちらかである。 EfficientEQAは,効率的な探索と自由形式の回答生成を両立させる新しいフレームワークである。 実験結果から,EQAの解答精度は15%以上向上し,最先端手法よりも20%以上の探索ステップが要求されることがわかった。
• 参考スコア（独自算出の注目度）: 21.114403949257934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Embodied Question Answering (EQA) is an essential yet challenging task for robot assistants. Large vision-language models (VLMs) have shown promise for EQA, but existing approaches either treat it as static video question answering without active exploration or restrict answers to a closed set of choices. These limitations hinder real-world applicability, where a robot must explore efficiently and provide accurate answers in open-vocabulary settings. To overcome these challenges, we introduce EfficientEQA, a novel framework that couples efficient exploration with free-form answer generation. EfficientEQA features three key innovations: (1) Semantic-Value-Weighted Frontier Exploration (SFE) with Verbalized Confidence (VC) from a black-box VLM to prioritize semantically important areas to explore, enabling the agent to gather relevant information faster; (2) a BLIP relevancy-based mechanism to stop adaptively by flagging highly relevant observations as outliers to indicate whether the agent has collected enough information; and (3) a Retrieval-Augmented Generation (RAG) method for the VLM to answer accurately based on pertinent images from the agent's observation history without relying on predefined choices. Our experimental results show that EfficientEQA achieves over 15% higher answer accuracy and requires over 20% fewer exploration steps than state-of-the-art methods. Our code is available at: https://github.com/chengkaiAcademyCity/EfficientEQA
• Abstract（参考訳）: EQA(Embodied Question Answering)は、ロボットアシスタントにとって必須の課題である。 大規模視覚言語モデル(VLM)は、EQAを約束しているが、既存のアプローチでは、アクティブな探索なしに静的なビデオ質問応答として扱うか、クローズドな選択に答えを制限するかのどちらかである。 これらの制限は、ロボットが効率的に探索し、オープンな語彙設定で正確な答えを提供する、現実世界の応用性を妨げている。 これらの課題を克服するために,自由形式の回答生成と効率的な探索を両立させる新しいフレームワークであるEfficientEQAを紹介する。 有効EQAは,(1)ブラックボックスVLMから有意値重み付きフロンティア探索(SFE)を用いて,意味的に重要な領域を優先順位付けし,エージェントが関連情報をより早く収集できるようにし,(2)エージェントが十分な情報を収集したかどうかを示す指標として高度に関連性のある観測をフラグ付け,適応的に停止するBLIP関連性に基づくメカニズム,(3) VLMが予め定義された選択に頼らずに,エージェントの観察履歴からの関連する画像に基づいて正確に回答する検索ヴァル拡張生成(RAG)手法,の3つの重要なイノベーションを特徴としている。 実験結果から,EQAの解答精度は15%以上向上し,最先端手法よりも20%以上の探索ステップが要求されることがわかった。 私たちのコードは、https://github.com/chengkaiAcademyCity/EfficientEQAで利用可能です。

関連論文リスト

• Teaching Language Models To Gather Information Proactively [53.85419549904644]
  大規模言語モデル(LLM)は、ますます協力的なパートナーとして機能することが期待されている。 本研究では,アクティブな情報収集という新たなタスクパラダイムを導入する。 キー情報をマスキングする、部分的に特定された現実世界のタスクを生成するスケーラブルなフレームワークを設計する。 このセットアップの中核となるイノベーションは、真に新しい暗黙のユーザー情報を引き出す質問に報酬を与える、強化された微調整戦略です。
  論文  参考訳（メタデータ） (2025-07-28T23:50:09Z)
• Task-Oriented Semantic Communication in Large Multimodal Models-based Vehicle Networks [55.32199894495722]
  LMMに基づく車両用AIアシスタントLarge Language and Vision Assistant(LLaVA)について検討する。 計算要求を減らし、応答時間を短縮するため、LLaVAの画像スライシングを最適化し、ユーザにとって最も関心のある領域に選択的にフォーカスする。 交通シナリオに対する視覚質問応答(VQA)データセットを構築し,有効性を評価する。
  論文  参考訳（メタデータ） (2025-05-05T07:18:47Z)
• Beyond the Destination: A Novel Benchmark for Exploration-Aware Embodied Question Answering [87.76784654371312]
  Embodied Question Answeringでは、エージェントが動的に3D環境を探索し、視覚情報を積極的に収集し、質問に答えるために多段階の推論を行う必要がある。 既存のデータセットはしばしばバイアスや事前の知識を導入し、非身体的推論につながる。 探索能力と推論能力の両方を評価するために特別に設計された最大のデータセットを構築します。
  論文  参考訳（メタデータ） (2025-03-14T06:29:47Z)
• Open-Ended and Knowledge-Intensive Video Question Answering [20.256081440725353]
  知識集約型ビデオ質問応答 (KI-VideoQA) を多モード検索拡張世代のレンズを用いて検討する。 本稿では,最先端の検索モデルと視覚言語モデルを用いて,様々な検索拡張手法について検討する。 我々は、KnowIT VQAデータセットにおいて、複数の選択質問に対する精度を17.5%向上させる。
  論文  参考訳（メタデータ） (2025-02-17T12:40:35Z)
• Divide-and-Conquer: Tree-structured Strategy with Answer Distribution Estimator for Goal-Oriented Visual Dialogue [30.126882554391837]
  Answer Distribution Estimator(TSADE)を用いた樹木構造戦略 本稿では,現在の候補オブジェクトの半数を各ラウンドで除外することで,質問生成をガイドする木構造戦略(TSADE)を提案する。 提案手法は,従来のエルゴディックな質問生成手法と比較して,繰り返し質問やラウンドの少ないタスク指向の精度をエージェントが達成できることを実験的に実証する。
  論文  参考訳（メタデータ） (2025-02-09T08:16:09Z)
• DeepRAG: Thinking to Retrieval Step by Step for Large Language Models [92.87532210660456]
  我々はマルコフ決定過程(MDP)として検索強化推論をモデル化するDeepRAGを提案する。 クエリを反復的に分解することで、DeepRAGは外部知識を取得するか、あるいは各ステップでパラメトリック推論に依存するかを動的に決定する。 実験の結果、DeepRAGは解答精度を21.99%向上させ、検索強化推論の最適化の有効性を示した。
  論文  参考訳（メタデータ） (2025-02-03T08:22:45Z)
• Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation [72.70046559930555]
  本稿では,複雑なQAタスクに対する適応ノート拡張RAG(Adaptive Note-Enhanced RAG)と呼ばれる汎用RAGアプローチを提案する。 具体的には、Adaptive-Noteは、知識の成長に関する包括的な視点を導入し、ノート形式で新しい情報を反復的に収集する。 さらに,適切な知識探索を促進するために,適応的な音符ベースの停止探索戦略を用いて,「何を検索し,いつ停止するか」を判断する。
  論文  参考訳（メタデータ） (2024-10-11T14:03:29Z)
• RAVEN: Multitask Retrieval Augmented Vision-Language Learning [5.1583788731239455]
  世界中の知識をエンコードする大規模言語モデルのスケーリングは持続不可能であり、リソースバリアが悪化している。 Retrieval-Augmented Generation (RAG) は潜在的な解決策を示すが、その視覚言語モデル(VLM)への応用は検討中である。 本稿では,効率的なタスク特化微調整により,ベースVLMを強化した検索拡張VLMフレームワークであるRAVENを紹介する。
  論文  参考訳（メタデータ） (2024-06-27T13:08:35Z)
• Automated Evaluation of Retrieval-Augmented Language Models with Task-Specific Exam Generation [9.390902237835457]
  検索型大規模言語モデル(RAG)のタスク固有精度を計測する新しい手法を提案する。 複数の選択質問からなる自動生成合成試験において、RAGをスコアリングして評価を行う。
  論文  参考訳（メタデータ） (2024-05-22T13:14:11Z)
• WESE: Weak Exploration to Strong Exploitation for LLM Agents [95.6720931773781]
  本稿では,オープンワールド対話型タスクの解法において,LLMエージェントの強化を目的としたWeak Exploration to Strong Exploitation (WESE)を提案する。 WESEは、探究と搾取のプロセスを分離し、費用対効果の弱いエージェントを用いて世界的知識の探索を行う。 次に、獲得した知識を格納し、タスク関連知識を抽出する知識グラフベースの戦略を導入する。
  論文  参考訳（メタデータ） (2024-04-11T03:31:54Z)
• Explore until Confident: Efficient Exploration for Embodied Question Answering [32.27111287314288]
  我々は、大きな視覚言語モデルの強力な意味推論機能を活用して、質問を効率的に探索し、答える。 深度情報とVLMの視覚的プロンプトに基づいて,まずシーンのセマンティックマップを構築する手法を提案する。 次に、コンフォメーション予測を用いて、自信に答えるVLMの質問を校正し、いつ探索を中止するかをロボットが知ることができるようにする。
  論文  参考訳（メタデータ） (2024-03-23T22:04:03Z)
• Active Open-Vocabulary Recognition: Let Intelligent Moving Mitigate CLIP Limitations [9.444540281544715]
  オープン語彙認識のための新しいエージェントを提案する。 提案手法は,クラス固有の知識に頼ることなく,フレーム間の類似性や概念間の類似性を利用してエージェントの動きをナビゲートし,特徴を融合する。
  論文  参考訳（メタデータ） (2023-11-28T19:24:07Z)
• Clarify When Necessary: Resolving Ambiguity Through Interaction with LMs [58.620269228776294]
  そこで本稿では,ユーザに対して,あいまいさを解消するためのタスク非依存のフレームワークを提案する。 我々は3つのNLPアプリケーション(質問応答、機械翻訳、自然言語推論)にまたがるシステムを評価する。 インテントシムは堅牢であり、幅広いNLPタスクやLMの改善を実証している。
  論文  参考訳（メタデータ） (2023-11-16T00:18:50Z)
• Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
  大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。 検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。 SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
  論文  参考訳（メタデータ） (2023-10-08T04:22:33Z)
• A Survey for Efficient Open Domain Question Answering [51.67110249787223]
  Open Domain Question answering (ODQA)は、自然言語処理(NLP)において明確な証拠のない、大規模な知識コーパスから事実質問に答えることを目的とした長年の課題である。
  論文  参考訳（メタデータ） (2022-11-15T04:18:53Z)
• Visual Question Answering with Prior Class Semantics [50.845003775809836]
  候補解のセマンティクスに関連する追加情報を利用する方法を示す。 セマンティック空間における回帰目標を用いて解答予測プロセスを拡張する。 提案手法は,様々な質問タイプに対して,一貫性と精度の向上をもたらす。
  論文  参考訳（メタデータ） (2020-05-04T02:46:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。