論文の概要: Ground Then Rank: Revisiting Knowledge-Based VQA with Training-Free Entity Identification

• arxiv url: http://arxiv.org/abs/2606.23881v1
• Date: Mon, 22 Jun 2026 19:27:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:48.643189
• Title: Ground Then Rank: Revisiting Knowledge-Based VQA with Training-Free Entity Identification
• Title（参考訳）: グラウンド・アンド・ランク:学習自由エンティティ識別による知識ベースVQAの再検討
• Authors: Qian Ma, Qiong Wu, Zhengyi Zhou, Yao Ma,
• Abstract要約: KB-VQA (Knowledge-Based Visual Question Answering) は、画像中の直接観察可能なコンテンツを超えて、外部の知識に視覚的なクエリを基礎づけることを必要とする。 近年のMLLM(Multi modal large language model)は知覚能力が高いが、細粒度の実体とエビデンスレベルの両方から基礎を置く必要があるKB-VQAタスクに苦慮している。 本稿では,要素識別をセクションレベルの再分類から切り離す,簡易かつトレーニング不要な IBA フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 12.586456579827448
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge-Based Visual Question Answering (KB-VQA) requires grounding visual queries to external knowledge beyond directly observable content in images. While recent multi modal large language models (MLLMs) show strong perceptual abilities, they struggle on KB-VQA tasks requiring groundings from both fine-grained entity and evidence levels. Most existing multi-modal retrieval augmented generation (MM-RAG) methods tightly couple entity discrimination and section-level evidence ranking into a single re-ranking stage, leading to high cost and limited generalization. In this work, we revisit existing MM-RAG solutions from a workflow perspective and argue both entity-level and fact-level groundings are key bottlenecks. We observe that although MLLMs often fail under open-ended entity naming, they can better identify the correct entity when selecting from a small set of candidate names. Based on this insight, we propose a simple and training-free identify-before-answer IBA framework that decouples entity identification from section-level re-ranking. Our approach prompts an MLLM to select high-confidence entities using only candidate names, followed by an off-the-shelf textual re-ranker for evidence selection. Experiments on Encyclopedic-VQA and InfoSeek show that our method consistently outperforms fine-tuned multi-modal re-ranking baselines while reducing training and inference complexity. Additional analyses reveal that the improvements arise not only from better entity identification, but also from selecting more informative evidence once correct entity is fixed. Our implementation is made public to ease reproducibility.
• Abstract（参考訳）: KB-VQA (Knowledge-Based Visual Question Answering) は、画像中の直接観察可能なコンテンツを超えて、外部の知識に視覚的なクエリを基礎づけることを必要とする。 近年のMLLM(Multi modal large language model)は知覚能力が高いが、細粒度の実体とエビデンスレベルの両方から基礎を置く必要があるKB-VQAタスクに苦慮している。 既存のMulti-modal search augmented generation(MM-RAG)手法は、エンティティの識別とセクションレベルのエビデンスを1つの再ランクステージにランク付けし、高いコストと限定的な一般化をもたらす。 本研究では、ワークフローの観点から既存のMM-RAGソリューションを再考し、エンティティレベルとファクトレベルのグラウンディングの両方が重要なボトルネックであると主張している。 MLLMは、しばしばオープンなエンティティ名の下で失敗するが、少数の候補名から選択した場合、正しいエンティティを識別する方がよい。 この知見に基づき, 単体識別をセクションレベルの再ランクから切り離す, 簡易かつトレーニング不要な IBA フレームワークを提案する。 提案手法では,MLLMが候補名のみを用いて高信頼度エンティティを選択するように促す。 Encyclopedic-VQA と InfoSeek の実験から,本手法はトレーニングや推論の複雑さを低減しつつ,微調整されたマルチモーダルなリランクベースラインを一貫して上回ることを示した。 さらなる分析により、改善はより優れたエンティティ識別から生じるだけでなく、正しいエンティティが固定されたときにより情報的なエビデンスを選択することによってもたらされることが明らかになった。 私たちの実装は再現性を容易にするために公開されています。

関連論文リスト

• Self-Correcting RAG: Enhancing Faithfulness via MMKP Context Selection and NLI-Guided MCTS [5.711356514732554]
  自己補正RAGは、制約付き最適化と経路計画として検索と生成を再構成する。 入力側では、コンテキスト選択を多次元多重選択knapsack問題(MMKP)として定式化する。 出力側では、自然言語推論(NLI)誘導モンテカルロ木探索(MCTS)機構を導入する。
  論文  参考訳（メタデータ） (2026-04-12T17:14:36Z)
• Resolving Evidence Sparsity: Agentic Context Engineering for Long-Document Understanding [49.26132236798123]
  視覚言語モデル(VLM)は、文書理解における主要なアプローチになりつつある。 本稿では,粗いプロセスにおいて,検索者と4つの協調エージェントを編成するマルチエージェントフレームワークSLEUTHを提案する。 このフレームワークは、検索したページ内の重要なテキストおよび視覚的手がかりを特定し、テーブルやチャートなどの健全な視覚的エビデンスをフィルタし、クエリを分析して推論戦略を考案する。
  論文  参考訳（メタデータ） (2025-11-28T03:09:40Z)
• ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering [54.72902502486611]
  ReAG(Reasoning-Augmented Multimodal RAG)は、粗い部分ときめ細かい部分の検索と、無関係な通路をフィルタリングする批評家モデルを組み合わせた手法である。 ReAGは従来の手法よりも優れており、解答精度が向上し、検索された証拠に根ざした解釈可能な推論を提供する。
  論文  参考訳（メタデータ） (2025-11-27T19:01:02Z)
• MARAG-R1: Beyond Single Retriever via Reinforcement-Learned Multi-Tool Agentic Retrieval [50.30107119622642]
  大規模言語モデル(LLM)は推論と生成において優れているが、本質的には静的事前学習データによって制限されている。 Retrieval-Augmented Generation (RAG)は、LLMを外部知識に基盤を置くことでこの問題に対処する。 MarAG-R1は、LLMが複数の検索機構を動的に調整できる強化学習型マルチツールRAGフレームワークである。
  論文  参考訳（メタデータ） (2025-10-31T15:51:39Z)
• Re-ranking Reasoning Context with Tree Search Makes Large Vision-Language Models Stronger [51.01841635655944]
  大規模視覚言語モデル(LVLM)の最近の進歩は、視覚質問応答(VQA)タスクのパフォーマンスを著しく改善している。 既存の手法は、推論例による知識の不足や、抽出された知識からの不規則な応答など、依然として課題に直面している。 我々は、Reasoning Context-enriched knowledge baseとTree Search re-level methodを構築し、LVLMを強化したRCTSと呼ばれるマルチモーダルRAGフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-09T14:00:57Z)
• Benchmarking Retrieval-Augmented Multimodal Generation for Document Question Answering [60.062194349648195]
  Document Visual Question Answering (DocVQA)は、長いマルチモーダル文書の処理において2つの課題に直面している。 現在の文書検索拡張生成法(DocRAG)はテキスト中心のアプローチによって制限されている。 MMDocRAGは,多ページのクロスモーダルエビデンスチェーンを持つ4,055のエキスパートアノテーション付きQAペアを特徴とする総合ベンチマークである。
  論文  参考訳（メタデータ） (2025-05-22T09:52:57Z)
• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• Multi-Grained Query-Guided Set Prediction Network for Grounded Multimodal Named Entity Recognition [9.506482334842293]
  Grounded Multimodal Named Entity Recognition (GMNER) は、新しい情報抽出(IE)タスクである。 近年,機械読解やシーケンス生成に基づくフレームワークを用いた統一手法は,この難易度に限界を生じさせている。 そこで我々は,Multi-fine Query-guided Set Prediction Network (MQSPN) という新しい統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-17T05:42:43Z)
• SnapNTell: Enhancing Entity-Centric Visual Question Answering with Retrieval Augmented Multimodal LLM [48.15067480282839]
  本研究は、エンティティ中心のVQAに特化して開発された、textbfSnapNTellという新しい評価ベンチマークを導入する。 データセットは22の主要なカテゴリに分けられ、合計で7,568のユニークなエンティティが含まれている。 提案手法はSnapNTellデータセットの既存手法を著しく上回り,BELURTスコアの66.5%向上を達成した。
  論文  参考訳（メタデータ） (2024-03-07T18:38:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。