論文の概要: Rethinking LLM-Guided Visual Question Answering: Does Deeper Knowledge Integration Really Help?

• arxiv url: http://arxiv.org/abs/2610.17079v1
• Date: Mon, 12 Oct 2026 16:45:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 03:21:27.600747
• Title: Rethinking LLM-Guided Visual Question Answering: Does Deeper Knowledge Integration Really Help?
• Title（参考訳）: LLM-Guided Visual Question Answering: より深い知識統合は本当に役立つのか?
• Abstract要約: 我々は,Llama3.370Bを用いた構造化推論指導,視覚的焦点概念,イントラクタ要素,外部知識を生成する。 我々は、OK-VQAベンチマーク上で、統合凍結ViT + FLAN-T5フレームワーク内の2つの統合戦略を比較した。 より深い統合が優れているという仮定が一般的であるのとは対照的に、浅い後続核融合が最強の結果をもたらすことが分かる。
• 参考スコア（独自算出の注目度）: 4.933781780814596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge-based Visual Question Answering (VQA) requires reasoning that extends beyond visible image content, demanding external commonsense and factual knowledge. While recent work leverages Large Language Models (LLMs) as knowledge sources, the question of how deeply such guidance should be integrated into a vision language architecture remains underexplored. In this work, we generate structured reasoning guidance, visual focus concepts, distractor elements and external knowledge using Llama~3.3~70B and systematically compare two integration strategies within a unified frozen ViT + FLAN-T5 framework on the OK-VQA benchmark: decision level late fusion and attention-matrix injection. Contrary to the prevailing assumption that deeper integration is superior, we find that shallow late fusion achieves the strongest results (39.4% exact match, +10.0 over the no guidance baseline), outperforming deep attention modification (31.8%) under data scarce fine-tuning. We further contribute an LLM based augmentation pipeline that expands training data more than tenfold via question paraphrasing. Our findings indicate that integration depth must be matched to the data regime.
• Abstract（参考訳）: 知識に基づく視覚質問回答(VQA)は、視覚的な画像コンテンツを超えて、外部の常識と事実的知識を要求する推論を必要とする。 最近の研究では、Large Language Models (LLM) を知識ソースとして活用しているが、そのようなガイダンスを視覚言語アーキテクチャにどの程度深く組み込むべきかという問題は未解決のままである。 本研究は,Llama~3.3～70Bを用いて構造化推論指導,視覚的焦点概念,イントラクタ要素,外部知識を生成し,OK-VQAベンチマーク上での凍結ViT+FLAN-T5フレームワーク内の2つの統合戦略を系統的に比較する。 より深い統合が優れているという仮定とは対照的に、浅層核融合は最強の結果(39.4%の正確な一致、ガイダンスベースラインなし+10.0)を達成し、データ不足による深い注意修正(31.8%)を上回っている。 さらに,質問文による10倍以上のトレーニングデータを拡張したLLMベースの拡張パイプラインをコントリビュートする。 以上の結果から,統合深度はデータ構造と一致しなくてはならないことが示唆された。

関連論文リスト

• Knowledge-based Visual Question Answer with Multimodal Processing, Retrieval and Filtering [55.49652734090316]
  知識に基づく視覚的質問応答(KB-VQA)は、視覚的理解と外部知識検索を統合するために視覚言語モデル(VLM)を必要とする。 本稿では,処理,検索,フィルタリングといった3段階の手法をWiki-PRFと呼ぶ。 ベンチマークデータセット(E-VQAとInfoSeek)の実験では、回答の品質が大幅に向上し、最先端のパフォーマンスが達成された。
  論文  参考訳（メタデータ） (2025-10-16T12:10:00Z)
• KnowTrace: Bootstrapping Iterative Retrieval-Augmented Generation with Structured Knowledge Tracing [64.38243807002878]
  我々は、大規模言語モデルにおけるコンテキスト過負荷を軽減するためのエレガントなRAGフレームワークであるKnowTraceを紹介する。 KnowTraceは、必要な知識三つ子を自律的に追跡して、入力された質問に関連する特定の知識グラフを整理する。 3つのマルチホップ質問応答ベンチマークで、既存のメソッドを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-05-26T17:22:20Z)
• DeepPerception: Advancing R1-like Cognitive Visual Perception in MLLMs for Knowledge-Intensive Visual Grounding [61.26026947423187]
  人間の専門家は、ドメイン知識を活用して知覚的特徴を洗練することによって、きめ細かい視覚的識別に長けている。 現在のMLLM(Multimodal Large Language Models)は、推論を視覚的知覚に統合するのに苦労している。 本稿では,認知的視覚能力を強化したMLLMであるDeepPerceptionを提案する。
  論文  参考訳（メタデータ） (2025-03-17T04:06:34Z)
• GIVE: Structured Reasoning of Large Language Models with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを融合して、最小の外部入力で正確な推論を改善する新しい推論手法である。 GIVE は LLM エージェントをガイドして,最も関連する専門家データ (observe) を選択し,クエリ固有の発散思考 (reflect) に従事し,その情報を合成して最終的な出力 (speak) を生成する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• Think-on-Graph 2.0: Deep and Faithful Large Language Model Reasoning with Knowledge-guided Retrieval Augmented Generation [14.448198170932226]
  Think-on-Graph 2.0 (ToG-2) は、構造化されていない知識ソースと構造化されていない知識ソースの両方から情報を反復的に取得するハイブリッドRAGフレームワークである。 ToG-2は、グラフ検索とコンテキスト検索の交互に、質問に関連する詳細な手がかりを検索する。 GPT-3.5で7つの知識集約データセットのうち6つで、全体的なSOTA(State-of-the-art)のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-07-15T15:20:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。