論文の概要: SAFE-G: Structure-aware Faithful Evidence-guided Generation for Knowledge-based Visual Question Answering
- arxiv url: http://arxiv.org/abs/2608.21796v1
- Date: Sat, 22 Aug 2026 06:34:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.473163
- Title: SAFE-G: Structure-aware Faithful Evidence-guided Generation for Knowledge-based Visual Question Answering
- Title（参考訳）: SAFE-G:知識に基づく視覚質問応答のための構造認識型信頼度誘導生成
- Abstract要約: SAFE-Gは構造対応のFiveence-Guided Generationフレームワークである。
正確な証拠のローカライズと信頼できる推論を可能にする。
従来の手法を8.9%と3.5%で上回っている。
- 参考スコア（独自算出の注目度）: 8.538563236020947
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Knowledge-based Visual Question Answering (KB-VQA) aims to answer queries that necessitate reasoning over external knowledge sources beyond the visual content. Typically, current methods fuse multimodal features to retrieve external information, subsequently leveraging Multimodal Large Language Models (MLLMs) to derive answers from the retrieved evidence. However, these methods often struggle to capture structural associations within complex contexts to effectively filter noise. Furthermore, they frequently fail to ensure that the reasoning process remains strictly faithful to the retrieved evidence. To address these challenges, we propose SAFE-G, a Structure-Aware Faithful Evidence-guided Generation framework, which enables precise evidence localization and trustworthy reasoning. Specifically, we first employ a coarse-grained hybrid search fusing visual and textual modalities to recall candidate documents, and subsequently implement a structure-aware fine-grained graph retrieval that captures structural dependencies to filter noise and pinpoint precise evidence. Moreover, we introduce a reinforcement learning (RL) strategy with an evidence-grounded reward that assigns credit to correct answers only when the selected evidence is correct. This strict alignment constraint compels the model to anchor its response in the retrieved context, effectively enhancing its capability to locate evidence via multimodal features and perform faithful reasoning. Extensive experiments on the Encyclopedic-VQA and InfoSeek benchmarks demonstrate that SAFE-G outperforms prior methods by a margin of 8.9% and 3.5%, substantially enhancing the overall reasoning accuracy. Our source code is publicly available at: https://github.com/MINE-USTC/SAFE-G.
- Abstract（参考訳）: 知識に基づくビジュアル質問回答(KB-VQA)は、視覚コンテンツ以外の外部知識ソースに対する推論を必要とするクエリに答えることを目的としている。
通常、現在の手法では、外部情報を取得するためにマルチモーダルな特徴を融合させ、その後、得られた証拠から回答を得るためにMLLM(Multimodal Large Language Models)を利用する。
しかし、これらの手法はノイズを効果的にフィルタするために複雑な文脈における構造的関連を捉えるのに苦労することが多い。
さらに、彼らはしばしば、引き出された証拠に厳格に忠実な推論過程を維持するのに失敗する。
これらの課題に対処するため、我々は、正確な証拠のローカライズと信頼できる推論を可能にする、構造化対応のFirthful Evidence-Guided GenerationフレームワークであるSAFE-Gを提案する。
具体的には、まず、まず視覚とテキストのモダリティを融合した粗粒度ハイブリッド検索を用いて候補文書をリコールし、次いで構造を意識した微粒度グラフ検索を実装し、ノイズをフィルタし、正確な証拠をピンポイントする。
さらに,選択された証拠が正しい場合にのみ,正解にクレジットを割り当てるエビデンスグラウンドの報酬を付与する強化学習(RL)戦略を導入する。
この厳密なアライメント制約は、検索された文脈でその応答をアンロックするモデルを補完し、マルチモーダルな特徴によって証拠を見つける能力を効果的に強化し、忠実な推論を行う。
Encyclopedic-VQA と InfoSeek のベンチマークによる大規模な実験では、SAFE-G は以前の手法よりも8.9% と 3.5% の差があり、全体的な推論精度が大幅に向上した。
私たちのソースコードは、https://github.com/MINE-USTC/SAFE-G.で公開されています。
関連論文リスト
- Navigating Sparse Evidence: Agentic Visual RAG via Explicit Context Selection and Consolidation [50.92223196290564]
明示的な証拠選択と統合のための統一エージェントループを提案する。
探索中、SCoREはクエリ関連観測とソースポインタのみを保守されたテキスト台帳に保持する。
終了時には、参照された元のイメージを再ロードし、答えの視覚的証拠を統合し、論理的なシーケンスにアレンジする。
論文 参考訳（メタデータ） (2026-09-14T16:11:35Z) - DeepWeaver: Bridging the Evidence Synthesis Gap in Open-Ended Question Answering [49.87758530386642]
ノイズの多い証拠を包括的回答に織り込むフレームワークであるDeepWeaverを提案する。
我々はDeepWeaverを知識ベースとWeb上のオープンエンドQAで評価し、エビデンス合成のための高密度ベンチマークであるLoQAを紹介した。
論文 参考訳（メタデータ） (2026-08-19T14:53:53Z) - REVEAL: A Rubric-Guided Agent for Explicit Evidence Sufficiency Verificationin Long-Video Question Answering [25.519927761448603]
REVEALは、長いビデオ質問応答のためのルーリック誘導エージェントフレームワークである。
本稿では,視覚的コヒーレントな隣接フレームを自然なイベント単位にグループ化する適応型視覚類似性に基づく前処理パイプラインを提案する。
この構造化メモリ上に構築されたREVEALは、自動的に構築されたルーリックライブラリを使用して、検索された証拠が満足度基準を満たすかどうかを明示的に検証する。
論文 参考訳（メタデータ） (2026-08-09T09:55:42Z) - DeepRefine: Agent-Compiled Knowledge Refinement via Reinforcement Learning [60.35032268606525]
エージェントコンパイルされた知識ベースは、下流タスクにおいて、大きな言語モデル(LLM)エージェントに対して永続的な外部知識を提供する。
しかし、その品質は、不完全性、不完全性、浮揚性によって体系的に制限される
論文 参考訳（メタデータ） (2026-05-11T12:48:31Z) - Leveraging LLM Parametric Knowledge for Fact Checking without Retrieval [60.25608870901428]
信頼性は、大規模言語モデル(LLM)上に構築されたエージェントAIシステムの中核研究課題である
本研究では,任意の自然言語クレームの検証に焦点をあて,検索なしで事実チェックを行うタスクを提案する。
論文 参考訳（メタデータ） (2026-03-05T18:42:51Z) - Multi-Sourced, Multi-Agent Evidence Retrieval for Fact-Checking [47.47518672198846]
インターネット上に拡散する誤報は、社会と個人の両方に重大な脅威をもたらす。
これまでの方法は、トレーニングデータから学んだ意味的パターンと社会的コンテキスト的パターンに依存していた。
我々は、証拠のコアリソースとして認証されたオープンナレッジグラフを利用するWKGFCを提案する。
論文 参考訳（メタデータ） (2026-02-27T19:29:01Z) - ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering [54.72902502486611]
ReAG(Reasoning-Augmented Multimodal RAG)は、粗い部分ときめ細かい部分の検索と、無関係な通路をフィルタリングする批評家モデルを組み合わせた手法である。
ReAGは従来の手法よりも優れており、解答精度が向上し、検索された証拠に根ざした解釈可能な推論を提供する。
論文 参考訳（メタデータ） (2025-11-27T19:01:02Z) - FAIR-RAG: Faithful Adaptive Iterative Refinement for Retrieval-Augmented Generation [0.0]
本稿では、標準的なRAGパイプラインを動的にエビデンス駆動の推論プロセスに変換する新しいエージェントフレームワークであるFAIR-RAGを紹介する。
本稿では,HotpotQA,2WikiMultiHopQA,MusiQueなどのマルチホップQAベンチマーク実験を行う。
我々の研究は、高度なRAGシステムにおける信頼性と正確な推論を解き明かすためには、明確なギャップ分析による構造化されたエビデンス駆動の洗練プロセスが不可欠であることを示す。
論文 参考訳（メタデータ） (2025-10-25T15:59:33Z) - Improving Context Fidelity via Native Retrieval-Augmented Reasoning [35.50952279309109]
大規模言語モデル(LLM)は、しばしば文脈の忠実さと闘い、提供された情報に基づいて質問に答えるときに矛盾する答えを生み出す。
提案するCAREは, LLMに対して, モデル独自の検索機能を用いて, 推論プロセス内での文脈内証拠を明示的に統合するように教える, 新たなネイティブ検索拡張推論フレームワークである。
提案手法では,限定ラベル付きエビデンスデータが必要であり,推論チェーン内の戦略的に検索されたインコンテキストトークンを通じて,検索精度と回答生成性能を著しく向上させる。
論文 参考訳（メタデータ） (2025-09-17T04:28:07Z) - ClueAnchor: Clue-Anchored Knowledge Reasoning Exploration and Optimization for Retrieval-Augmented Generation [82.54090885503287]
Retrieval-Augmented Generationは、外部知識を持つ大規模言語モデルを拡張して、事実性を改善する。
既存のRAGシステムは、忠実で解釈可能な推論をサポートするために必要な重要な手がかりを抽出して統合することができない。
本稿では,手掛かり付き推論探索と最適化によるRAG向上のための新しいフレームワークであるClueAnchorを提案する。
論文 参考訳（メタデータ） (2025-05-30T09:18:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。