論文の概要: Guaranteeing Knowledge Integration with Joint Decoding for Retrieval-Augmented Generation
- arxiv url: http://arxiv.org/abs/2604.08046v2
- Date: Wed, 15 Apr 2026 12:48:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-16 13:09:57.346092
- Title: Guaranteeing Knowledge Integration with Joint Decoding for Retrieval-Augmented Generation
- Title（参考訳）: 検索拡張生成のための共同復号化による知識統合の保証
- Abstract要約: GuarantRAGは、証拠統合から推論を明示的に分離するフレームワークである。
5つのQAベンチマークの実験では、GurantRAGは最大で12.1%精度が向上している。
- 参考スコア（独自算出の注目度）: 45.13215113490545
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval-Augmented Generation (RAG) significantly enhances Large Language Models (LLMs) by providing access to external knowledge. However, current research primarily focuses on retrieval quality, often overlooking the critical ''integration bottleneck'': even when relevant documents are retrieved, LLMs frequently fail to utilize them effectively due to conflicts with their internal parametric knowledge. In this paper, we argue that implicitly resolving this conflict in a single generation pass is suboptimal. We introduce GuarantRAG, a framework that explicitly decouples reasoning from evidence integration. First, we generate an ''Inner-Answer'' based solely on parametric knowledge to capture the model's reasoning flow. Second, to guarantee faithful evidence extraction, we generate a ''Refer-Answer'' using a novel Contrastive DPO objective. This objective treats the parametric Inner-Answer as a negative constraint and the retrieved documents as positive ground truth, forcing the model to suppress internal hallucinations in favor of external evidence during this phase. Finally, rather than naive concatenation or using the DPO trained model directly, we propose a joint decoding mechanism that dynamically fuses the logical coherence of the Inner-Answer with the factual precision of the Refer-Answer at the token level. Experiments on five QA benchmarks demonstrate that GuarantRAG improves accuracy by up to 12.1% and reduces hallucinations by 16.3% compared to standard and dynamic RAG baselines.
- Abstract（参考訳）: Retrieval-Augmented Generation (RAG)は、外部知識へのアクセスを提供することで、LLM(Large Language Models)を大幅に強化する。
しかし、近年の研究では、重要な「統合ボトルネック」を見越して検索品質に重点を置いており、関連する文書を検索しても、内部のパラメトリック知識と矛盾するため、LLMは効果的に利用できないことが多い。
本稿では、この衝突を1世代で暗黙的に解決することは、最適以下であると論じる。
本稿では,証拠統合から推論を明示的に分離するフレームワークであるGurantRAGを紹介する。
まず,モデルの推論フローを捉えるためのパラメトリック知識のみに基づく'インナー・アンサー'を生成する。
第二に、忠実な証拠抽出を保証するために、新しいコントラストDPO目標を用いて'Refer-Answer'を生成する。
この目的は、パラメトリックなインナーアンサーを負の制約として扱い、検索された文書を正の根拠の真理として扱い、このフェーズにおいて、モデルが外部の証拠を優先して内部幻覚を抑制することを強制する。
最後に,DPO学習モデルを直接使用するのではなく,トークンレベルでのRefer-Answerの実際の精度と内部解答者の論理的コヒーレンスを動的に融合させる共同復号機構を提案する。
5つのQAベンチマークの実験では、GurantRAGは標準および動的RAGベースラインと比較して、精度を最大12.1%向上し、幻覚を16.3%低減している。
関連論文リスト
- Align Documents to Questions: Question-Oriented Document Rewriting for Retrieval-Augmented Generation [51.55755193937205]
提案するQREAMは,検索した文書を事実を保存しながら質問指向のスタイルで整列するスタイル制御リライタである。
本フレームワークは,(1) 反復的書き換え探索にスタイリスティックシードを用いたQREAM-ICL,(2) ICL出力から抽出した軽量学生モデルQREAM-FTの2段階からなる。
論文 参考訳（メタデータ） (2026-04-19T08:39:21Z) - ERA: Evidence-based Reliability Alignment for Honest Retrieval-Augmented Generation [19.616905640490252]
本稿ではERA(Evidence-based Reliability Alignment)と呼ばれる新しいフレームワークを提案する。
提案手法は, 解答カバレッジと棄却のトレードオフを最適化し, 校正精度を向上し, ベースラインを著しく向上させる。
論文 参考訳（メタデータ） (2026-02-24T01:45:51Z) - Search-R2: Enhancing Search-Integrated Reasoning via Actor-Refiner Collaboration [49.9937230730202]
本稿では,新たなアクター・リファイナ・コラボレーション・フレームワークであるSearch-R2を提案する。
提案手法は,生成過程をアクターに分解し,最初の推論軌道を生成する。
本稿では,検索-R2がモデルスケール全体にわたって強力なRAGとRLベースのベースラインを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-02-03T15:32:09Z) - CTRL-RAG: Contrastive Likelihood Reward Based Reinforcement Learning for Context-Faithful RAG Models [29.703793991791674]
既存のRAG指向強化学習法は、文書の忠実さを評価するのにしばしば失敗する外部報酬に依存している。
コントラッシブ・ライリフッド・リワード(CLR)を中心とした新たな「内外的」ハイブリッド報酬枠組を提案する。
CLRは、エビデンスをサポートしないプロンプトで条件付けられたレスポンス間のログライクなギャップを直接最適化する。
論文 参考訳（メタデータ） (2026-02-02T12:21:59Z) - Reasoning While Asking: Transforming Reasoning Large Language Models from Passive Solvers to Proactive Inquirers [41.58256327940237]
Proactive Interactive Reasoningは、大規模言語モデルからProactive Inquirerに変換する。
PIRは、ユーザと直接対話することで、前提レベルと意図レベルの不確実性を目標とします。
数学的推論、コード生成、文書編集の実験は、PIRが強いベースラインを一貫して上回ることを示した。
論文 参考訳（メタデータ） (2026-01-29T18:56:12Z) - EviNote-RAG: Enhancing RAG Models via Answer-Supportive Evidence Notes [39.61443457073034]
EviNote-RAGは検索ノート・アンサーのワークフローに従うフレームワークである。
生の外部情報を直接推論する代わりに、モデルが最初にサポート・エビデンス・ノートを生成する。
EviNote-RAGは最先端のパフォーマンスを実現し、回答の正確性、トレーニングの安定性、堅牢性、効率性を向上する。
論文 参考訳（メタデータ） (2025-08-31T14:44:45Z) - Rethinking All Evidence: Enhancing Trustworthy Retrieval-Augmented Generation via Conflict-Driven Summarization [11.875601079871865]
本稿では, 信頼性向上のための新しいフレームワークであるCARE-RAG(Conflict-Aware and Reliable Evidence for RAG)を提案する。
コンフリクトの検出と要約のために、3B LLaMA3.2モデルを蒸留し、コンフリクト駆動の要約を行い、複数のソース間で信頼性の高い合成を可能にする。
検索データを用いたQAデータセットの改訂実験により、CARE-RAGは強いRAGベースライン、特にノイズや矛盾するエビデンスのあるシナリオにおいて、一貫して優れることが示された。
論文 参考訳（メタデータ） (2025-07-02T01:39:49Z) - Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。
RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。
批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。
AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
論文 参考訳（メタデータ） (2025-04-21T04:56:47Z) - ParamMute: Suppressing Knowledge-Critical FFNs for Faithful Retrieval-Augmented Generation [91.20492150248106]
本研究では,不誠実な生成の背後にある内部メカニズムを解明し,不均等に活性化される中深度フィードフォワードネットワーク(FFN)のサブセットを同定する。
本研究では,不信感関連FFNの活性化を抑制することにより,文脈的忠実度を向上させるフレームワークであるParametric Knowledge Mutingを提案する。
実験結果から,ParamMuteはCoFaithfulQAと確立されたConFiQAベンチマークの両方の信頼度を大幅に向上し,パラメトリックメモリへの依存度を大幅に低下させることが示された。
論文 参考訳（メタデータ） (2025-02-21T15:50:41Z) - Self-RAG: Learning to Retrieve, Generate, and Critique through
Self-Reflection [74.51523859064802]
我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。
自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。
様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
論文 参考訳（メタデータ） (2023-10-17T18:18:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。