論文の概要: Dual-Confidence Contrastive Decoding for Retrieval-Augmented Generation
- arxiv url: http://arxiv.org/abs/2607.00570v1
- Date: Wed, 01 Jul 2026 07:55:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.788377
- Title: Dual-Confidence Contrastive Decoding for Retrieval-Augmented Generation
- Title(参考訳): Retrieval-Augmented Generationのためのデュアル信頼コントラスト復号法
- Authors: Raymond Li, Md Tawkat Islam Khondaker, Amirhossein Abaskohi, Gabriel Murray, Giuseppe Carenini, Issam H. Laradji,
- Abstract要約: 多文書RAGにおけるコンテクスト内競合の相補的問題について検討した。
トレーニング不要な復号法としてDual-Confidence Contrastive Decoding (DCCD)を提案する。
DCCDは、フルコンテキストとコントラストデコードベースラインの間で最高の平均性能を達成する。
- 参考スコア(独自算出の注目度): 18.633632165243423
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval-augmented generation (RAG) increasingly requires models to answer questions from multiple retrieved documents, where only some sources are relevant and the retrieved bundle may contain stale, noisy, or conflicting evidence. Existing contrastive decoding methods primarily focus on resolving conflicts between the model's internal memory and the retrieved context. In contrast, we study the complementary problem of intra-context conflict in multi-document RAG. To evaluate this setting, we introduce DRQA, a factual-conflict question answering benchmark derived from enterprise deep-research scenarios, where answers are grounded in synthetic enterprise-specific facts that are designed not to be recoverable from the model's internal memory. We further propose Dual-Confidence Contrastive Decoding (DCCD), a training-free decoding method that combines document-level confidence, which estimates whether a document appears sufficient for answering the question, with token-level confidence, which estimates whether that document supports a confident next-token prediction. DCCD selects positive and negative document-conditioned streams using these dual-confidence signals and scales a document-level contrast by their confidence margin. Across DRQA and standard multi-document QA benchmarks, DCCD achieves the best average performance among full-context and contrastive decoding baselines, with the largest gains on DRQA. These results highlight the importance of source-aware, confidence-gated decoding when retrieved evidence is internally conflicting.
- Abstract(参考訳): 検索拡張世代 (Retrieval-augmented generation, RAG) は、複数の検索された文書からの質問に答えるモデルを必要としている。
既存のコントラストデコーディング手法は、主にモデルの内部メモリと検索されたコンテキストの間の競合を解決することに焦点を当てている。
一方,マルチドキュメントRAGにおけるコンテクスト内競合の相補的問題について検討した。
この設定を評価するために、DRQAは、企業内記憶から復元できないよう設計された、企業固有の事象に答える、企業深層調査のシナリオから導かれた、事実と矛盾する質問応答ベンチマークである。
さらに、文書レベルの信頼度を推定する訓練不要な復号法であるDual-Confidence Contrastive Decoding (DCCD)を提案する。
DCCDは、これらの二重信頼信号を用いて正および負の文書条件ストリームを選択し、その信頼率によって文書レベルのコントラストをスケールする。
DRQAと標準マルチドキュメントQAベンチマークの他、DCCDはDRQAで最大のゲインを持つフルコンテキストおよびコントラストデコードベースラインで最高の平均性能を達成している。
これらの結果は、検索された証拠が内部的に矛盾している場合に、ソース認識、信頼に満ちた復号の重要性を強調している。
関連論文リスト
- Mitigating Context-Memory Conflicts in LLMs through Dynamic Cognitive Reconciliation Decoding [51.242997961841276]
大規模言語モデルは事前学習を通じてパラメトリック知識を蓄積する。
知識の衝突は、時代遅れまたは誤ったパラメトリック知識が文脈における外部知識と衝突する際に起こる。
既存の手法は、対照的な復号化を通じて知識の衝突に対処するが、競合のないシナリオでは静的アプローチが出力分布を妨害する。
本稿では,動的認知和解復号法(DCRD)を提案する。
論文 参考訳(メタデータ) (2026-05-12T14:29:45Z) - MARA: A Multimodal Adaptive Retrieval-Augmented Framework for Document Question Answering [51.19392014547221]
検索型マルチモーダル文書QAは,視覚的にリッチな文書から複雑なマルチモーダル構造を持つ関連情報を識別し,統合することを目的としている。
現在のアプローチは、サージェントなコンテンツを見渡すクエリに依存しないドキュメント表現に依存しています。
本稿では,クエリ適応生成を導入したMultimodal Adaptive Retrieval-Augmented (MARA)フレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-01T12:27:40Z) - ReliabilityRAG: Effective and Provably Robust Defense for RAG-based Web-Search [69.60882125603133]
本稿では,検索した文書の信頼性情報を明確に活用する,敵対的堅牢性のためのフレームワークであるReliabilityRAGを提案する。
我々の研究は、RAGの回収されたコーパスの腐敗に対するより効果的で確実に堅牢な防御に向けた重要な一歩である。
論文 参考訳(メタデータ) (2025-09-27T22:36:42Z) - Conflict-Aware Soft Prompting for Retrieval-Augmented Generation [13.671410389511498]
Retrieval-augmented Generation (RAG)は、外部知識を入力プロンプトに組み込むことで、大規模言語モデル(LLM)の能力を高める。
RAGはしばしば、誤った外部コンテキストと正しいパラメトリック知識の間の競合を解決できない。
コンテクストアセスタとベースLLMから構成されるCARE(Conflict-Aware Retrieval-Augmented Generation)を紹介する。
CAREはコンテキストメモリの競合を効果的に軽減し、QAとファクトチェックベンチマークの平均パフォーマンスは5.0%向上した。
論文 参考訳(メタデータ) (2025-08-21T05:36:29Z) - A Context-Aware Dual-Metric Framework for Confidence Estimation in Large Language Models [6.62851757612838]
大規模言語モデル(LLM)に対する現在の信頼度推定法は,応答と文脈情報の関連性を無視する。
本稿では,2つの新しい指標を用いた信頼度推定のためのコンテキスト忠実度と一貫性を統合したCRUXを提案する。
3つのベンチマークデータセットに対する実験は、CRUXの有効性を示し、既存のベースラインよりも高いAUROCを達成した。
論文 参考訳(メタデータ) (2025-08-01T12:58:34Z) - Rethinking All Evidence: Enhancing Trustworthy Retrieval-Augmented Generation via Conflict-Driven Summarization [11.875601079871865]
本稿では, 信頼性向上のための新しいフレームワークであるCARE-RAG(Conflict-Aware and Reliable Evidence for RAG)を提案する。
コンフリクトの検出と要約のために、3B LLaMA3.2モデルを蒸留し、コンフリクト駆動の要約を行い、複数のソース間で信頼性の高い合成を可能にする。
検索データを用いたQAデータセットの改訂実験により、CARE-RAGは強いRAGベースライン、特にノイズや矛盾するエビデンスのあるシナリオにおいて、一貫して優れることが示された。
論文 参考訳(メタデータ) (2025-07-02T01:39:49Z) - Generative Retrieval Meets Multi-Graded Relevance [104.75244721442756]
GRADed Generative Retrieval (GR$2$)というフレームワークを紹介します。
GR$2$は2つの重要なコンポーネントに焦点を当てている。
マルチグレードとバイナリの関連性を持つデータセットの実験は,GR$2$の有効性を示した。
論文 参考訳(メタデータ) (2024-09-27T02:55:53Z) - GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。
FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
論文 参考訳(メタデータ) (2022-04-12T03:49:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。