論文の概要: ERA: Evidence-based Reliability Alignment for Honest Retrieval-Augmented Generation
- arxiv url: http://arxiv.org/abs/2604.20854v1
- Date: Tue, 24 Feb 2026 01:45:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-04 02:32:14.11374
- Title: ERA: Evidence-based Reliability Alignment for Honest Retrieval-Augmented Generation
- Title(参考訳): ERA:Evidence-based Reliability Asignment for Honest Retrieval-Augmented Generation
- Authors: Sunguk Shin, Meeyoung Cha, Byung-Jun Lee, Sungwon Park,
- Abstract要約: 本稿ではERA(Evidence-based Reliability Alignment)と呼ばれる新しいフレームワークを提案する。
提案手法は, 解答カバレッジと棄却のトレードオフを最適化し, 校正精度を向上し, ベースラインを著しく向上させる。
- 参考スコア(独自算出の注目度): 19.616905640490252
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval-Augmented Generation (RAG) grounds language models in factual evidence but introduces critical challenges regarding knowledge conflicts between internalized parameters and retrieved information. However, existing reliability methods, typically relying on scalar confidence, fail to explicitly distinguish between epistemic uncertainty and inherent data ambiguity in such hybrid scenarios. In this paper, we propose a new framework called ERA (Evidence-based Reliability Alignment) to enhance abstention behavior in RAG systems by shifting confidence estimation from scalar probabilities to explicit evidence distributions. Our method consists of two main components: (1) Contextual Evidence Quantification, which models internal and external knowledge as independent belief masses via the Dirichlet distribution, and (2) Quantifying Knowledge Conflict, which leverages Dempster-Shafer Theory (DST) to rigorously measure the geometric discordance between information sources. These components are used to disentangle epistemic uncertainty from aleatoric uncertainty and modulate the optimization objective based on detected conflicts. Experiments on standard benchmarks and a curated generalization dataset demonstrate that our approach significantly outperforms baselines, optimizing the trade-off between answer coverage and abstention with superior calibration.
- Abstract(参考訳): Retrieval-Augmented Generation (RAG)は、言語モデルを事実的証拠に定めているが、内部化されたパラメータと検索された情報の間の知識の衝突に関して重要な課題を提起する。
しかし、既存の信頼性手法は、通常、スカラーの信頼性に頼っているが、そのようなハイブリッドシナリオにおいて、疫学的な不確実性と固有のデータのあいまいさを明確に区別することができない。
本稿では,ERA(Evidence-based Reliability Alignment)と呼ばれる新しいフレームワークを提案する。
本手法は,(1)ディリクレ分布を介して内的および外的知識を独立した信念の塊としてモデル化する文脈的証拠量化,(2)デプスター・シェーファー理論(DST)を利用して情報ソース間の幾何学的不一致を厳密に測定する量化知識競合からなる。
これらの成分は、動脈硬化性不確実性からててんかん性不確実性を取り除き、検出された矛盾に基づいて最適化目標を調節するために用いられる。
標準ベンチマークとキュレートされた一般化データセットの実験により、我々のアプローチはベースラインを著しく上回り、解答カバレッジと棄却のトレードオフを最適化し、キャリブレーションが優れていることを示した。
関連論文リスト
- Towards Trustworthy Depression Estimation via Disentangled Evidential Learning [50.22167852149165]
EviDepはうつ病の重症度を共同で定量化する明らかな学習フレームワークである。
EviDepは、堅牢な証拠合成を保証するために厳密な情報整合性を強制する。
最先端の予測精度と優れた不確実性校正を実現し、信頼できる臨床スクリーニングのための堅牢なフェールセーフメカニズムを提供する。
論文 参考訳(メタデータ) (2026-04-17T13:27:11Z) - Uncertainty in Federated Granger Causality: From Origins to Systemic Consequences [3.122408196953971]
Granger Causality (GC)は時系列データから因果構造を学ぶための厳密なフレームワークを提供する。
フェデレーションGCアルゴリズムは因果関係を決定論的に推定し、不確実性を無視するのみである。
本稿では,不確実性を厳密に定量化するための最初の手法を確立する。
論文 参考訳(メタデータ) (2026-02-13T15:12:18Z) - LLM-Centric RAG with Multi-Granular Indexing and Confidence Constraints [5.2604064919135896]
本稿では,複雑な知識環境下での検索強化生成において,不十分なカバレッジ,不安定な結果,信頼性の制限といった問題に対処する。
複数粒度メモリインデックスと不確実性推定を統合した信頼度制御法を提案する。
提案手法は,QA精度,検索リコール,ランキング品質,事実整合性において,既存モデルよりも優れた性能を実現する。
論文 参考訳(メタデータ) (2025-10-30T23:48:37Z) - Trusted Uncertainty in Large Language Models: A Unified Framework for Confidence Calibration and Risk-Controlled Refusal [31.458406135473805]
異種不確実性証拠を正当性の校正確率に変換する統一フレームワークUniCRを提案する。
UniCRは、温度スケーリングと適切なスコアリングを備えた軽量なキャリブレーションヘッドを学習する。
ショートフォームQA、実行テスト付きコード生成、検索強化ロングフォームQAの実験は、キャリブレーションメトリクスの一貫性のある改善を示している。
論文 参考訳(メタデータ) (2025-09-01T13:14:58Z) - A Context-Aware Dual-Metric Framework for Confidence Estimation in Large Language Models [6.62851757612838]
大規模言語モデル(LLM)に対する現在の信頼度推定法は,応答と文脈情報の関連性を無視する。
本稿では,2つの新しい指標を用いた信頼度推定のためのコンテキスト忠実度と一貫性を統合したCRUXを提案する。
3つのベンチマークデータセットに対する実験は、CRUXの有効性を示し、既存のベースラインよりも高いAUROCを達成した。
論文 参考訳(メタデータ) (2025-08-01T12:58:34Z) - Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。
RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。
批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。
AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
論文 参考訳(メタデータ) (2025-04-21T04:56:47Z) - TrustLoRA: Low-Rank Adaptation for Failure Detection under Out-of-distribution Data [62.22804234013273]
本稿では,共変量および意味的シフトの両条件下での拒絶による分類を統一し,促進する,単純な故障検出フレームワークを提案する。
キーとなる洞察は、障害固有の信頼性知識を低ランクアダプタで分離し、統合することにより、障害検出能力を効果的かつ柔軟に向上できるということです。
論文 参考訳(メタデータ) (2025-04-20T09:20:55Z) - ParamMute: Suppressing Knowledge-Critical FFNs for Faithful Retrieval-Augmented Generation [91.20492150248106]
本研究では,不誠実な生成の背後にある内部メカニズムを解明し,不均等に活性化される中深度フィードフォワードネットワーク(FFN)のサブセットを同定する。
本研究では,不信感関連FFNの活性化を抑制することにより,文脈的忠実度を向上させるフレームワークであるParametric Knowledge Mutingを提案する。
実験結果から,ParamMuteはCoFaithfulQAと確立されたConFiQAベンチマークの両方の信頼度を大幅に向上し,パラメトリックメモリへの依存度を大幅に低下させることが示された。
論文 参考訳(メタデータ) (2025-02-21T15:50:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。