論文の概要: Towards Dependable Retrieval-Augmented Generation Using Factual Confidence Prediction
- arxiv url: http://arxiv.org/abs/2605.05244v1
- Date: Mon, 04 May 2026 11:28:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-08 22:27:11.304824
- Title: Towards Dependable Retrieval-Augmented Generation Using Factual Confidence Prediction
- Title（参考訳）: Factual Confidence Prediction を用いた従属型検索生成に向けて
- Authors: Florian Geissler, Francesco Carella, Laura Fieback, Jakob Spiegelberg,
- Abstract要約: 検索プロセスの事実性に関する有意義な信頼度と生成した回答を関連付けることが重要である。
本稿では,新たな2段階の手法を提案する。
我々の研究は、幅広い自然言語産業応用のための新しいタイプの認証されたRAGシステムを確立するのに役立ちます。
- 参考スコア（独自算出の注目度）: 0.28932261919131014
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Incorporating specific knowledge into large language models via retrieval-augmented generation (RAG) is a widespread technique that fuels many of today's industry AI applications. A fundamental problem is to assess if the context retrieved by some similarity search provides indeed supporting facts, or instead misguides the generator with irrelevant information. It is critical to associate meaningful confidence measures about the factuality of the retrieval process with the generated answers. We present a new, two-staged approach to predict fact faithfulness of the output of retrieval-augmented generations. First, we employ conformal prediction to select only those retrieved chunks who have a high chance to come from the correct source. This approach in itself can improve answer quality by up to 6% in some of the studied datasets, however, the associated statistical guarantees do not hold generally, since the assumption of sample exchangeability depends on the retriever setup. We present diagnostic metrics to assess whether a setup is suitable. Second, we quantify confidence in the consistency of a generated final answer with a given retrieved context, using an attention-based factuality classifier. This approach can detect inconsistent answers with a chance of up to 77%. Our work helps to establish a novel type of certified RAG systems for a broad range of natural language industry applications.
- Abstract（参考訳）: 検索強化生成(RAG)を通じて、大きな言語モデルに特定の知識を組み込むことは、今日の業界AIアプリケーションの多くに役立てる広範なテクニックである。
基本的な問題は、類似した検索によって検索されたコンテキストが実際に事実を裏付けているかどうかを評価することである。
検索プロセスの事実性に関する有意義な信頼度と生成した回答を関連付けることが重要である。
本稿では,新たな2段階の手法を提案する。
まず、正しい情報源から得られる確率の高いチャンクのみを選択するために、共形予測を用いる。
このアプローチ自体は、いくつかの研究データセットで解答品質を最大6%向上させることができるが、サンプル交換可能性の仮定はレトリバーの設定に依存するため、関連する統計的保証は一般的には成立しない。
設定が適切かどうかを評価するための診断指標を提案する。
第2に、注目に基づく事実性分類器を用いて、生成した最終回答と与えられた検索された文脈との整合性に対する信頼度を定量化する。
このアプローチは、最大77%の確率で一貫性のない回答を検出することができる。
我々の研究は、幅広い自然言語産業応用のための新しいタイプの認証されたRAGシステムを確立するのに役立ちます。
関連論文リスト
- Leveraging LLM Parametric Knowledge for Fact Checking without Retrieval [60.25608870901428]
信頼性は、大規模言語モデル(LLM)上に構築されたエージェントAIシステムの中核研究課題である
本研究では,任意の自然言語クレームの検証に焦点をあて,検索なしで事実チェックを行うタスクを提案する。
論文 参考訳（メタデータ） (2026-03-05T18:42:51Z) - URAG: A Benchmark for Uncertainty Quantification in Retrieval-Augmented Large Language Models [35.441039437111606]
URAGは、医療、プログラミング、科学、数学、一般的なテキストなど、さまざまな分野にわたるRAGシステムの不確実性を評価するために設計されたベンチマークである。
評価パイプラインを8つの標準RAG手法に適用し,LACとAPSの計測値に基づいて,精度と予測セットのサイズを両立させ,その性能を計測する。
論文 参考訳（メタデータ） (2026-03-02T00:22:06Z) - A Knowledge Graph and a Tripartite Evaluation Framework Make Retrieval-Augmented Generation Scalable and Transparent [0.0]
本研究では,知識グラフとベクトル探索を用いて,文脈に富んだ応答を提供する検索型拡張生成(RAG)を提案する。
この研究の中心的な革新はRAG評価(RAG-Eval)の導入である。
RAG-Evalは、事実のギャップとクエリミスマッチを確実に検出し、高要求でデータ中心の環境への信頼を高める。
論文 参考訳（メタデータ） (2025-09-23T16:29:22Z) - Faithfulness-Aware Uncertainty Quantification for Fact-Checking the Output of Retrieval Augmented Generation [108.13261761812517]
本稿では,RAG出力における幻覚検出の新しい手法であるFRANQ(Fithfulness-based Retrieval Augmented Uncertainty Quantification)を紹介する。
本稿では,事実性と忠実性の両方に注釈を付したQAデータセットを提案する。
論文 参考訳（メタデータ） (2025-05-27T11:56:59Z) - Divide-Then-Align: Honest Alignment based on the Knowledge Boundary of RAG [51.120170062795566]
本稿では,問合せが知識境界外にある場合の"I don't know"で応答する機能を備えたRAGシステムを実現するためのDTAを提案する。
DTAは適切な棄権と精度のバランスをとり、検索強化システムの信頼性と信頼性を高める。
論文 参考訳（メタデータ） (2025-05-27T08:21:21Z) - SUGAR: Leveraging Contextual Confidence for Smarter Retrieval [28.552283701883766]
セマンティック不確実性誘導適応検索(SUGAR)について紹介する。
我々は、文脈に基づくエントロピーを利用して、検索するかどうかを積極的に決定し、シングルステップとマルチステップの検索を更に決定する。
実験の結果,意味的不確実性推定によって導かれる選択探索により,多様な質問応答タスクのパフォーマンスが向上し,より効率的な推論が達成された。
論文 参考訳（メタデータ） (2025-01-09T01:24:59Z) - Understanding the Impact of Confidence in Retrieval Augmented Generation: A Case Study in the Medical Domain [26.72234494972736]
Retrieval Augmented Generation (RAG) は、クエリの応答精度を高めるために外部情報を活用することで、Large Language Models (LLM) の知識を補完する。
本研究は、RAGが医療領域におけるLCM出力の信頼性を向上させるかどうかを検討することに焦点を当てた。
我々は,モデルの予測確率をその出力として扱い,キャリブレーション誤差法,エントロピー,最適確率,精度などを含むいくつかの評価指標を計算することにより,信頼度を評価する。
論文 参考訳（メタデータ） (2024-12-29T00:58:33Z) - Pointwise Mutual Information as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
文脈と問合せの間のポイントワイドな相互情報は,言語モデルの性能向上に有効な指標であることを示す。
本稿では,文書と質問のポイントワイドな相互情報を利用する2つの手法を提案する。
論文 参考訳（メタデータ） (2024-11-12T13:14:09Z) - Controlling Risk of Retrieval-augmented Generation: A Counterfactual Prompting Framework [77.45983464131977]
我々は、RAGモデルの予測が誤りであり、現実のアプリケーションにおいて制御不能なリスクをもたらす可能性がどの程度あるかに焦点を当てる。
本研究は,RAGの予測に影響を及ぼす2つの重要な潜伏要因を明らかにする。
我々は,これらの要因をモデルに誘導し,その応答に与える影響を解析する,反実的プロンプトフレームワークを開発した。
論文 参考訳（メタデータ） (2024-09-24T14:52:14Z) - CONFLARE: CONFormal LArge language model REtrieval [0.0]
Retrieval-augmented Generation (RAG)フレームワークは、大規模言語モデル(LLM)が知識ベースから関連する情報を検索し、応答を生成するコンテキストに組み込むことを可能にする。
RAGは、検索が必要な情報を応答生成のコンテキストとして識別できない場合、有効な応答を保証しない。
本稿では,RAGフレームワークにおける検索不確実性を定量化するために,共形予測を適用するための4段階のフレームワークを提案する。
論文 参考訳（メタデータ） (2024-04-04T02:58:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。