論文の概要: ConfRAG: Confidence-Guided Retrieval-Augmenting Generation

• arxiv url: http://arxiv.org/abs/2506.07309v2
• Date: Tue, 30 Sep 2025 04:41:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.02602
• Title: ConfRAG: Confidence-Guided Retrieval-Augmenting Generation
• Title（参考訳）: ConfRAG: 信頼性をガイドした検索機能拡張世代
• Authors: Yin Huang, Yifan Ethan Xu, Kai Sun, Vera Yan, Alicia Sun, Haidar Khan, Jimmy Nguyen, Jingxiang Chen, Mohammad Kachuee, Zhaojiang Lin, Yue Liu, Aaron Colak, Anuj Kumar, Wen-tau Yih, Xin Luna Dong,
• Abstract要約: 複数の事実性ベンチマークで幻覚率を20～40%から5%以下に下げる微調整戦略であるConfQAを紹介した。 モデルが不確実に応答した場合のみRAGを起動するトリガー戦略であるConfRAGを提案する。 この枠組みは、不要な外部検索を30%以上削減しつつ、理想的な場合において95%以上の精度を達成する。
• 参考スコア（独自算出の注目度）: 41.78313747240249
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Can Large Language Models (LLMs) be trained to avoid hallucinating factual statements, and can Retrieval-Augmented Generation (RAG) be triggered only when necessary to reduce retrieval and computation costs? In this work, we address both challenges simultaneously. We introduce ConfQA, a fine-tuning strategy that reduces hallucination rates from 20-40% to below 5% across multiple factuality benchmarks. The approach is simple: when the model answers correctly, it is trained to output the answer; otherwise, it is trained to respond with "I am unsure". Two design choices make this training effective: (1) a dampening prompt ("answer only if you are confident") that explicitly discourages overconfident hallucinations, and (2) training data drawn from atomic factual statements (e.g., knowledge graph attribute values), which calibrates model confidence and yields robust generalization across domains and question types. Building on ConfQA, we propose ConfRAG, a triggering strategy that invokes RAG only when the model responses with unsure. This framework achieves accuracy above 95% in ideal case while reducing unnecessary external retrievals by over 30%.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、事実文の幻覚を避けるために訓練され、検索と計算コストを削減するために必要な場合にのみ、検索可能なRAG(Retrieval-Augmented Generation)をトリガーできるだろうか? 本研究では,両課題を同時に解決する。 複数の事実性ベンチマークで幻覚率を20～40%から5%以下に下げる微調整戦略であるConfQAを紹介した。 アプローチは単純です – モデルが正しく答えると、答えを出力するようにトレーニングされます。 1) 自信過剰な幻覚を明示的に回避する減衰プロンプト(「自信がある場合にのみ答える」)と,(2) 信頼度をモデル化し,ドメインや質問タイプ間で堅牢な一般化をもたらす,原子的事実記述(知識グラフ属性値など)から引き出されたトレーニングデータである。 ConfQAに基づいて構築されたConfRAGは、モデルが不確実な応答をした場合のみRAGを起動するトリガー戦略である。 この枠組みは、不要な外部検索を30%以上削減しつつ、理想的な場合において95%以上の精度を達成する。

関連論文リスト

• When Two LLMs Debate, Both Think They'll Win [0.0]
  大規模言語モデル (LLM) を動的, 敵対的な議論環境で評価する。 我々は10のLLMのうち60の3ラウンドの政策討論を組織した。 パターンを5つ観察した。
  論文  参考訳（メタデータ） (2025-05-25T15:06:17Z)
• Inside-Out: Hidden Factual Knowledge in LLMs [50.79758420289131]
  この研究は、大言語モデル(LLM)が出力で表現したものよりも、パラメータの事実的知識を符号化するかどうかを評価するためのフレームワークを示す。 まず、与えられた質問に対して、正解が上位にランクされている正解対の分数として、その知識の形式的定義を定量化する。 次に、このフレームワークを3つの人気のあるオープンウェイト LLM に適用し、クローズドブック QA セットアップのケーススタディを示す。
  論文  参考訳（メタデータ） (2025-03-19T15:21:48Z)
• Learning to Route LLMs with Confidence Tokens [43.63392143501436]
  大規模言語モデルが回答の信頼性を確実に示すことができる範囲について検討する。 本稿では,LLMの信頼性を確実に表現するための軽量トレーニング戦略であるSelf-REFを提案する。 信頼度を言語化したり、トークンの確率を調べるといった従来の手法と比較して、信頼度トークンは下流のルーティングや拒否学習タスクにおいて著しく改善されていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-10-17T07:28:18Z)
• Are Large Language Models More Honest in Their Probabilistic or Verbalized Confidence? [26.69630281310365]
  大きな言語モデル (LLM) は、質問が内部知識境界を超えると幻覚を引き起こす。 LLMの知識境界に対する認識に関する既存の研究は、通常、生成されたトークンの確率またはモデルの応答に対する信頼度として言語化された信頼のいずれかを使用する。
  論文  参考訳（メタデータ） (2024-08-19T08:01:11Z)
• LLM Internal States Reveal Hallucination Risk Faced With a Query [62.29558761326031]
  人間は、クエリに直面したとき、私たちが知らないことを認識できる自己認識プロセスを持っています。 本稿では,大規模言語モデルが応答生成に先立って,自身の幻覚リスクを推定できるかどうかを検討する。 確率推定器により, LLM自己評価を利用して, 平均幻覚推定精度84.32%を達成する。
  論文  参考訳（メタデータ） (2024-07-03T17:08:52Z)
• LACIE: Listener-Aware Finetuning for Confidence Calibration in Large Language Models [69.68379406317682]
  暗黙的および明示的な信頼マーカーを校正するリスナー対応微調整法 (LACIE) を提案する。 我々は,LACIEがリスナーをモデル化し,回答が正しいかどうかだけでなく,リスナーに受け入れられるかどうかを考察する。 LACIEによるトレーニングの結果、正しい回答の受け入れレベルを維持しながら、誤った回答が受け入れられる割合が47%減少することがわかった。
  論文  参考訳（メタデータ） (2024-05-31T17:16:38Z)
• Learning to Trust Your Feelings: Leveraging Self-awareness in LLMs for Hallucination Mitigation [9.730412606588335]
  我々は,Large Language Models (LLMs) の内的知識状態の識別と表現能力を評価する。 本稿では,LLMの事実と正直性を高めるために強化学習を活用する,知識フィードバックからの強化学習(RLKF)トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-27T16:19:30Z)
• Knowledge Verification to Nip Hallucination in the Bud [69.79051730580014]
  本研究では、アライメントデータに存在する外部知識と基礎LPM内に埋め込まれた固有の知識との矛盾を検証し、最小化することにより、幻覚を緩和する可能性を示す。 本稿では,知識一貫性アライメント(KCA, Knowledge Consistent Alignment)と呼ばれる新しい手法を提案する。 6つのベンチマークで幻覚を減らし, バックボーンとスケールの異なる基礎的LCMを利用することで, KCAの優れた効果を実証した。
  論文  参考訳（メタデータ） (2024-01-19T15:39:49Z)
• Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs [60.61002524947733]
  従来の信頼性推論手法は、内部モデル情報やモデル微調整へのホワイトボックスアクセスに依存していた。 これにより、不確実性推定のためのブラックボックスアプローチの未解決領域を探索する必要性が高まっている。 言語的信頼を導き出すための戦略の推進、複数の応答を生成するためのサンプリング方法、一貫性を計算するための集約手法の3つの要素からなる体系的フレームワークを定義する。
  論文  参考訳（メタデータ） (2023-06-22T17:31:44Z)
• How Much Can We Really Trust You? Towards Simple, Interpretable Trust Quantification Metrics for Deep Neural Networks [94.65749466106664]
  我々は思考実験を行い、信頼と信頼に関する2つの重要な疑問を探求する。 我々は、一連の質問に答える際の行動に基づいて、ディープニューラルネットワークの全体的な信頼性を評価するための一連のメトリクスを紹介します。 提案されたメトリクスは必ずしも完璧ではありませんが、よりよいメトリクスに向かって会話を推し進めることが望まれています。
  論文  参考訳（メタデータ） (2020-09-12T17:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。