論文の概要: ConfQA: Answer Only If You Are Confident

• arxiv url: http://arxiv.org/abs/2506.07309v1
• Date: Sun, 08 Jun 2025 22:51:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.758745
• Title: ConfQA: Answer Only If You Are Confident
• Title（参考訳）: ConfQA: あなたが信頼している場合にのみ答える
• Authors: Yin Huang, Yifan Ethan Xu, Kai Sun, Vera Yan, Alicia Sun, Haidar Khan, Jimmy Nguyen, Mohammad Kachuee, Zhaojiang Lin, Yue Liu, Aaron Colak, Anuj Kumar, Wen-tau Yih, Xin Luna Dong,
• Abstract要約: ConfQAは、複数の事実性ベンチマークで幻覚率を20～40%から5%以下に減らすことができる。 覚醒が15%-25%に留まることなく、行動を明確に指導するために、弱めのプロンプト「自信のある場合にのみ答える」を導入する。 本稿では、内部パラメータ化されたニューラルネットワークと外部記録されたシンボル知識をシームレスに選択するデュアルニューラルネットワークフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 49.34040922485979
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can we teach Large Language Models (LLMs) to refrain from hallucinating factual statements? In this paper we present a fine-tuning strategy that we call ConfQA, which can reduce hallucination rate from 20-40% to under 5% across multiple factuality benchmarks. The core idea is simple: when the LLM answers a question correctly, it is trained to continue with the answer; otherwise, it is trained to admit "I am unsure". But there are two key factors that make the training highly effective. First, we introduce a dampening prompt "answer only if you are confident" to explicitly guide the behavior, without which hallucination remains high as 15%-25%. Second, we leverage simple factual statements, specifically attribute values from knowledge graphs, to help LLMs calibrate the confidence, resulting in robust generalization across domains and question types. Building on this insight, we propose the Dual Neural Knowledge framework, which seamlessly select between internally parameterized neural knowledge and externally recorded symbolic knowledge based on ConfQA's confidence. The framework enables potential accuracy gains to beyond 95%, while reducing unnecessary external retrievals by over 30%.
• Abstract（参考訳）: 大きな言語モデル(LLM)に、幻覚的な事実表現を控えるように教えることができるか? 本稿では,複数の事実性ベンチマークにおいて幻覚率を20～40%から5%以下に削減できるConfQAと呼ぶ微調整戦略を提案する。 LLMが質問に正しく答えると、答えを継続するように訓練される。 しかし、トレーニングを効果的にするための2つの重要な要因があります。 まず, 覚醒が15%～25%に留まることなく, 行動を明確に指導するために「自信がある場合にのみ回答」を減らすプロンプトを導入する。 第2に、知識グラフの属性値である単純な事実文を利用して、LLMが信頼度を調整し、ドメインや質問タイプをまたいだ堅牢な一般化を実現する。 この知見に基づいて、内部パラメータ化されたニューラルネットワークと、ConfQAの信頼性に基づいた外部記録されたシンボル知識をシームレスに選択するデュアルニューラルネットワークフレームワークを提案する。 このフレームワークは、不要な外部検索を30%以上削減しながら、95%を超える潜在的な精度向上を可能にする。

関連論文リスト

• When Two LLMs Debate, Both Think They'll Win [0.0]
  大規模言語モデル (LLM) を動的, 敵対的な議論環境で評価する。 我々は10のLLMのうち60の3ラウンドの政策討論を組織した。 パターンを5つ観察した。
  論文  参考訳（メタデータ） (2025-05-25T15:06:17Z)
• Inside-Out: Hidden Factual Knowledge in LLMs [50.79758420289131]
  この研究は、大言語モデル(LLM)が出力で表現したものよりも、パラメータの事実的知識を符号化するかどうかを評価するためのフレームワークを示す。 まず、与えられた質問に対して、正解が上位にランクされている正解対の分数として、その知識の形式的定義を定量化する。 次に、このフレームワークを3つの人気のあるオープンウェイト LLM に適用し、クローズドブック QA セットアップのケーススタディを示す。
  論文  参考訳（メタデータ） (2025-03-19T15:21:48Z)
• Learning to Route LLMs with Confidence Tokens [43.63392143501436]
  大規模言語モデルが回答の信頼性を確実に示すことができる範囲について検討する。 本稿では,LLMの信頼性を確実に表現するための軽量トレーニング戦略であるSelf-REFを提案する。 信頼度を言語化したり、トークンの確率を調べるといった従来の手法と比較して、信頼度トークンは下流のルーティングや拒否学習タスクにおいて著しく改善されていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-10-17T07:28:18Z)
• Are Large Language Models More Honest in Their Probabilistic or Verbalized Confidence? [26.69630281310365]
  大きな言語モデル (LLM) は、質問が内部知識境界を超えると幻覚を引き起こす。 LLMの知識境界に対する認識に関する既存の研究は、通常、生成されたトークンの確率またはモデルの応答に対する信頼度として言語化された信頼のいずれかを使用する。
  論文  参考訳（メタデータ） (2024-08-19T08:01:11Z)
• LLM Internal States Reveal Hallucination Risk Faced With a Query [62.29558761326031]
  人間は、クエリに直面したとき、私たちが知らないことを認識できる自己認識プロセスを持っています。 本稿では,大規模言語モデルが応答生成に先立って,自身の幻覚リスクを推定できるかどうかを検討する。 確率推定器により, LLM自己評価を利用して, 平均幻覚推定精度84.32%を達成する。
  論文  参考訳（メタデータ） (2024-07-03T17:08:52Z)
• LACIE: Listener-Aware Finetuning for Confidence Calibration in Large Language Models [69.68379406317682]
  暗黙的および明示的な信頼マーカーを校正するリスナー対応微調整法 (LACIE) を提案する。 我々は,LACIEがリスナーをモデル化し,回答が正しいかどうかだけでなく,リスナーに受け入れられるかどうかを考察する。 LACIEによるトレーニングの結果、正しい回答の受け入れレベルを維持しながら、誤った回答が受け入れられる割合が47%減少することがわかった。
  論文  参考訳（メタデータ） (2024-05-31T17:16:38Z)
• Learning to Trust Your Feelings: Leveraging Self-awareness in LLMs for Hallucination Mitigation [9.730412606588335]
  我々は,Large Language Models (LLMs) の内的知識状態の識別と表現能力を評価する。 本稿では,LLMの事実と正直性を高めるために強化学習を活用する,知識フィードバックからの強化学習(RLKF)トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-27T16:19:30Z)
• Knowledge Verification to Nip Hallucination in the Bud [69.79051730580014]
  本研究では、アライメントデータに存在する外部知識と基礎LPM内に埋め込まれた固有の知識との矛盾を検証し、最小化することにより、幻覚を緩和する可能性を示す。 本稿では,知識一貫性アライメント(KCA, Knowledge Consistent Alignment)と呼ばれる新しい手法を提案する。 6つのベンチマークで幻覚を減らし, バックボーンとスケールの異なる基礎的LCMを利用することで, KCAの優れた効果を実証した。
  論文  参考訳（メタデータ） (2024-01-19T15:39:49Z)
• Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs [60.61002524947733]
  従来の信頼性推論手法は、内部モデル情報やモデル微調整へのホワイトボックスアクセスに依存していた。 これにより、不確実性推定のためのブラックボックスアプローチの未解決領域を探索する必要性が高まっている。 言語的信頼を導き出すための戦略の推進、複数の応答を生成するためのサンプリング方法、一貫性を計算するための集約手法の3つの要素からなる体系的フレームワークを定義する。
  論文  参考訳（メタデータ） (2023-06-22T17:31:44Z)
• How Much Can We Really Trust You? Towards Simple, Interpretable Trust Quantification Metrics for Deep Neural Networks [94.65749466106664]
  我々は思考実験を行い、信頼と信頼に関する2つの重要な疑問を探求する。 我々は、一連の質問に答える際の行動に基づいて、ディープニューラルネットワークの全体的な信頼性を評価するための一連のメトリクスを紹介します。 提案されたメトリクスは必ずしも完璧ではありませんが、よりよいメトリクスに向かって会話を推し進めることが望まれています。
  論文  参考訳（メタデータ） (2020-09-12T17:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。