論文の概要: ConfQA: Answer Only If You Are Confident

• arxiv url: http://arxiv.org/abs/2506.07309v1
• Date: Sun, 08 Jun 2025 22:51:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.758745
• Title: ConfQA: Answer Only If You Are Confident
• Title（参考訳）: ConfQA: あなたが信頼している場合にのみ答える
• Authors: Yin Huang, Yifan Ethan Xu, Kai Sun, Vera Yan, Alicia Sun, Haidar Khan, Jimmy Nguyen, Mohammad Kachuee, Zhaojiang Lin, Yue Liu, Aaron Colak, Anuj Kumar, Wen-tau Yih, Xin Luna Dong,
• Abstract要約: ConfQAは、複数の事実性ベンチマークで幻覚率を20～40%から5%以下に減らすことができる。 覚醒が15%-25%に留まることなく、行動を明確に指導するために、弱めのプロンプト「自信のある場合にのみ答える」を導入する。 本稿では、内部パラメータ化されたニューラルネットワークと外部記録されたシンボル知識をシームレスに選択するデュアルニューラルネットワークフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 49.34040922485979
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can we teach Large Language Models (LLMs) to refrain from hallucinating factual statements? In this paper we present a fine-tuning strategy that we call ConfQA, which can reduce hallucination rate from 20-40% to under 5% across multiple factuality benchmarks. The core idea is simple: when the LLM answers a question correctly, it is trained to continue with the answer; otherwise, it is trained to admit "I am unsure". But there are two key factors that make the training highly effective. First, we introduce a dampening prompt "answer only if you are confident" to explicitly guide the behavior, without which hallucination remains high as 15%-25%. Second, we leverage simple factual statements, specifically attribute values from knowledge graphs, to help LLMs calibrate the confidence, resulting in robust generalization across domains and question types. Building on this insight, we propose the Dual Neural Knowledge framework, which seamlessly select between internally parameterized neural knowledge and externally recorded symbolic knowledge based on ConfQA's confidence. The framework enables potential accuracy gains to beyond 95%, while reducing unnecessary external retrievals by over 30%.
• Abstract（参考訳）: 大きな言語モデル(LLM)に、幻覚的な事実表現を控えるように教えることができるか? 本稿では,複数の事実性ベンチマークにおいて幻覚率を20～40%から5%以下に削減できるConfQAと呼ぶ微調整戦略を提案する。 LLMが質問に正しく答えると、答えを継続するように訓練される。 しかし、トレーニングを効果的にするための2つの重要な要因があります。 まず, 覚醒が15%～25%に留まることなく, 行動を明確に指導するために「自信がある場合にのみ回答」を減らすプロンプトを導入する。 第2に、知識グラフの属性値である単純な事実文を利用して、LLMが信頼度を調整し、ドメインや質問タイプをまたいだ堅牢な一般化を実現する。 この知見に基づいて、内部パラメータ化されたニューラルネットワークと、ConfQAの信頼性に基づいた外部記録されたシンボル知識をシームレスに選択するデュアルニューラルネットワークフレームワークを提案する。 このフレームワークは、不要な外部検索を30%以上削減しながら、95%を超える潜在的な精度向上を可能にする。

関連論文リスト

• Inside-Out: Hidden Factual Knowledge in LLMs [50.79758420289131]
  この研究は、大言語モデル(LLM)が出力で表現したものよりも、パラメータの事実的知識を符号化するかどうかを評価するためのフレームワークを示す。 まず、与えられた質問に対して、正解が上位にランクされている正解対の分数として、その知識の形式的定義を定量化する。 次に、このフレームワークを3つの人気のあるオープンウェイト LLM に適用し、クローズドブック QA セットアップのケーススタディを示す。
  論文  参考訳（メタデータ） (2025-03-19T15:21:48Z)
• Learning to Route LLMs with Confidence Tokens [43.63392143501436]
  大規模言語モデルが回答の信頼性を確実に示すことができる範囲について検討する。 本稿では,LLMの信頼性を確実に表現するための軽量トレーニング戦略であるSelf-REFを提案する。 信頼度を言語化したり、トークンの確率を調べるといった従来の手法と比較して、信頼度トークンは下流のルーティングや拒否学習タスクにおいて著しく改善されていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-10-17T07:28:18Z)
• Are Large Language Models More Honest in Their Probabilistic or Verbalized Confidence? [26.69630281310365]
  大きな言語モデル (LLM) は、質問が内部知識境界を超えると幻覚を引き起こす。 LLMの知識境界に対する認識に関する既存の研究は、通常、生成されたトークンの確率またはモデルの応答に対する信頼度として言語化された信頼のいずれかを使用する。
  論文  参考訳（メタデータ） (2024-08-19T08:01:11Z)
• LACIE: Listener-Aware Finetuning for Confidence Calibration in Large Language Models [69.68379406317682]
  暗黙的および明示的な信頼マーカーを校正するリスナー対応微調整法 (LACIE) を提案する。 我々は,LACIEがリスナーをモデル化し,回答が正しいかどうかだけでなく,リスナーに受け入れられるかどうかを考察する。 LACIEによるトレーニングの結果、正しい回答の受け入れレベルを維持しながら、誤った回答が受け入れられる割合が47%減少することがわかった。
  論文  参考訳（メタデータ） (2024-05-31T17:16:38Z)
• Learning to Trust Your Feelings: Leveraging Self-awareness in LLMs for Hallucination Mitigation [9.730412606588335]
  我々は,Large Language Models (LLMs) の内的知識状態の識別と表現能力を評価する。 本稿では,LLMの事実と正直性を高めるために強化学習を活用する,知識フィードバックからの強化学習(RLKF)トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-27T16:19:30Z)
• Knowledge Verification to Nip Hallucination in the Bud [69.79051730580014]
  本研究では、アライメントデータに存在する外部知識と基礎LPM内に埋め込まれた固有の知識との矛盾を検証し、最小化することにより、幻覚を緩和する可能性を示す。 本稿では,知識一貫性アライメント(KCA, Knowledge Consistent Alignment)と呼ばれる新しい手法を提案する。 6つのベンチマークで幻覚を減らし, バックボーンとスケールの異なる基礎的LCMを利用することで, KCAの優れた効果を実証した。
  論文  参考訳（メタデータ） (2024-01-19T15:39:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。