論文の概要: ADVICE: Answer-Dependent Verbalized Confidence Estimation

• arxiv url: http://arxiv.org/abs/2510.10913v1
• Date: Mon, 13 Oct 2025 02:18:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:30.150819
• Title: ADVICE: Answer-Dependent Verbalized Confidence Estimation
• Title（参考訳）: ADVICE: Answer-Dependent Verbalized Confidence Estimation
• Authors: Ki Jung Seo, Sehun Lim, Taeuk Kim,
• Abstract要約: 言語的信頼の基盤となる力学を詳細に分析する。 我々は、回答の独立性を重要な要因とみなし、モデルが自身の回答に自信を持てないことを前提としています。 本稿では,回答基底の信頼度推定を容易にする微調整フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 7.331438721730309
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent progress in large language models (LLMs) has enabled them to express their confidence in natural language, enhancing transparency and reliability. However, their confidence often exhibits overconfidence, the cause of which remains poorly understood. In this work, we conduct a detailed analysis of the dynamics underlying verbalized confidence and identify answer-independence as a key factor, defined as the model's failure to condition confidence on its own answer. To address this, we propose ADVICE (Answer-Dependent Verbalized Confidence Estimation), a fine-tuning framework that facilitates answer-grounded confidence estimation. Extensive experiments show that ADVICE substantially improves confidence calibration while preserving task performance. Further analyses confirm that ADVICE strengthens answer-groundedness, leading to more balanced and well-calibrated confidence distributions. Our findings shed light on the origin of overconfidence and establish a framework for more trustworthy confidence verbalization.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩により、自然言語に対する自信が表現され、透明性と信頼性が向上した。 しかし、その信頼度はしばしば過信感を呈し、その原因はよく分かっていない。 本研究では, 言語的信頼の基盤となる力学を詳細に分析し, 自己の回答に対する信頼の条件付けに失敗したモデルにおいて, 応答依存性を重要な要因として同定する。 これを解決するために,回答基底の信頼度推定を容易にする微調整フレームワークADVICE(Answer-Dependent Verbalized Confidence Estimation)を提案する。 広範囲な実験により,ADVICEはタスク性能を維持しながら信頼性校正を大幅に改善することが示された。 さらなる分析により、ADVICEは答えの接地性を強化し、バランスの取れた信頼性分布がより高くなることが確認された。 以上の結果から,自信過剰の発起点を浮き彫りにし,より信頼に足る言語化の枠組みを確立した。

関連論文リスト

• Language Models Prefer What They Know: Relative Confidence Estimation via Confidence Preferences [62.52739672949452]
  言語モデル(LM)は、ユーザーがアウトプットの誤りを検知し、必要であれば人間の専門家に延期するのに役立つ、信頼性の高い信頼推定を提供する必要がある。 本稿では,相対的信頼度推定法を提案する。そこでは,相互に質問をマッチングし,モデルに信頼度を相対的に判断するよう求める。 各質問を、他の質問に対する「プレイヤー」として扱い、モデルの選好を一致結果として扱うことで、モデルの信頼性選好を信頼スコアに変換するために、Elo評価やBradley-Terryのようなランクアグリゲーション手法を使うことができる。
  論文  参考訳（メタデータ） (2025-02-03T07:43:27Z)
• Confidence in the Reasoning of Large Language Models [0.0]
  信頼度は、再考を促す際に、答えを維持するための永続性の観点から測定される。 信頼は、基礎となるトークンレベルの確率によってのみ部分的に説明される。
  論文  参考訳（メタデータ） (2024-12-19T10:04:29Z)
• Fact-Level Confidence Calibration and Self-Correction [64.40105513819272]
  本稿では,事実レベルでの信頼度と妥当性の重み付けを校正するFact-Levelフレームワークを提案する。 また,信頼度の高い自己補正(textbfConFix$)も開発した。
  論文  参考訳（メタデータ） (2024-11-20T14:15:18Z)
• Confidence Under the Hood: An Investigation into the Confidence-Probability Alignment in Large Language Models [14.5291643644017]
  信頼性・確率アライメントの概念を紹介します。 モデルの内部と信頼感の一致を調査する。 分析したモデルのうち、OpenAIのGPT-4は信頼性と信頼性のアライメントが最強であった。
  論文  参考訳（メタデータ） (2024-05-25T15:42:04Z)
• When to Trust LLMs: Aligning Confidence with Response Quality [49.371218210305656]
  我々はconfidence-Quality-ORDer保存アライメントアプローチ(CONQORD)を提案する。 品質報酬と秩序保存アライメント報酬機能を統合する。 実験により,CONQORDは信頼性と応答精度のアライメント性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-04-26T09:42:46Z)
• Think Twice Before Trusting: Self-Detection for Large Language Models through Comprehensive Answer Reflection [90.71323430635593]
  本稿では, LLM生成解を超える包括的解答空間を考察した, 新たな自己検出パラダイムを提案する。 このパラダイムに基づいて、2段階のフレームワークを導入し、まずまずLLMに各候補の回答を反映し、正当化するように指示する。 このフレームワークは、優れた自己検出のための既存のアプローチとシームレスに統合できる。
  論文  参考訳（メタデータ） (2024-03-15T02:38:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。