論文の概要: Closing the Confidence-Faithfulness Gap in Large Language Models

• arxiv url: http://arxiv.org/abs/2603.25052v1
• Date: Thu, 26 Mar 2026 05:42:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-27 20:52:48.122323
• Title: Closing the Confidence-Faithfulness Gap in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける信頼度ギャップの閉鎖
• Authors: Miranda Muqing Miao, Lyle Ungar,
• Abstract要約: 大規模言語モデルは、実際の精度から大きく切り離された信頼スコアを言語化する。 本稿では,言語的信頼度に関する機械論的解釈可能性分析について述べる。 本稿では,モデルの内部精度推定値を読み取る2段階適応型ステアリングパイプラインを導入する。
• 参考スコア（独自算出の注目度）: 3.122242683664973
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) tend to verbalize confidence scores that are largely detached from their actual accuracy, yet the geometric relationship governing this behavior remain poorly understood. In this work, we present a mechanistic interpretability analysis of verbalized confidence, using linear probes and contrastive activation addition (CAA) steering to show that calibration and verbalized confidence signals are encoded linearly but are orthogonal to one another -- a finding consistent across three open-weight models and four datasets. Interestingly, when models are prompted to simultaneously reason through a problem and verbalize a confidence score, the reasoning process disrupts the verbalized confidence direction, exacerbating miscalibration. We term this the "Reasoning Contamination Effect." Leveraging this insight, we introduce a two-stage adaptive steering pipeline that reads the model's internal accuracy estimate and steers verbalized output to match it, substantially improving calibration alignment across all evaluated models.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、実際の精度から大きく切り離された信頼スコアを言葉で表す傾向にあるが、この振る舞いを管理する幾何学的関係はいまだに理解されていない。 本研究では、線形プローブとコントラストアクティベーション加算(CAA)ステアリングを用いて、線形に校正信号と発声信頼信号が符号化されているが、互いに直交していることを示す。 興味深いことに、モデルが問題を通じて同時に推論を促され、信頼スコアが言語化されると、推論プロセスは言語化された信頼方向を乱し、誤校正が悪化する。 これを「汚染防止効果」と呼ぶ。 この知見を生かして、モデルの内部精度推定値を読み取る2段階適応型ステアリングパイプラインを導入し、それに対応するために言語化された出力をステアリングし、評価されたモデル全体のキャリブレーションアライメントを大幅に改善する。

関連論文リスト

• Decoding the Critique Mechanism in Large Reasoning Models [50.821607345799386]
  大規模推論モデル(LRM)は、バックトラックと自己検証メカニズムを示し、中間ステップを修正して正しい解に到達できるようにする。 中間推論ステップに算術ミスを挿入することにより,現在のLEMがエラーからどのように回復するかを検討する。 チェーン・オブ・シークレットを伝播する誤りにもかかわらず、モデルは依然として正しい最終解に達している。
  論文  参考訳（メタデータ） (2026-03-17T10:03:30Z)
• On Calibration of Large Language Models: From Response To Capability [66.59139960234326]
  大規模言語モデル(LLM)は汎用的な問題解決手段として広くデプロイされている。 本稿では,クエリ上でモデルが期待する精度を目標とするキャリブレーションを提案する。 我々の結果は、キャパシティ校正された信頼度がpass@$k$予測と推論予算割り当てを改善することを示している。
  論文  参考訳（メタデータ） (2026-02-14T01:07:45Z)
• Direct Confidence Alignment: Aligning Verbalized Confidence with Internal Confidence In Large Language Models [6.918665116014629]
  トークン確率から導かれるモデルの内部信頼は、その言語化された信頼とうまく一致しない。 我々は,LLMの言語的信頼と内的信頼とを一致させるために,直接信頼アライメント(DCA)を提案する。
  論文  参考訳（メタデータ） (2025-12-12T19:29:05Z)
• Verbalized Confidence Triggers Self-Verification: Emergent Behavior Without Explicit Reasoning Supervision [12.287123198288079]
  大規模言語モデル(LLM)の安全な配置には不確実性校正が不可欠である 我々は,スカラー信頼ラベルのみを用いた教師付き微調整が,言語モデルの自己検証行動を引き出すのに十分であることがわかった。 キャリブレーションされた不確実性に基づいて,テスト時間スケーリングによる性能向上を図った簡易な再考手法を提案する。
  論文  参考訳（メタデータ） (2025-06-04T08:56:24Z)
• Reasoning Models Better Express Their Confidence [43.29929311958733]
  大規模言語モデル(LLM)は、信頼を正確に伝達できないことが多い。 拡張チェーン・オブ・シークレット(CoT)推論に携わる推論モデルは優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2025-05-20T15:19:00Z)
• Object-Level Verbalized Confidence Calibration in Vision-Language Models via Semantic Perturbation [26.580361841501514]
  視覚言語モデル(VLM)は様々なマルチモーダルタスクに優れるが、しばしばキャリブレーションに苦しむ。 この誤判定は、特にモデルが不正確または製造された情報を確実に提供した場合、ユーザーの信頼を損なう。 本稿では,文節摂動(CSP)フレームワークを新たに提案し,オブジェクト中心クエリの言語的信頼度を校正する手法を提案する。
  論文  参考訳（メタデータ） (2025-04-21T04:01:22Z)
• Epistemic Integrity in Large Language Models [10.50127599111102]
  大規模な言語モデルは情報ソースにますます頼っているが、偽りや誤解を招く声明の妥当性はユーザーや社会に高いリスクをもたらす。 本稿では,モデルの言語的主張が真の内部的確証を反映しないという,誤校正の重大な問題に直面する。 大規模言語モデルの言語的アサーション性を評価するための,新しい人的ミスアライメント評価と新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-10T17:10:13Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
  強靭性と精度のトレードオフは、敵文学において広く研究されている。 局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。 定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
  論文  参考訳（メタデータ） (2022-02-21T10:36:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。