論文の概要: When Linguistic and Internal Confidence Diverge in Large Language Models

• arxiv url: http://arxiv.org/abs/2608.28382v1
• Date: Fri, 28 Aug 2026 14:37:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.354227
• Title: When Linguistic and Internal Confidence Diverge in Large Language Models
• Title（参考訳）: 言語モデルにおける言語的・内的信頼の多様性
• Abstract要約: 大きな言語モデル(LLM)が内部の信頼度を追跡するかどうかは不明である。 分類において,言語的信頼度とロジットに基づく信頼度を比較する。 言語的信頼度が意味エントロピーに基づく不確実性を追跡するかどうかを世代毎に検証する。
• 参考スコア（独自算出の注目度）: 36.57105743509995
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Users often ask large language models (LLMs) to report how confident they are, but it is unclear whether such linguistic confidence tracks the model's internal confidence. We study this question across 8 classification tasks, 2 generation tasks and 30 models from three families. For classification, we compare linguistic confidence with logits-based confidence along three axes: association, magnitude agreement and calibration. For generation, we test whether linguistic confidence tracks semantic-entropy-based uncertainty. The axes frequently diverge. Instance-level association is weak on average, although it improves on easier items and for stronger base models. Instruction-tuned models often report higher confidence and sometimes show higher association, but they also have larger confidence gaps and worse calibration. Prompt design mostly changes the distribution of reported confidence. Attitude cues inflate confidence without improving alignment, while score exemplars can preserve rank-order signal when they avoid collapsed confidence values. Regression analyses show that distributional properties of confidence scores explain much of the observed alignment pattern, with model metadata playing a smaller role after controls. These results support a lossy-channel view of linguistic confidence. A more dispersed verbal confidence distribution can carry useful rank information, but it does not make the scores calibrated. Linguistic confidence should therefore be evaluated with multi-axis diagnostics before being used in downstream reliability pipelines.
• Abstract（参考訳）: ユーザーは大規模言語モデル(LLM)に、その信頼性を報告するよう依頼することが多いが、そのような言語的自信がモデルの内部信頼を追跡できるかどうかは不明である。 本研究では,8つの分類課題,2つの世代課題,30のモデルを対象とした。 分類において,言語的信頼度とロジットに基づく信頼度を比較する。 言語的信頼度が意味エントロピーに基づく不確実性を追跡するかどうかを世代毎に検証する。 軸はしばしば分岐する。 インスタンスレベルのアソシエーションは平均的に弱いが、より簡単なアイテムやより強力なベースモデルで改善される。 インストラクションチューニングされたモデルは、しばしば高い信頼性を報告し、時にはより高い関連を示すが、より大きな信頼ギャップとより悪いキャリブレーションを持つ。 プロンプト設計は、主に報告された信頼性の分布を変化させる。 姿勢はアライメントを改善することなく信頼を増すが、スコアの見習いは信頼の崩壊を避ける際にランク順の信号を保持することができる。 回帰分析により、信頼度スコアの分布特性は観察されたアライメントパターンの多くを説明でき、モデルメタデータは制御後のより小さな役割を担っていることが示された。 これらの結果は、言語的信頼の損失チャンネルビューを支持する。 より分散された言語的信頼分布は有用なランク情報を運ぶことができるが、スコアを校正しない。 したがって、下流の信頼性パイプラインで使用される前に、言語的信頼度を多軸診断で評価する必要がある。

関連論文リスト

• When Confidence Signals Disagree: Local and Global Confidence in Autoregressive Language Models [0.0]
  自己回帰言語モデルにおいて,異なる信頼度が経験的に交換可能であるかを検討する。 MMLU と ARC Challenge 全体では、2つの信号は弱い相関関係にあり、その正しさと大きく異なる。 より大きい局所-グローバル信頼ギャップは、より高い回答エントロピー、より明確なサンプル回答、低いモーダル・アンサー濃度と関連している。
  論文  参考訳（メタデータ） (2026-09-15T10:08:48Z)
• Speaking in Self-Assessing Tongues: On the Verbalized Confidence of LLMs in Machine Translation [20.39535344813245]
  予測確率のような内部信号に基づく教師なしのアプローチは、正確性ではなく選択肢間の確実性を反映しているため、誤解を招く可能性がある。 我々は,これらの欠点を伴わずにLLM毎の信頼度を抽出し,その信頼性をモデルの内部信号の確実性と比較する5つの言語化手法を考案した。 内部的手法と言語的手法の相関はほとんど見つからない。
  論文  参考訳（メタデータ） (2026-06-15T19:27:47Z)
• Confidence Geometry Reveals Trace-Level Correctness in Large Language Model Reasoning [5.094079537924077]
  信頼性トラジェクトリは、誤った推論トレースから正解であることを示す。 正確性関連情報は推論の尾に富む。 本稿では,信頼度評価のための信頼軌道から学習する軽量な推定器であるNeuralConfを提案する。
  論文  参考訳（メタデータ） (2026-05-16T05:57:00Z)
• Identifying Influential N-grams in Confidence Calibration via Regression Analysis [53.95767806659635]
  回帰法を適用することにより,言語表現が信頼とどのような関係があるかを明らかにする。 我々は,大言語モデル (LLM) が推論に関わる場合,過度に信頼されていることを示す。 性能低下を伴わずに過信表現を単純に抑えることで、信頼度校正が可能であることを明らかにした。
  論文  参考訳（メタデータ） (2026-04-07T11:58:49Z)
• Self-Aware Knowledge Probing: Evaluating Language Models' Relational Knowledge through Confidence Calibration [10.249145599960748]
  既存の知識プローブは、予測精度や精度などのメトリクスを通じてモデル機能を評価する。 モデル信頼性の3つのモダリティを網羅した,リレーショナル知識のための新しいキャリブレーション探索フレームワークを提案する。 我々の分析によると、ほとんどのモデル、特にマスキングの目的で事前訓練されたモデルは、過信されている。
  論文  参考訳（メタデータ） (2026-01-26T19:11:48Z)
• Can Large Language Models Express Uncertainty Like Human? [71.27418419522884]
  我々は,人間に注釈を付けた信頼スコアを持つヘッジ式の最初の多種多様な大規模データセットをリリースする。 現代大言語モデルにまたがる言語信頼に関する最初の体系的研究を行う。
  論文  参考訳（メタデータ） (2025-09-29T02:34:30Z)
• ConfTuner: Training Large Language Models to Express Their Confidence Verbally [58.63318088243125]
  大規模言語モデル(LLM)は、科学、法律、医療といった高度な領域にますます展開されている。 LLMは、しばしば「過信」(overconfidence)として知られる、高い信頼で誤った答えを生成するために観察される。
  論文  参考訳（メタデータ） (2025-08-26T09:25:32Z)
• SteerConf: Steering LLMs for Confidence Elicitation [11.872504642312705]
  大規模言語モデル(LLM)は、様々な領域で素晴らしいパフォーマンスを示すが、しばしば過剰な自信に悩まされる。 本稿では,LCMの信頼性スコアを体系的に評価し,キャリブレーションと信頼性を向上させる新しいフレームワークであるSteerConfを提案する。
  論文  参考訳（メタデータ） (2025-03-04T18:40:49Z)
• Language Models Prefer What They Know: Relative Confidence Estimation via Confidence Preferences [62.52739672949452]
  言語モデル(LM)は、ユーザーがアウトプットの誤りを検知し、必要であれば人間の専門家に延期するのに役立つ、信頼性の高い信頼推定を提供する必要がある。 本稿では,相対的信頼度推定法を提案する。そこでは,相互に質問をマッチングし,モデルに信頼度を相対的に判断するよう求める。 各質問を、他の質問に対する「プレイヤー」として扱い、モデルの選好を一致結果として扱うことで、モデルの信頼性選好を信頼スコアに変換するために、Elo評価やBradley-Terryのようなランクアグリゲーション手法を使うことができる。
  論文  参考訳（メタデータ） (2025-02-03T07:43:27Z)
• Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
  多くの信頼度推定法は誤分類誤りを検出するのに有害である。 本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:44:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。