論文の概要: Measurement Validity and Representation Dynamics of Confidence Signals in Large Language Models

• arxiv url: http://arxiv.org/abs/2610.25846v1
• Date: Mon, 19 Oct 2026 06:04:38 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:02:01.010379
• Title: Measurement Validity and Representation Dynamics of Confidence Signals in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける信頼信号の測定妥当性と表現ダイナミクス
• Abstract要約: 我々は,音声による信頼度,隠れ状態に対する線形探索,サンプル回答間の一致を比較した。 第一に、事前充填状態で訓練されたプローブは、サンプリングされた回答がより早く発見されるかどうかを予測します。 第二に、言語化された信頼は不安定である:少し異なるプロンプトテンプレートは、ほとんど相関しないスコアを得る。 第3に、予測エラーは誤解を招く: 単語の信頼度はベースレート近くでクラスタ化され、差別が不十分であるのに対して、サンプリング合意はECEが悪く、解像度が約2倍である。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Whether a language model "knows what it knows" matters for trustworthy deployment and for deciding when it should abstain. Prior work usually measures this through one channel: verbalized confidence, a linear probe on hidden states, or agreement among sampled answers (semantic entropy), and often treats these as interchangeable. We compare all three in a pre-registered audit of five Qwen2.5 models (0.5B-7B, including a base/instruct pair at 7B) on factual retrieval (PopQA, SimpleQA) and multi-step reasoning (GSM8K, MATH). First, probes trained on prefill states to predict whether sampled answers will disagree become informative earlier for retrieval (about 7% of layer depth on average) than for reasoning (about 28%). The pre-registered five-layer test supported this only marginally; a finer 21-layer follow-up, designed after those results, supports it more clearly. In most retrieval cells, however, a prompt-only TF-IDF classifier matches the probe, so the early signal may reflect surface features of the question. Second, verbalized confidence is unstable: slightly different prompt templates yield scores that barely correlate. Third, Expected Calibration Error is misleading: verbal confidence looks well calibrated because it clusters near the base rate while discriminating poorly, whereas sampling agreement has worse ECE but about twice the resolution. Of five pre-registered hypotheses, two were falsified, one was partly supported, one was not supported, and one could not be tested because the base model's verbal confidence was degenerate.
• Abstract（参考訳）: 言語モデルが"何を知っているか"を知るかどうかは、信頼できるデプロイメントと、いつ停止するかを決めるためです。 従来の研究は、言語化された信頼、隠れた状態に対する線形プローブ、サンプリングされた回答(セマンティックエントロピー)の合意、そしてしばしばこれらを交換可能なものとして扱う。 実数検索(PopQA, SimpleQA)と多段階推論(GSM8K, MATH)に基づいて,5つのQwen2.5モデル(0.5B-7B,7Bのベース/インストラクションペアを含む)の事前登録監査を行った。 まず、サンプリングされた回答が、推論(平均的な層深さの約7%)よりも、より早く(平均的な層深さの約28%)情報的になるかどうかを予測するために、プリフィル州で訓練されたプローブ。 事前登録された5層試験は、これをわずかに支持しただけであり、これらの結果に追従して設計された21層フォローアップは、より明確に支持された。 しかし、ほとんどの検索細胞では、プロンプトのみのTF-IDF分類器がプローブと一致しているため、初期信号は問題の表面の特徴を反映する可能性がある。 第二に、言語化された信頼は不安定である:少し異なるプロンプトテンプレートは、ほとんど相関しないスコアを得る。 第3に、予測された校正誤差は誤解を招く: 言語的信頼度はベースレート近くでクラスタ化され、識別が不十分であるのに対して、サンプリング合意はECEが悪く、解像度が約2倍である。 予備登録された5つの仮説のうち、2つは偽装され、1つは部分的に支持され、1つは支持されなかった。

関連論文リスト

• When Confidence Rises Too Early: Detecting Shortcut Reasoning via Premature Answer Commitment [76.62469105933384]
  大規模言語モデル (LLM) は、ある答えにたどり着くためのショートカットを頼りにし、その決定を合理化する。 ConfLensは、推論を通じて最終的な回答における信頼の進化を追跡するフレームワークです。 本稿では,解答コミットメントに対する確率分布のエントロピーを測定するために,DACS(Distributal Answer Commitment Score)を提案する。
  論文  参考訳（メタデータ） (2026-09-28T13:00:25Z)
• Calibration, Not Answer Selection: Distilling Internal Confidence in Reasoning Models [34.46304985255693]
  言語化された自信は、モデルが答えにコミットする意思があるかを追跡します。 実際の質問応答では、思考の連鎖と答えの間の隠れ状態に対する線形プローブは、かなりよく校正されている。 Probe-SDは、モデル自身のサンプルトレースをプローブでスコアし、各トレース状態の信頼性を上書きし、同じファミリーのベースチェックポイントを微調整する。
  論文  参考訳（メタデータ） (2026-09-27T06:52:17Z)
• Reported Confidence in LLMs Tracks Commitment More Than Correctness [0.7783842564949857]
  信頼とは、選択された答えが正しい確率の見積もりである。 我々は、知覚的意思決定の神経科学から2段階の棄権パラダイムを用いてこれを検証した。 言語的自信は、その答えが正しいかどうかよりも、コミット/アビデンスの判断がかなり良いと予測した。
  論文  参考訳（メタデータ） (2026-06-28T16:39:18Z)
• Asking Is Not Enough: Protocol Sensitivity in LLM Confidence Calibration [3.450547277166974]
  LLMの信頼性校正は、トークン確率スコアと言語的信頼の2つの信号を比較することで評価されることが多い。 我々は、動詞化-vs-token比較を定義する測度軸を変化させる。 両信頼性信号はプロトコルに依存した行動測定として扱うべきである。
  論文  参考訳（メタデータ） (2026-05-26T23:03:38Z)
• Understanding and Mitigating Premature Confidence for Better LLM Reasoning [76.16007941549857]
  現在の言語モデルからの思考の長い連鎖(CoT)は、しばしば論理的ギャップと不正な跳躍を含んでいる。 このような信号は、モデルの信頼性が推論中にどのように進化するかを示す。 これは、モデルを早期にコミットするのではなく、理由によってモデルの信頼性を更新するように訓練する強化学習の目標です。
  論文  参考訳（メタデータ） (2026-05-23T04:42:45Z)
• What Single-Prompt Accuracy Misses: A Multi-Variant Reliability Audit of Language Models [0.0]
  シングルプロンプト精度は、言語モデルをベンチマークする主要な方法であるが、重要な信頼性障害を見逃す可能性がある。 15モデルオープンウェイトコーパスの評価を行い,5つの分類と推論ベンチマークによる10のインストラクトモデルに着目した信頼性解析を行った。 まず、評価設計は結論を根本的に変えることができる。 第2に、信頼信号は脆弱である。MMLU-Proでは、各プライマリモデルは、その精度と同一行上のトークン確率信頼の両方よりもかなり高い信頼度を言語的に報告し、単一のプロンプト変種における単一のモデルに対して、動詞のパースレートが崩壊する可能性がある。
  論文  参考訳（メタデータ） (2026-05-03T20:05:08Z)
• Sample Smart, Not Hard: Correctness-First Decoding for Better Reasoning in LLMs [72.82403830490084]
  我々は、復号規則は正確さによって校正されるべきであり、自信だけではならないと論じている。 Greedy-Threshold はこの目標を達成するための単純な戦略を提案します。 この結果から,不確実性の下での復号化が問題視され,数学や一般推論のベンチマークで有意な差がみられた。
  論文  参考訳（メタデータ） (2025-10-07T14:46:12Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• LACIE: Listener-Aware Finetuning for Confidence Calibration in Large Language Models [69.68379406317682]
  暗黙的および明示的な信頼マーカーを校正するリスナー対応微調整法 (LACIE) を提案する。 我々は,LACIEがリスナーをモデル化し,回答が正しいかどうかだけでなく,リスナーに受け入れられるかどうかを考察する。 LACIEによるトレーニングの結果、正しい回答の受け入れレベルを維持しながら、誤った回答が受け入れられる割合が47%減少することがわかった。
  論文  参考訳（メタデータ） (2024-05-31T17:16:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。