論文の概要: Stable Miscalibration in Large Language Models: A Practical View of High-Confidence Errors

• arxiv url: http://arxiv.org/abs/2608.13591v1
• Date: Wed, 15 Jul 2026 06:27:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.213708
• Title: Stable Miscalibration in Large Language Models: A Practical View of High-Confidence Errors
• Title（参考訳）: 大規模言語モデルにおける安定なミススキャリブレーション:高信頼エラーの実践的考察
• Abstract要約: 大規模言語モデルにおける高信頼誤差は、しばしば脆弱な内部推論の証拠として扱われる。 安定な誤校正は、小さな摂動の下では、確実な誤った答えが局所的に安定したままである。 我々は,信頼度変化と過信ミスを強制回答ベースラインで評価するラベル付き出力レベル監査スコアと,隠れ状態の動きを測定する内部感度プローブの2つの診断を組み合わせた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: High-confidence errors in large language models are often treated as evidence of fragile internal inference. We study a different possibility: stable miscalibration, where a confident wrong answer remains locally stable under small perturbations. We combine two diagnostics: a label-aware output-level audit score that ranks domains by confidence variation and overconfident mistakes under a forced-answer baseline, and an internal sensitivity probe that measures hidden-state movement. On a multi-domain binary factual audit set, this audit score tracks where abstention-aware self-critique reduces decision loss, although direct labeled baselines rank the same gain more strongly. Internally, self-critical prompting consistently reduces hidden-state sensitivity across layers in three open-weight models. This supports prompt-induced local stabilization rather than a purely output-level abstention pattern, but it does not imply calibration: audit-defined overconfident errors are not clearly more locally sensitive than confidently correct answers, so some high-confidence errors may be stable and miscalibrated rather than simply fragile.
• Abstract（参考訳）: 大規模言語モデルにおける高信頼誤差は、しばしば脆弱な内部推論の証拠として扱われる。 安定な誤校正は、小さな摂動の下では、確実な誤った答えが局所的に安定したままである。 我々は,信頼度変化と過信ミスを強制回答ベースラインで評価するラベル付き出力レベル監査スコアと,隠れ状態の動きを測定する内部感度プローブの2つの診断を組み合わせた。 マルチドメインの2つの事実監査セットにおいて、この監査スコアは、アプテンションを意識した自己批判が意思決定の損失を減少させるが、直接ラベル付きベースラインは、より強く、同じ利得をランク付けする。 内部的には、自己クリティカルなプロンプトは、3つのオープンウェイトモデルにおける層間の隠れ状態の感度を一貫して低下させる。 これは純粋に出力レベルの禁忌パターンではなく、即時的な局所安定化をサポートするが、これはキャリブレーションを含まない: 監査定義の過信エラーは、自信を持って答えを正すよりも、明らかに局所的に敏感ではない。

関連論文リスト

• When Linguistic and Internal Confidence Diverge in Large Language Models [36.57105743509995]
  大きな言語モデル(LLM)が内部の信頼度を追跡するかどうかは不明である。 分類において,言語的信頼度とロジットに基づく信頼度を比較する。 言語的信頼度が意味エントロピーに基づく不確実性を追跡するかどうかを世代毎に検証する。
  論文  参考訳（メタデータ） (2026-08-28T14:37:31Z)
• FALCON-Discover: Discovering Concentrated False-Confidence Regions for Calibration [26.80740674805048]
  本研究では,精度の高い誤差が予測空間のコンパクトで発見可能な領域を占有する程度である疑似信頼度濃度について検討する。 モデルに依存しないフレームワークであるFALCON-Discoverを導入する。
  論文  参考訳（メタデータ） (2026-06-29T01:23:52Z)
• Position: Uncertainty Quantification in LLMs is Just Unsupervised Clustering [8.56875523245176]
  不確かさの定量化は、大規模言語モデル(LLM)を高い領域に展開するための主要なセーフガードとして広く見なされている。 LLMの主流UQメソッドは、単に教師なしクラスタリングアルゴリズムである。
  論文  参考訳（メタデータ） (2026-05-19T00:47:02Z)
• Discovery of Hidden Miscalibration Regimes [52.452902154360565]
  モデルは何らかの入力を体系的に過信し、他人を過信することがある。 対応する誤校正分野を定義し,それを推定するための診断フレームワークを提案する。 提案手法は,入力空間のキャリブレーションを意識した表現を学習し,学習幾何学におけるカーネルの平滑化による符号付き局所的誤校正を推定する。
  論文  参考訳（メタデータ） (2026-05-13T13:07:50Z)
• Wired for Overconfidence: A Mechanistic Perspective on Inflated Verbalized Confidence in LLMs [31.99173240336646]
  大規模言語モデルにおける言語過信は、識別可能な内部回路によって駆動されることを示す。 以上の結果から, LLMにおける言語過信は, 識別可能な内部回路によって駆動され, 目的の介入によって緩和される可能性が示唆された。
  論文  参考訳（メタデータ） (2026-04-01T23:06:58Z)
• Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
  本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。 このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
  論文  参考訳（メタデータ） (2026-02-06T12:24:26Z)
• Decomposed Prompting Does Not Fix Knowledge Gaps, But Helps Models Say "I Don't Know" [47.930782177987446]
  大規模言語モデルは、クローズドブックの質問応答において知識限界を認識するのに苦労することが多く、自信ある幻覚へと繋がる。 我々は、モデルスケールの異なるDirect、Assistive、Incrementalの3つのタスク等価プロンプトとマルチホップQAベンチマークを評価した。 幻覚が一致している間に事実知識が安定しているため、クロスレジームは内部の不確実性の正確なシグナルを与える。
  論文  参考訳（メタデータ） (2026-02-04T18:39:58Z)
• Illusions of Confidence? Diagnosing LLM Truthfulness via Neighborhood Consistency [78.91846841708586]
  完全な自己整合性で答えられた事実でさえ、軽微な文脈干渉の下で急速に崩壊することを示します。 本研究では,概念的近傍における応答コヒーレンスを評価する信念の構造尺度であるNighbor-Consistency Belief(NCB)を提案する。 また、文脈不変の信念構造を最適化し、長い知識の脆さを約30%低減する構造意識訓練(SAT)を提案する。
  論文  参考訳（メタデータ） (2026-01-09T16:23:21Z)
• ConfTuner: Training Large Language Models to Express Their Confidence Verbally [58.63318088243125]
  大規模言語モデル(LLM)は、科学、法律、医療といった高度な領域にますます展開されている。 LLMは、しばしば「過信」(overconfidence)として知られる、高い信頼で誤った答えを生成するために観察される。
  論文  参考訳（メタデータ） (2025-08-26T09:25:32Z)
• Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
  多くの信頼度推定法は誤分類誤りを検出するのに有害である。 本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:44:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。