論文の概要: Calibration Across Layers: Understanding Calibration Evolution in LLMs

• arxiv url: http://arxiv.org/abs/2511.00280v1
• Date: Fri, 31 Oct 2025 21:58:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:26.709068
• Title: Calibration Across Layers: Understanding Calibration Evolution in LLMs
• Title（参考訳）: 層間キャリブレーション:LLMにおけるキャリブレーションの進化を理解する
• Authors: Abhinav Joshi, Areeb Ahmad, Ashutosh Modi,
• Abstract要約: 大規模言語モデル(LLM)は、予測された確率が正確さとうまく一致する固有のキャリブレーション能力を示している。 近年の研究では、エントロピーニューロンや非埋め込み行列ヌル空間のような最終層の特定の成分にこの挙動を関連付けている。 キャリブレーションは最終射影だけでなく,ネットワーク前方パス全体に形成される分散現象であることを示す。
• 参考スコア（独自算出の注目度）: 22.333229451408414
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated inherent calibration capabilities, where predicted probabilities align well with correctness, despite prior findings that deep neural networks are often overconfident. Recent studies have linked this behavior to specific components in the final layer, such as entropy neurons and the unembedding matrix null space. In this work, we provide a complementary perspective by investigating how calibration evolves throughout the network depth. Analyzing multiple open-weight models on the MMLU benchmark, we uncover a distinct confidence correction phase in the upper/later layers, where model confidence is actively recalibrated after decision certainty has been reached. Furthermore, we identify a low-dimensional calibration direction in the residual stream whose perturbation significantly improves calibration metrics (ECE and MCE) without harming accuracy. Our findings suggest that calibration is a distributed phenomenon, shaped throughout the network forward pass, not just in its final projection, providing new insights into how confidence-regulating mechanisms operate within LLMs.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、深いニューラルネットワークがしばしば過信されているという以前の発見にもかかわらず、予測された確率が正確さとうまく一致している、固有のキャリブレーション能力を示している。 近年の研究では、エントロピーニューロンや非埋め込み行列ヌル空間のような最終層の特定の成分にこの挙動を関連付けている。 本研究では,ネットワーク奥行きのキャリブレーションがどのように進化していくかを検討することで,補完的な視点を提供する。 MMLUベンチマークで複数のオープンウェイトモデルを解析した結果、上層および後層において、決定確実性に達した後、モデル信頼性が積極的に再評価される、明確な信頼補正フェーズが明らかになった。 さらに,摂動が精度を損なうことなくキャリブレーション指標(ECE,MCE)を著しく改善する残流内の低次元キャリブレーション方向を同定した。 以上の結果から,キャリブレーションは最終投射だけでなく,ネットワーク前方パス全体に形成される分散現象であり,LCM内での信頼性制御機構の動作に関する新たな知見が得られた。

関連論文リスト

• Beyond Overconfidence: Foundation Models Redefine Calibration in Deep Neural Networks [11.21724937864103]
  ディープニューラルネットワークは、特に分布シフトにおいて、体系的な過信を示すことが知られている。 本稿では,基礎モデルの校正挙動を包括的に調査する。
  論文  参考訳（メタデータ） (2025-06-11T10:48:36Z)
• Calibrating Deep Neural Network using Euclidean Distance [5.3612053942581275]
  機械学習では、Focal Lossは、サンプルの分類が難しいことを強調することで、誤分類率を減らすために一般的に使用される。 高校正誤差は予測確率と実際の結果との相違を示し、モデルの信頼性に影響を及ぼす。 本研究では,FCL (Focal Loss) と呼ばれる新しい損失関数を導入する。
  論文  参考訳（メタデータ） (2024-10-23T23:06:50Z)
• Decoupling of neural network calibration measures [45.70855737027571]
  本稿では,AUSE(Area Under Sparsification Error curve)測定値に焦点をあてて,異なるニューラルネットワークキャリブレーション尺度の結合について検討する。 本稿では,現行の手法は自由度を保ち,安全クリティカルな機能のホモログ化のユニークなモデルを妨げると結論付けている。
  論文  参考訳（メタデータ） (2024-06-04T15:21:37Z)
• Few-Shot Recalibration of Language Models [23.829795148520834]
  我々は、任意のスライスからラベルのない例をいくつか取り込んだリカレーションモデルをトレーニングし、信頼度スコアをそのスライスに対してより正確なものに再マップする曲線を予測する。 我々の訓練されたモデルは、そのスライスからラベル付きデータを使わずに、任意の新しいスライスのために再調整できる。 実験により、我々の数発の再校正器は既存の校正方法より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-27T06:25:40Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Beyond calibration: estimating the grouping loss of modern neural networks [68.8204255655161]
  適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。 視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
  論文  参考訳（メタデータ） (2022-10-28T07:04:20Z)
• On the Dark Side of Calibration for Modern Neural Networks [65.83956184145477]
  予測キャリブレーション誤差(ECE)を予測信頼度と改善度に分解する。 正規化に基づくキャリブレーションは、モデルの信頼性を損なうことのみに焦点を当てる。 ラベルの平滑化やミキサアップなど,多くのキャリブレーション手法により,DNNの精度を低下させることで,DNNの有用性を低下させることがわかった。
  論文  参考訳（メタデータ） (2021-06-17T11:04:14Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)
• Post-hoc Calibration of Neural Networks by g-Layers [51.42640515410253]
  近年、ニューラルネットワークの校正に関する研究が急増している。 負ログライクリーフ(NLL)の最小化は、グローバルな最適化が達成されれば、トレーニングセット上の校正ネットワークにつながることが知られている。 基本ネットワーク (f$) が NLL のグローバルな最適化に繋がらず,追加レイヤ (g$) を追加し,パラメータを$g$ 1 に最適化することで NLL を最小化することで,キャリブレーションネットワークが得られることを示す。
  論文  参考訳（メタデータ） (2020-06-23T07:55:10Z)
• Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
  ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。 焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。 ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
  論文  参考訳（メタデータ） (2020-02-21T17:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。