論文の概要: Do Not Train Away Uncertainty: Early Uncertainty Anchored Calibration

• arxiv url: http://arxiv.org/abs/2610.12048v1
• Date: Thu, 08 Oct 2026 14:34:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.079368
• Title: Do Not Train Away Uncertainty: Early Uncertainty Anchored Calibration
• Title（参考訳）: 不確かさを訓練しない - 早期不確かさの校正
• Abstract要約: 大きな言語モデルを含むディープニューラルネットワークは、トレーニングや微調整の間、自信過剰になりがちである。 textbfUncertainty textbfAnchor を textbfCalibration に用いる新しい方法である textbfEUA-Cal を提案する。
• 参考スコア（独自算出の注目度）: 65.37158564250167
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks, including large language models, have achieved remarkable performance across various tasks. However, they are prone to overconfidence during training or fine-tuning. In this work, we observe a consistent phenomenon across different models that the early model is better calibrated, while later training or fine-tuning yields marginal accuracy gains but substantially increases calibration errors. Our analysis suggests that the early model retains uncertainty awareness in both its predictions and features, which is gradually lost with continued training. To avoid training away this uncertainty awareness, we propose \textbf{EUA-Cal}, a novel method that exploits the \textbf{E}arly model as an \textbf{U}ncertainty \textbf{A}nchor for \textbf{Cal}ibration. EUA-Cal introduces early prediction regularization to preserve early predictive uncertainty and prototype structure regularization to exploit uncertainty reflected in the early feature space, jointly mitigating overconfidence. Extensive experiments on image classification and multiple-choice question answering across eight diverse models demonstrate that EUA-Cal outperforms state-of-the-art calibration methods.
• Abstract（参考訳）: 大規模言語モデルを含むディープニューラルネットワークは、さまざまなタスクで顕著なパフォーマンスを実現している。 しかし、訓練や微調整では自信過剰になりがちである。 本研究では,初期モデルの校正精度が向上する一方,後続のトレーニングや微調整では限界精度が向上するが,校正誤差は著しく増加するという,異なるモデル間の一貫した現象を観察する。 分析の結果,早期モデルは予測と特徴の両方において不確実性を保ち,継続訓練によって徐々に失われることが示唆された。 この不確実性認識のトレーニングを避けるために, textbf{U}ncertainty \textbf{A}nchor として \textbf{E}arly model を利用する新しい手法である \textbf{EUA-Cal} を提案する。 EUA-Calは早期予測正則化を導入し、早期予測の不確かさとプロトタイプ構造正則化を保ち、初期特徴空間に反映された不確実性を利用して、過信を和らげる。 EUA-Calが最先端のキャリブレーション法より優れていることを示す。

関連論文リスト

• HopCast: Calibration of Autoregressive Dynamics Models [0.0]
  この研究は、モダンホップフィールドネットワーク(MHN)を用いて決定論的予測子の誤りを学習するホップ(hop)と呼ばれる代替のPredictor-Correctorアプローチを導入する。 Correctorは、自動回帰中の任意の時点のコンテキスト状態に基づいて、予測子の出力に対する一連のエラーを予測する。 キャリブレーションと予測性能は一連の力学系で評価される。
  論文  参考訳（メタデータ） (2025-01-27T23:59:23Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Instant Uncertainty Calibration of NeRFs Using a Meta-calibrator [60.47106421809998]
  我々は,1つの前方パスを持つNeRFに対して不確実な校正を行うメタ校正器の概念を導入する。 メタキャリブレータは、見えないシーンを一般化し、NeRFの良好な校正と最先端の不確実性を実現できることを示す。
  論文  参考訳（メタデータ） (2023-12-04T21:29:31Z)
• Multiclass Alignment of Confidence and Certainty for Network Calibration [10.15706847741555]
  最近の研究では、ディープニューラルネットワーク(DNN)が過信的な予測を行う傾向があることが示されている。 予測平均信頼度と予測確実性(MACC)の多クラスアライメントとして知られる簡易なプラグアンドプレイ補助損失を特徴とする列車時キャリブレーション法を提案する。 本手法は,領域内および領域外両方のキャリブレーション性能を実現する。
  論文  参考訳（メタデータ） (2023-09-06T00:56:24Z)
• Two Sides of Miscalibration: Identifying Over and Under-Confidence Prediction for Network Calibration [1.192436948211501]
  安全クリティカルなタスクにおける信頼性予測には、ディープニューラルネットワークの信頼性校正が不可欠である。 ミススキャリブレーションは、過信と/または過信をモデル化する。 校正点とクラス別校正点を同定するために,新しい校正点である校正点を導入する。 クラスワイドの誤校正スコアをプロキシとして使用して,過度かつ過度に対処可能な校正手法を設計する。
  論文  参考訳（メタデータ） (2023-08-06T17:59:14Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Improving model calibration with accuracy versus uncertainty optimization [17.056768055368384]
  適切に校正されたモデルは、その予測が確実であるときに正確であり、不正確な場合に高い不確実性を示すべきである。 精度と不確実性の関係を不確実性校正のアンカーとして活用する最適化手法を提案する。 平均場変動推定によるアプローチの実証と最先端手法との比較を行った。
  論文  参考訳（メタデータ） (2020-12-14T20:19:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。