論文の概要: Beyond Overconfidence: Foundation Models Redefine Calibration in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2506.09593v1
• Date: Wed, 11 Jun 2025 10:48:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:02.866595
• Title: Beyond Overconfidence: Foundation Models Redefine Calibration in Deep Neural Networks
• Title（参考訳）: 自信の超過 - ディープニューラルネットワークにおけるキャリブレーションを再定義する基盤モデル
• Authors: Achim Hekler, Lukas Kuhn, Florian Buettner,
• Abstract要約: ディープニューラルネットワークは、特に分布シフトにおいて、体系的な過信を示すことが知られている。 本稿では,基礎モデルの校正挙動を包括的に調査する。
• 参考スコア（独自算出の注目度）: 11.21724937864103
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reliable uncertainty calibration is essential for safely deploying deep neural networks in high-stakes applications. Deep neural networks are known to exhibit systematic overconfidence, especially under distribution shifts. Although foundation models such as ConvNeXt, EVA and BEiT have demonstrated significant improvements in predictive performance, their calibration properties remain underexplored. This paper presents a comprehensive investigation into the calibration behavior of foundation models, revealing insights that challenge established paradigms. Our empirical analysis shows that these models tend to be underconfident in in-distribution predictions, resulting in higher calibration errors, while demonstrating improved calibration under distribution shifts. Furthermore, we demonstrate that foundation models are highly responsive to post-hoc calibration techniques in the in-distribution setting, enabling practitioners to effectively mitigate underconfidence bias. However, these methods become progressively less reliable under severe distribution shifts and can occasionally produce counterproductive results. Our findings highlight the complex, non-monotonic effects of architectural and training innovations on calibration, challenging established narratives of continuous improvement.
• Abstract（参考訳）: ディープニューラルネットワークを高速なアプリケーションに安全にデプロイするには、信頼性の高い不確実性校正が不可欠である。 ディープニューラルネットワークは、特に分布シフトにおいて、体系的な過信を示すことが知られている。 ConvNeXt、EVA、BEiTといった基礎モデルでは予測性能が大幅に改善されているが、キャリブレーション特性は未解明のままである。 本稿では,基礎モデルの校正行動に関する包括的調査を行い,確立したパラダイムに挑戦する知見を明らかにする。 実験により,これらのモデルでは分布予測の精度が低い傾向があり,高いキャリブレーション誤差が生じる一方で,分布シフトによるキャリブレーションの改善が示された。 さらに, 基礎モデルは, 流通環境におけるポストホックキャリブレーション技術に高い応答性を示し, 信頼性の低いバイアスを効果的に軽減できることを示した。 しかし、これらの手法は、高度分布シフトによって徐々に信頼性が低下し、時には反生産的な結果をもたらすことがある。 我々の研究結果は、アーキテクチャとトレーニングの革新がキャリブレーション、継続的な改善の確立した物語に挑戦する、複雑で単調な効果を浮き彫りにした。

関連論文リスト

• Balancing Two Classifiers via A Simplex ETF Structure for Model Calibration [34.52946891778497]
  ディープニューラルネットワーク(DNN)は、さまざまな領域にわたる最先端のパフォーマンスを実証している。 彼らはしばしばキャリブレーションの問題に直面するが、特に自動運転やヘルスケアといった安全上重要な応用においてである。 近年,分類器の観点からモデルキャリブレーションの改善が試みられている。
  論文  参考訳（メタデータ） (2025-04-14T09:09:01Z)
• Towards Calibrated Deep Clustering Network [60.71776081164377]
  ディープクラスタリングでは、特定のクラスタに属するサンプルに対する推定信頼度はその実際の予測精度を大きく上回る。 推定された信頼度と実際の精度を効果的にキャリブレーションできる新しいデュアルヘッド(キャリブレーションヘッドとクラスタリングヘッド)深層クラスタリングモデルを提案する。 提案したキャリブレーション深層クラスタリングモデルでは, キャリブレーション誤差の予測値において, 最先端の深部クラスタリング手法を平均5倍に越えるだけでなく, クラスタリング精度も大幅に向上する。
  論文  参考訳（メタデータ） (2024-03-04T11:23:40Z)
• Multiclass Alignment of Confidence and Certainty for Network Calibration [10.15706847741555]
  最近の研究では、ディープニューラルネットワーク(DNN)が過信的な予測を行う傾向があることが示されている。 予測平均信頼度と予測確実性(MACC)の多クラスアライメントとして知られる簡易なプラグアンドプレイ補助損失を特徴とする列車時キャリブレーション法を提案する。 本手法は,領域内および領域外両方のキャリブレーション性能を実現する。
  論文  参考訳（メタデータ） (2023-09-06T00:56:24Z)
• On the Limitations of Temperature Scaling for Distributions with Overlaps [8.486166869140929]
  一般的な分布集合に対する経験的リスク最小化器の場合, 温度スケーリング性能は, クラス間の重なり合いによって低下することを示す。 そこで本研究では,Mixupデータ拡張手法によって引き起こされる経験的リスクの修正形式を最適化することで,キャリブレーション性能が良好であることが実証された。
  論文  参考訳（メタデータ） (2023-06-01T14:35:28Z)
• Calibration-Aware Bayesian Learning [37.82259435084825]
  本稿では、キャリブレーション対応ベイズニューラルネットワーク(CA-BNN)と呼ばれる統合フレームワークを提案する。 ベイズ学習のように変分分布を最適化しながら、データ依存あるいはデータ非依存の正則化をそれぞれ適用する。 予測キャリブレーション誤差(ECE)と信頼性図を用いて,提案手法の利点を検証した。
  論文  参考訳（メタデータ） (2023-05-12T14:19:15Z)
• On the Dark Side of Calibration for Modern Neural Networks [65.83956184145477]
  予測キャリブレーション誤差(ECE)を予測信頼度と改善度に分解する。 正規化に基づくキャリブレーションは、モデルの信頼性を損なうことのみに焦点を当てる。 ラベルの平滑化やミキサアップなど,多くのキャリブレーション手法により,DNNの精度を低下させることで,DNNの有用性を低下させることがわかった。
  論文  参考訳（メタデータ） (2021-06-17T11:04:14Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Calibrate and Prune: Improving Reliability of Lottery Tickets Through Prediction Calibration [40.203492372949576]
  未確認の信頼を持つ監視されたモデルは、誤った予測をしたとしても過信される傾向がある。 パラメータの過剰なネットワークにおける明確な信頼度校正が、その結果の宝くじの品質に与える影響について検討する。 我々の実証研究は、キャリブレーション機構を含むと、より効果的な宝くじチケットにつながることを明らかにしている。
  論文  参考訳（メタデータ） (2020-02-10T15:42:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。