論文の概要: Multiclass Alignment of Confidence and Certainty for Network Calibration
- arxiv url: http://arxiv.org/abs/2309.02636v1
- Date: Wed, 6 Sep 2023 00:56:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 17:04:07.289407
- Title: Multiclass Alignment of Confidence and Certainty for Network Calibration
- Title（参考訳）: ネットワーク校正のための信頼性と確実性の多クラスアライメント
- Authors: Vinith Kugathasan and Muhammad Haris Khan
- Abstract要約: 最近の研究では、ディープニューラルネットワーク(DNN)が過信的な予測を行う傾向があることが示されている。
予測平均信頼度と予測確実性(MACC)の多クラスアライメントとして知られる簡易なプラグアンドプレイ補助損失を特徴とする列車時キャリブレーション法を提案する。
本手法は,領域内および領域外両方のキャリブレーション性能を実現する。
- 参考スコア（独自算出の注目度）: 10.15706847741555
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks (DNNs) have made great strides in pushing the
state-of-the-art in several challenging domains. Recent studies reveal that
they are prone to making overconfident predictions. This greatly reduces the
overall trust in model predictions, especially in safety-critical applications.
Early work in improving model calibration employs post-processing techniques
which rely on limited parameters and require a hold-out set. Some recent
train-time calibration methods, which involve all model parameters, can
outperform the postprocessing methods. To this end, we propose a new train-time
calibration method, which features a simple, plug-and-play auxiliary loss known
as multi-class alignment of predictive mean confidence and predictive certainty
(MACC). It is based on the observation that a model miscalibration is directly
related to its predictive certainty, so a higher gap between the mean
confidence and certainty amounts to a poor calibration both for in-distribution
and out-of-distribution predictions. Armed with this insight, our proposed loss
explicitly encourages a confident (or underconfident) model to also provide a
low (or high) spread in the presoftmax distribution. Extensive experiments on
ten challenging datasets, covering in-domain, out-domain, non-visual
recognition and medical image classification scenarios, show that our method
achieves state-of-the-art calibration performance for both in-domain and
out-domain predictions. Our code and models will be publicly released.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、いくつかの挑戦的な領域において最先端の技術を推し進める上で大きな一歩を踏み出した。
最近の研究では、自信過剰な予測をする傾向があることが示されている。
これにより、特に安全クリティカルなアプリケーションにおいて、モデル予測に対する全体的な信頼が大幅に低下する。
モデルキャリブレーションの改善の初期の作業は、限られたパラメータに依存し、ホールドアウトセットを必要とする後処理技術を採用している。
モデルパラメータを全て含む最近の列車時校正法では、後処理法を上回ることができる。
そこで本研究では,予測平均信頼度と予測確実性(MACC)の多クラスアライメントとして知られる,シンプルなプラグアンドプレイ補助損失を特徴とする列車時校正手法を提案する。
モデルミスカバリレーションはその予測的確実性に直接関連しているという観測に基づいており、平均信頼度と確実性の間の高いギャップは、分布内予測と分布外予測の両方において不十分なキャリブレーションとなる。
この知見に照らして、提案された損失は、自信(または自信の低い)モデルに対して、事前のソフトマックス分布に低い(あるいは高い)展開を提供することを明示的に促します。
領域内,領域外,非視覚的認識,医用画像分類のシナリオを網羅した10個の挑戦的データセットに対する大規模な実験により,本手法が領域内および領域外の両方で最先端の校正性能を達成することを示す。
私たちのコードとモデルは公開されます。
関連論文リスト
- Domain-adaptive and Subgroup-specific Cascaded Temperature Regression
for Out-of-distribution Calibration [16.930766717110053]
本稿では, メタセットをベースとした新しい温度回帰法を提案し, ポストホックキャリブレーション法を提案する。
予測されたカテゴリと信頼度に基づいて,各メタセットをサブグループに分割し,多様な不確実性を捉える。
回帰ネットワークは、カテゴリ特化および信頼レベル特化スケーリングを導出し、メタセット間のキャリブレーションを達成するように訓練される。
論文 参考訳（メタデータ） (2024-02-14T14:35:57Z) - Multiclass Confidence and Localization Calibration for Object Detection [4.119048608751183]
ディープニューラルネットワーク(DNN)は、過信的な予測を行う傾向があり、調整が不十分である。
本稿では,現代の物体検出手法を校正するための新しい列車時手法を提案する。
論文 参考訳（メタデータ） (2023-06-14T06:14:16Z) - Proximity-Informed Calibration for Deep Neural Networks [49.330703634912915]
ProCalは、近接性に基づいてサンプル信頼度を調整する理論的保証を持つプラグアンドプレイアルゴリズムである。
ProCalは、近接バイアスに対処し、バランスの取れた、長い、分布シフトの設定の校正を改善するのに有効であることを示す。
論文 参考訳（メタデータ） (2023-06-07T16:40:51Z) - Learning Sample Difficulty from Pre-trained Models for Reliable
Prediction [55.77136037458667]
本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。
我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
論文 参考訳（メタデータ） (2023-04-20T07:29:23Z) - Bridging Precision and Confidence: A Train-Time Loss for Calibrating
Object Detection [58.789823426981044]
本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。
その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
論文 参考訳（メタデータ） (2023-03-25T08:56:21Z) - Calibrating Deep Neural Networks using Explicit Regularisation and
Dynamic Data Pruning [25.982037837953268]
ディープニューラルネットワーク(DNN)は誤った予測をしがちで、予測された出力と関連する信頼スコアのミスマッチを示すことが多い。
そこで本研究では,分類損失を伴う新たな正規化手法を提案する。
論文 参考訳（メタデータ） (2022-12-20T05:34:58Z) - MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。
最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。
モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
論文 参考訳（メタデータ） (2021-10-18T17:55:11Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - Towards Trustworthy Predictions from Deep Neural Networks with Fast
Adversarial Calibration [2.8935588665357077]
本稿では,ドメインシフト後に得られたサンプルに対して,信頼度の高い信頼度を得るための効率的かつ汎用的なモデリング手法を提案する。
本稿では,エントロピー増大損失項と逆キャリブレーション損失項を組み合わせた新しいトレーニング戦略を導入し,この結果が適切に調整され,技術的に信頼できる予測となることを示す。
論文 参考訳（メタデータ） (2020-12-20T13:39:29Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。