論文の概要: On Calibration and Conformal Prediction of Deep Classifiers
- arxiv url: http://arxiv.org/abs/2402.05806v1
- Date: Thu, 8 Feb 2024 16:45:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 14:02:18.683526
- Title: On Calibration and Conformal Prediction of Deep Classifiers
- Title(参考訳): 深部分類器の校正と等角予測について
- Authors: Lahav Dabah, Tom Tirer
- Abstract要約: その目的のための2つの一般的な後処理アプローチは、1)キャリブレーションと2)共形予測である。
本研究では, 温度スケーリング, 最も一般的なキャリブレーション手法が顕著なCP法に与える影響について検討した。
- 参考スコア(独自算出の注目度): 11.784544255941166
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In many classification applications, the prediction of a deep neural network
(DNN) based classifier needs to be accompanied with some confidence indication.
Two popular post-processing approaches for that aim are: 1) calibration:
modifying the classifier's softmax values such that their maximum (associated
with the prediction) better estimates the correctness probability; and 2)
conformal prediction (CP): devising a score (based on the softmax values) from
which a set of predictions with theoretically guaranteed marginal coverage of
the correct class is produced. While in practice both types of indications can
be desired, so far the interplay between them has not been investigated. Toward
filling this gap, in this paper we study the effect of temperature scaling,
arguably the most common calibration technique, on prominent CP methods. We
start with an extensive empirical study that among other insights shows that,
surprisingly, calibration has a detrimental effect on popular adaptive CP
methods: it frequently leads to larger prediction sets. Then, we turn to
theoretically analyze this behavior. We reveal several mathematical properties
of the procedure, according to which we provide a reasoning for the phenomenon.
Our study suggests that it may be worthwhile to utilize adaptive CP methods,
chosen for their enhanced conditional coverage, based on softmax values prior
to (or after canceling) temperature scaling calibration.
- Abstract(参考訳): 多くの分類応用において、ディープニューラルネットワーク(DNN)に基づく分類器の予測には、ある程度の信頼感が伴わなければならない。
その目的のための2つの一般的な後処理アプローチは以下のとおりである。
1)校正:分類器のソフトマックス値を、その最大値(予測と関連する)が正確性確率をより正確に推定するように修正する。
2) 正則予測(CP): 正しいクラスの限界被覆を理論的に保証した一連の予測が生成されるスコア(ソフトマックス値に基づく)を考案する。
実際にはどちらの種類の指示も望まれるが、今のところ両者の相互作用は研究されていない。
本稿では,このギャップを埋めるため,最も一般的なキャリブレーション手法である温度スケーリングがcp法に与える影響について検討する。
我々は、他の知見の中で、キャリブレーションが一般的な適応型CP手法に有害な効果をもたらすことを示す広範な実証的研究から始めます。
そして、理論上、この行動を分析します。
手順の数学的特性を明らかにし,この現象の推論を行う。
本研究は,温度スケーリング校正の前(またはキャンセル後)のソフトマックス値に基づいて,条件範囲の強化のために選択された適応cp法を活用すべきであることを示唆している。
関連論文リスト
- Domain-adaptive and Subgroup-specific Cascaded Temperature Regression
for Out-of-distribution Calibration [16.930766717110053]
本稿では, メタセットをベースとした新しい温度回帰法を提案し, ポストホックキャリブレーション法を提案する。
予測されたカテゴリと信頼度に基づいて,各メタセットをサブグループに分割し,多様な不確実性を捉える。
回帰ネットワークは、カテゴリ特化および信頼レベル特化スケーリングを導出し、メタセット間のキャリブレーションを達成するように訓練される。
論文 参考訳(メタデータ) (2024-02-14T14:35:57Z) - Does Confidence Calibration Help Conformal Prediction? [12.119612461168941]
本研究では, 保温後キャリブレーション法により, キャリブレーションが向上し, 予測セットが大きくなることを示す。
そこで本研究では, しきい値と非整合性スコアとのギャップを埋めて, 目的を正す新しい方法として, $textbf Conformal Temperature Scaling$ (ConfTS)を提案する。
論文 参考訳(メタデータ) (2024-02-06T19:27:48Z) - Multiclass Alignment of Confidence and Certainty for Network Calibration [10.15706847741555]
最近の研究では、ディープニューラルネットワーク(DNN)が過信的な予測を行う傾向があることが示されている。
予測平均信頼度と予測確実性(MACC)の多クラスアライメントとして知られる簡易なプラグアンドプレイ補助損失を特徴とする列車時キャリブレーション法を提案する。
本手法は,領域内および領域外両方のキャリブレーション性能を実現する。
論文 参考訳(メタデータ) (2023-09-06T00:56:24Z) - Model Calibration in Dense Classification with Adaptive Label
Perturbation [44.62722402349157]
既存の密接な二分分類モデルは、過信される傾向がある。
本稿では,各トレーニング画像に対する独自のラベル摂動レベルを学習する適応ラベル摂動(ASLP)を提案する。
ASLPは、分布内および分布外の両方のデータに基づいて、密度の高い二分分類モデルの校正度を著しく改善することができる。
論文 参考訳(メタデータ) (2023-07-25T14:40:11Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳(メタデータ) (2023-05-17T17:47:19Z) - Bridging Precision and Confidence: A Train-Time Loss for Calibrating
Object Detection [58.789823426981044]
本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。
その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
論文 参考訳(メタデータ) (2023-03-25T08:56:21Z) - Sharp Calibrated Gaussian Processes [58.94710279601622]
キャリブレーションされたモデルを設計するための最先端のアプローチは、ガウス過程の後方分散を膨らませることに依存している。
本稿では,バニラガウス過程の後方分散にインスパイアされた計算を用いて,予測量子化を生成するキャリブレーション手法を提案する。
我々のアプローチは合理的な仮定の下で校正されたモデルが得られることを示す。
論文 参考訳(メタデータ) (2023-02-23T12:17:36Z) - Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。
入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。
CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
論文 参考訳(メタデータ) (2022-07-13T14:13:49Z) - T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。
誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。
我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
論文 参考訳(メタデータ) (2022-03-03T16:58:54Z) - Calibration of Neural Networks using Splines [51.42640515410253]
キャリブレーション誤差の測定は、2つの経験的分布を比較します。
古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。
提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
論文 参考訳(メタデータ) (2020-06-23T07:18:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。