論文の概要: On Temperature Scaling and Conformal Prediction of Deep Classifiers
- arxiv url: http://arxiv.org/abs/2402.05806v3
- Date: Mon, 17 Feb 2025 18:45:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-19 14:04:26.172702
- Title: On Temperature Scaling and Conformal Prediction of Deep Classifiers
- Title（参考訳）: 深部分類器の温度スケーリングと等角予測について
- Authors: Lahav Dabah, Tom Tirer,
- Abstract要約: コンフォーマル予測(CP)は、ユーザが特定した確率で真のラベルを含む候補ラベルの予測セットを生成する。
実際には、どちらの種類の表示も望ましいが、今のところ両者の相互作用は研究されていない。
温度スケーリング(TS)キャリブレーションは適応CP法のクラス条件カバレッジを改善するが、驚くべきことに予測セットサイズに悪影響を及ぼす。
- 参考スコア（独自算出の注目度）: 9.975341265604577
- License:
- Abstract: In many classification applications, the prediction of a deep neural network (DNN) based classifier needs to be accompanied by some confidence indication. Two popular approaches for that aim are: 1) Calibration: modifies the classifier's softmax values such that the maximal value better estimates the correctness probability; and 2) Conformal Prediction (CP): produces a prediction set of candidate labels that contains the true label with a user-specified probability, guaranteeing marginal coverage but not, e.g., per class coverage. In practice, both types of indications are desirable, yet, so far the interplay between them has not been investigated. Focusing on the ubiquitous Temperature Scaling (TS) calibration, we start this paper with an extensive empirical study of its effect on prominent CP methods. We show that while TS calibration improves the class-conditional coverage of adaptive CP methods, surprisingly, it negatively affects their prediction set sizes. Motivated by this behavior, we explore the effect of TS on CP beyond its calibration application and reveal an intriguing trend under which it allows to trade prediction set size and conditional coverage of adaptive CP methods. Then, we establish a mathematical theory that explains the entire non-monotonic trend. Finally, based on our experiments and theory, we offer simple guidelines for practitioners to effectively combine adaptive CP with calibration.
- Abstract（参考訳）: 多くの分類応用において、ディープニューラルネットワーク(DNN)に基づく分類器の予測には、ある程度の信頼感が伴わなければならない。
その目的のための2つの一般的なアプローチは以下のとおりである。
1)校正:最大値が正当性確率をより正確に見積もるように、分類器のソフトマックス値を変更する。
2) コンフォーマル予測(CP): 正のラベルを含む候補ラベルの予測セットをユーザ特定確率で作成し, 限界範囲のカバレッジを保証するが, クラス毎のカバレッジは保証しない。
実際には、どちらの種類の表示も望ましいが、今のところ両者の相互作用は研究されていない。
本論文は,ユビキタス温度スケーリング(TS)キャリブレーションに着目し,その有効性の実証実験から始める。
TSキャリブレーションは適応CP手法のクラス条件カバレッジを改善するが、驚くべきことに予測セットサイズに悪影響を及ぼす。
この振る舞いを動機として,キャリブレーション適用以上のCPに対するTSの効果を探求し,適応的なCP手法の予測セットサイズと条件付きカバレッジを貿易可能にする興味深い傾向を明らかにする。
そして、非単調な傾向全体を説明する数学的理論を確立する。
最後に,実験と理論に基づいて,適応型CPと校正を効果的に組み合わせるための簡単なガイドラインを提供する。
関連論文リスト
- Domain-adaptive and Subgroup-specific Cascaded Temperature Regression
for Out-of-distribution Calibration [16.930766717110053]
本稿では, メタセットをベースとした新しい温度回帰法を提案し, ポストホックキャリブレーション法を提案する。
予測されたカテゴリと信頼度に基づいて,各メタセットをサブグループに分割し,多様な不確実性を捉える。
回帰ネットワークは、カテゴリ特化および信頼レベル特化スケーリングを導出し、メタセット間のキャリブレーションを達成するように訓練される。
論文 参考訳（メタデータ） (2024-02-14T14:35:57Z) - Delving into temperature scaling for adaptive conformal prediction [10.340903334800787]
コンフォーマル予測は、新たな不確実性保証手法として、予め定義された確率で真のラベルを含むことが保証される予測セットを構築する。
温度スケーリングのような現在の信頼度校正法は、適応的等角予測において、通常より大きな予測セットをもたらすことを示す。
本稿では,適応型共形予測の効率向上を目的とした温度スケーリングの変種である$Conformal$$Temperature$$Scaling$ (ConfTS)を提案する。
論文 参考訳（メタデータ） (2024-02-06T19:27:48Z) - RR-CP: Reliable-Region-Based Conformal Prediction for Trustworthy
Medical Image Classification [24.52922162675259]
コンフォーマル予測(CP)は、与えられたテストサンプルに対して一連の予測を生成する。
集合のサイズは、予測がどの程度あるかを示す。
信頼度に基づくコンフォーマル予測(RR-CP)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2023-09-09T11:14:04Z) - Model Calibration in Dense Classification with Adaptive Label
Perturbation [44.62722402349157]
既存の密接な二分分類モデルは、過信される傾向がある。
本稿では,各トレーニング画像に対する独自のラベル摂動レベルを学習する適応ラベル摂動(ASLP)を提案する。
ASLPは、分布内および分布外の両方のデータに基づいて、密度の高い二分分類モデルの校正度を著しく改善することができる。
論文 参考訳（メタデータ） (2023-07-25T14:40:11Z) - When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。
deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。
カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
論文 参考訳（メタデータ） (2023-07-06T04:13:57Z) - Improving Uncertainty Quantification of Deep Classifiers via
Neighborhood Conformal Prediction: Novel Algorithm and Theoretical Analysis [30.0231328500976]
コンフォーマル予測(CP)は、ディープモデルの不確実性定量化のための原則的枠組みである。
本稿では,不確実性定量化の効率を向上させるため,NCP(Neighborhood Conformal Prediction)と呼ばれる新しいアルゴリズムを提案する。
NCPは従来のCP法よりも予測セットサイズが大幅に小さくなることを示す。
論文 参考訳（メタデータ） (2023-03-19T15:56:50Z) - Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。
入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。
CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
論文 参考訳（メタデータ） (2022-07-13T14:13:49Z) - T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。
誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。
我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
論文 参考訳（メタデータ） (2022-03-03T16:58:54Z) - Efficient and Differentiable Conformal Prediction with General Function
Classes [96.74055810115456]
本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。
本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。
実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
論文 参考訳（メタデータ） (2022-02-22T18:37:23Z) - Taming Overconfident Prediction on Unlabeled Data from Hindsight [50.9088560433925]
ラベルのないデータに対する予測の不確実性を最小化することは、半教師付き学習において優れた性能を達成するための鍵となる要素である。
本稿では,アダプティブシャーニング(Adaptive Sharpening, ADS)と呼ばれる2つのメカニズムを提案する。
ADSは、プラグインにすることで最先端のSSLメソッドを大幅に改善する。
論文 参考訳（メタデータ） (2021-12-15T15:17:02Z) - Distribution-free uncertainty quantification for classification under
label shift [105.27463615756733]
2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。
まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。
これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
論文 参考訳（メタデータ） (2021-03-04T20:51:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。