論文の概要: On Temperature Scaling and Conformal Prediction of Deep Classifiers
- arxiv url: http://arxiv.org/abs/2402.05806v2
- Date: Thu, 4 Jul 2024 08:59:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-09 00:03:17.229142
- Title: On Temperature Scaling and Conformal Prediction of Deep Classifiers
- Title（参考訳）: 深部分類器の温度スケーリングと等角予測について
- Authors: Lahav Dabah, Tom Tirer,
- Abstract要約: この目的のための2つの一般的なアプローチは、(1)最大値が正当性確率をより正確に推定するように分類器のソフトマックス値を変更すること、(2)整形予測(CP):真のラベルを含む候補ラベルの予測セットをユーザ特定確率で生成することである。
実際には、どちらの種類の表示も望ましいが、今のところ両者の相互作用は研究されていない。
- 参考スコア（独自算出の注目度）: 9.975341265604577
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In many classification applications, the prediction of a deep neural network (DNN) based classifier needs to be accompanied by some confidence indication. Two popular approaches for that aim are: 1) Calibration: modifies the classifier's softmax values such that the maximal value better estimates the correctness probability; and 2) Conformal Prediction (CP): produces a prediction set of candidate labels that contains the true label with a user-specified probability, guaranteeing marginal coverage, rather than, e.g., per class coverage. In practice, both types of indications are desirable, yet, so far the interplay between them has not been investigated. We start this paper with an extensive empirical study of the effect of the popular Temperature Scaling (TS) calibration on prominent CP methods and reveal that while it improves the class-conditional coverage of adaptive CP methods, surprisingly, it negatively affects their prediction set sizes. Subsequently, we explore the effect of TS beyond its calibration application and offer simple guidelines for practitioners to trade prediction set size and conditional coverage of adaptive CP methods while effectively combining them with calibration. Finally, we present a theoretical analysis of the effect of TS on the prediction set sizes, revealing several mathematical properties of the procedure, according to which we provide reasoning for this unintuitive phenomenon.
- Abstract（参考訳）: 多くの分類応用において、ディープニューラルネットワーク(DNN)に基づく分類器の予測には、ある程度の信頼感が伴わなければならない。
その目的のための2つの一般的なアプローチは以下のとおりである。
1)校正:最大値が正当性確率をより正確に見積もるように、分類器のソフトマックス値を変更する。
2) コンフォーマル予測(CP): クラス毎のカバレッジではなく,ユーザ特定確率で真のラベルを含む候補ラベルの予測セットを生成する。
実際には、どちらの種類の表示も望ましいが、今のところ両者の相互作用は研究されていない。
本稿では,広く普及している温度スケーリング(TS)キャリブレーションがCP手法に与える影響を実証的に検討し,適応CP手法のクラス条件カバレッジを改善する一方で,意外なことに予測セットサイズに悪影響を及ぼすことを明らかにした。
その後,TSの校正適用を超えて,適応的なCP手法の予測セットサイズと条件付きカバレッジを効果的に組み合わせつつ,実践者にとって簡単なガイドラインを提供する。
最後に、TSが予測セットサイズに与える影響に関する理論的解析を行い、この非直観的な現象を推論する手法の数学的性質を明らかにした。
関連論文リスト
- Domain-adaptive and Subgroup-specific Cascaded Temperature Regression
for Out-of-distribution Calibration [16.930766717110053]
本稿では, メタセットをベースとした新しい温度回帰法を提案し, ポストホックキャリブレーション法を提案する。
予測されたカテゴリと信頼度に基づいて,各メタセットをサブグループに分割し,多様な不確実性を捉える。
回帰ネットワークは、カテゴリ特化および信頼レベル特化スケーリングを導出し、メタセット間のキャリブレーションを達成するように訓練される。
論文 参考訳（メタデータ） (2024-02-14T14:35:57Z) - Does Confidence Calibration Help Conformal Prediction? [12.119612461168941]
本研究では, 保温後キャリブレーション法により, キャリブレーションが向上し, 予測セットが大きくなることを示す。
そこで本研究では, しきい値と非整合性スコアとのギャップを埋めて, 目的を正す新しい方法として, $textbf Conformal Temperature Scaling$ (ConfTS)を提案する。
論文 参考訳（メタデータ） (2024-02-06T19:27:48Z) - RR-CP: Reliable-Region-Based Conformal Prediction for Trustworthy
Medical Image Classification [24.52922162675259]
コンフォーマル予測(CP)は、与えられたテストサンプルに対して一連の予測を生成する。
集合のサイズは、予測がどの程度あるかを示す。
信頼度に基づくコンフォーマル予測(RR-CP)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2023-09-09T11:14:04Z) - Model Calibration in Dense Classification with Adaptive Label
Perturbation [44.62722402349157]
既存の密接な二分分類モデルは、過信される傾向がある。
本稿では,各トレーニング画像に対する独自のラベル摂動レベルを学習する適応ラベル摂動(ASLP)を提案する。
ASLPは、分布内および分布外の両方のデータに基づいて、密度の高い二分分類モデルの校正度を著しく改善することができる。
論文 参考訳（メタデータ） (2023-07-25T14:40:11Z) - When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。
deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。
カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
論文 参考訳（メタデータ） (2023-07-06T04:13:57Z) - Improving Uncertainty Quantification of Deep Classifiers via
Neighborhood Conformal Prediction: Novel Algorithm and Theoretical Analysis [30.0231328500976]
コンフォーマル予測(CP)は、ディープモデルの不確実性定量化のための原則的枠組みである。
本稿では,不確実性定量化の効率を向上させるため,NCP(Neighborhood Conformal Prediction)と呼ばれる新しいアルゴリズムを提案する。
NCPは従来のCP法よりも予測セットサイズが大幅に小さくなることを示す。
論文 参考訳（メタデータ） (2023-03-19T15:56:50Z) - Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。
入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。
CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
論文 参考訳（メタデータ） (2022-07-13T14:13:49Z) - T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。
誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。
我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
論文 参考訳（メタデータ） (2022-03-03T16:58:54Z) - Efficient and Differentiable Conformal Prediction with General Function
Classes [96.74055810115456]
本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。
本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。
実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
論文 参考訳（メタデータ） (2022-02-22T18:37:23Z) - Taming Overconfident Prediction on Unlabeled Data from Hindsight [50.9088560433925]
ラベルのないデータに対する予測の不確実性を最小化することは、半教師付き学習において優れた性能を達成するための鍵となる要素である。
本稿では,アダプティブシャーニング(Adaptive Sharpening, ADS)と呼ばれる2つのメカニズムを提案する。
ADSは、プラグインにすることで最先端のSSLメソッドを大幅に改善する。
論文 参考訳（メタデータ） (2021-12-15T15:17:02Z) - Distribution-free uncertainty quantification for classification under
label shift [105.27463615756733]
2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。
まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。
これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
論文 参考訳（メタデータ） (2021-03-04T20:51:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。