論文の概要: On Calibration and Conformal Prediction of Deep Classifiers

• arxiv url: http://arxiv.org/abs/2402.05806v1
• Date: Thu, 8 Feb 2024 16:45:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-09 14:02:18.683526
• Title: On Calibration and Conformal Prediction of Deep Classifiers
• Title（参考訳）: 深部分類器の校正と等角予測について
• Authors: Lahav Dabah, Tom Tirer
• Abstract要約: その目的のための2つの一般的な後処理アプローチは、1)キャリブレーションと2)共形予測である。 本研究では, 温度スケーリング, 最も一般的なキャリブレーション手法が顕著なCP法に与える影響について検討した。
• 参考スコア（独自算出の注目度）: 11.784544255941166
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In many classification applications, the prediction of a deep neural network (DNN) based classifier needs to be accompanied with some confidence indication. Two popular post-processing approaches for that aim are: 1) calibration: modifying the classifier's softmax values such that their maximum (associated with the prediction) better estimates the correctness probability; and 2) conformal prediction (CP): devising a score (based on the softmax values) from which a set of predictions with theoretically guaranteed marginal coverage of the correct class is produced. While in practice both types of indications can be desired, so far the interplay between them has not been investigated. Toward filling this gap, in this paper we study the effect of temperature scaling, arguably the most common calibration technique, on prominent CP methods. We start with an extensive empirical study that among other insights shows that, surprisingly, calibration has a detrimental effect on popular adaptive CP methods: it frequently leads to larger prediction sets. Then, we turn to theoretically analyze this behavior. We reveal several mathematical properties of the procedure, according to which we provide a reasoning for the phenomenon. Our study suggests that it may be worthwhile to utilize adaptive CP methods, chosen for their enhanced conditional coverage, based on softmax values prior to (or after canceling) temperature scaling calibration.
• Abstract（参考訳）: 多くの分類応用において、ディープニューラルネットワーク(DNN)に基づく分類器の予測には、ある程度の信頼感が伴わなければならない。 その目的のための2つの一般的な後処理アプローチは以下のとおりである。 1)校正:分類器のソフトマックス値を、その最大値(予測と関連する)が正確性確率をより正確に推定するように修正する。 2) 正則予測(CP): 正しいクラスの限界被覆を理論的に保証した一連の予測が生成されるスコア(ソフトマックス値に基づく)を考案する。 実際にはどちらの種類の指示も望まれるが、今のところ両者の相互作用は研究されていない。 本稿では,このギャップを埋めるため,最も一般的なキャリブレーション手法である温度スケーリングがcp法に与える影響について検討する。 我々は、他の知見の中で、キャリブレーションが一般的な適応型CP手法に有害な効果をもたらすことを示す広範な実証的研究から始めます。 そして、理論上、この行動を分析します。 手順の数学的特性を明らかにし,この現象の推論を行う。 本研究は,温度スケーリング校正の前(またはキャンセル後)のソフトマックス値に基づいて,条件範囲の強化のために選択された適応cp法を活用すべきであることを示唆している。

関連論文リスト

• Domain-adaptive and Subgroup-specific Cascaded Temperature Regression for Out-of-distribution Calibration [16.930766717110053]
  本稿では, メタセットをベースとした新しい温度回帰法を提案し, ポストホックキャリブレーション法を提案する。 予測されたカテゴリと信頼度に基づいて,各メタセットをサブグループに分割し,多様な不確実性を捉える。 回帰ネットワークは、カテゴリ特化および信頼レベル特化スケーリングを導出し、メタセット間のキャリブレーションを達成するように訓練される。
  論文  参考訳（メタデータ） (2024-02-14T14:35:57Z)
• Delving into temperature scaling for adaptive conformal prediction [10.340903334800787]
  コンフォーマル予測は、新たな不確実性保証手法として、予め定義された確率で真のラベルを含むことが保証される予測セットを構築する。 温度スケーリングのような現在の信頼度校正法は、適応的等角予測において、通常より大きな予測セットをもたらすことを示す。 本稿では,適応型共形予測の効率向上を目的とした温度スケーリングの変種である$Conformal$$Temperature$$Scaling$ (ConfTS)を提案する。
  論文  参考訳（メタデータ） (2024-02-06T19:27:48Z)
• RR-CP: Reliable-Region-Based Conformal Prediction for Trustworthy Medical Image Classification [24.52922162675259]
  コンフォーマル予測(CP)は、与えられたテストサンプルに対して一連の予測を生成する。 集合のサイズは、予測がどの程度あるかを示す。 信頼度に基づくコンフォーマル予測(RR-CP)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-09-09T11:14:04Z)
• Model Calibration in Dense Classification with Adaptive Label Perturbation [44.62722402349157]
  既存の密接な二分分類モデルは、過信される傾向がある。 本稿では,各トレーニング画像に対する独自のラベル摂動レベルを学習する適応ラベル摂動(ASLP)を提案する。 ASLPは、分布内および分布外の両方のデータに基づいて、密度の高い二分分類モデルの校正度を著しく改善することができる。
  論文  参考訳（メタデータ） (2023-07-25T14:40:11Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)
• Improving Uncertainty Quantification of Deep Classifiers via Neighborhood Conformal Prediction: Novel Algorithm and Theoretical Analysis [30.0231328500976]
  コンフォーマル予測(CP)は、ディープモデルの不確実性定量化のための原則的枠組みである。 本稿では,不確実性定量化の効率を向上させるため,NCP(Neighborhood Conformal Prediction)と呼ばれる新しいアルゴリズムを提案する。 NCPは従来のCP法よりも予測セットサイズが大幅に小さくなることを示す。
  論文  参考訳（メタデータ） (2023-03-19T15:56:50Z)
• Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
  ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。 入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。 CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
  論文  参考訳（メタデータ） (2022-07-13T14:13:49Z)
• T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
  有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。 誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。 我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
  論文  参考訳（メタデータ） (2022-03-03T16:58:54Z)
• Efficient and Differentiable Conformal Prediction with General Function Classes [96.74055810115456]
  本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。 本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。 実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
  論文  参考訳（メタデータ） (2022-02-22T18:37:23Z)
• Taming Overconfident Prediction on Unlabeled Data from Hindsight [50.9088560433925]
  ラベルのないデータに対する予測の不確実性を最小化することは、半教師付き学習において優れた性能を達成するための鍵となる要素である。 本稿では,アダプティブシャーニング(Adaptive Sharpening, ADS)と呼ばれる2つのメカニズムを提案する。 ADSは、プラグインにすることで最先端のSSLメソッドを大幅に改善する。
  論文  参考訳（メタデータ） (2021-12-15T15:17:02Z)
• Distribution-free uncertainty quantification for classification under label shift [105.27463615756733]
  2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。 まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。 これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
  論文  参考訳（メタデータ） (2021-03-04T20:51:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。