論文の概要: Delving into temperature scaling for adaptive conformal prediction
- arxiv url: http://arxiv.org/abs/2402.04344v2
- Date: Tue, 08 Oct 2024 09:33:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-10 14:27:25.437173
- Title: Delving into temperature scaling for adaptive conformal prediction
- Title(参考訳): 適応型共形予測のための温度スケーリングへの展開
- Authors: Huajun Xi, Jianguo Huang, Kangdao Liu, Lei Feng, Hongxin Wei,
- Abstract要約: コンフォーマル予測は、新たな不確実性保証手法として、予め定義された確率で真のラベルを含むことが保証される予測セットを構築する。
温度スケーリングのような現在の信頼度校正法は、適応的等角予測において、通常より大きな予測セットをもたらすことを示す。
本稿では,適応型共形予測の効率向上を目的とした温度スケーリングの変種である$Conformal$$Temperature$$Scaling$ (ConfTS)を提案する。
- 参考スコア(独自算出の注目度): 10.340903334800787
- License:
- Abstract: Conformal prediction, as an emerging uncertainty qualification technique, constructs prediction sets that are guaranteed to contain the true label with pre-defined probability. Previous works often employ temperature scaling to calibrate the classifier, assuming that confidence calibration can benefit conformal prediction. In this work, we empirically show that current confidence calibration methods (e.g., temperature scaling) normally lead to larger prediction sets in adaptive conformal prediction. Theoretically, we prove that a prediction with higher confidence could result in a smaller prediction set on expectation. Inspired by the analysis, we propose $Conformal$ $Temperature$ $Scaling$ (ConfTS), a variant of temperature scaling that aims to improve the efficiency of adaptive conformal prediction. Specifically, ConfTS optimizes the temperature value by minimizing the gap between the threshold and the non-conformity score of the ground truth for a held-out validation dataset. In this way, the temperature value obtained would lead to an optimal set of high efficiency without violating the marginal coverage property. Extensive experiments demonstrate that our method can effectively enhance adaptive conformal prediction methods in both efficiency and conditional coverage, reducing the average size of APS and RAPS by nearly 50$\%$ on ImageNet at error rate $\alpha=0.1$.
- Abstract(参考訳): コンフォーマル予測は、新たな不確実性保証手法として、予め定義された確率で真のラベルを含むことが保証される予測セットを構築する。
従来の作業では、信頼性のキャリブレーションが整合予測の恩恵を受けると仮定して、分類器をキャリブレーションするために温度スケーリングが用いられていた。
本研究は,電流信頼度校正法(例えば温度スケーリング)が適応整合予測においてより大きな予測セットをもたらすことを実証的に示す。
理論的には、高い信頼性の予測が期待値の小さい予測に繋がる可能性があることを証明している。
この分析に触発されて、適応型共形予測の効率向上を目的とした、温度スケーリングの変種である$Conformal$$Temperature$$Scaling$ (ConfTS)を提案する。
具体的には、保留検証データセットに対して、しきい値と基底真理の不整合スコアとのギャップを最小化することにより、ConfTSは温度値を最適化する。
このようにして得られた温度値は、限界被覆特性に違反することなく、最適に高い効率のセットに導かれる。
大規模実験により,提案手法は効率と条件付きカバレッジの両方において適応型コンフォメーション予測手法を効果的に向上し,画像ネット上でのAPSとRAPSの平均サイズを50ドル近い精度で削減できることが示された。
関連論文リスト
- On Temperature Scaling and Conformal Prediction of Deep Classifiers [9.975341265604577]
この目的のための2つの一般的なアプローチは、(1)最大値が正当性確率をより正確に推定するように分類器のソフトマックス値を変更すること、(2)整形予測(CP):真のラベルを含む候補ラベルの予測セットをユーザ特定確率で生成することである。
実際には、どちらの種類の表示も望ましいが、今のところ両者の相互作用は研究されていない。
論文 参考訳(メタデータ) (2024-02-08T16:45:12Z) - Equal Opportunity of Coverage in Fair Regression [50.76908018786335]
我々は、予測の不確実性の下で公正な機械学習(ML)を研究し、信頼性と信頼性のある意思決定を可能にする。
本研究は,(1)類似した結果の異なる集団に対するカバー率が近いこと,(2)人口全体のカバー率が一定水準にあること,の2つの特性を達成することを目的としたカバーの平等機会(EOC)を提案する。
論文 参考訳(メタデータ) (2023-11-03T21:19:59Z) - PAC Prediction Sets Under Label Shift [52.30074177997787]
予測セットは、個々のラベルではなくラベルのセットを予測することによって不確実性を捉える。
ラベルシフト設定においてPAC保証付き予測セットを構築するための新しいアルゴリズムを提案する。
提案手法を5つのデータセットで評価する。
論文 参考訳(メタデータ) (2023-10-19T17:57:57Z) - Conformal Prediction for Deep Classifier via Label Ranking [29.784336674173616]
コンフォーマル予測(Conformal prediction)は、予測セットを所望のカバレッジ保証で生成する統計フレームワークである。
我々は、$textitSorted Adaptive Prediction Sets$ (SAPS)という新しいアルゴリズムを提案する。
SAPSは最大ソフトマックス確率を除いて全ての確率値を捨てる。
論文 参考訳(メタデータ) (2023-10-10T08:54:14Z) - Rethinking Confidence Calibration for Failure Prediction [37.43981354073841]
現代のディープニューラルネットワークは、しばしば誤った予測を過信している。
ほとんどの信頼性校正手法は、故障予測に役に立たないか有害であることがわかった。
フラット・ミニマは故障予測に有用である,という単純な仮説を提案する。
論文 参考訳(メタデータ) (2023-03-06T08:54:18Z) - Predictive Inference with Feature Conformal Prediction [80.77443423828315]
本稿では,特徴空間への共形予測の範囲を拡大する特徴共形予測を提案する。
理論的観点からは、特徴共形予測は軽度の仮定の下で正則共形予測よりも確実に優れていることを示す。
提案手法は,バニラ共形予測だけでなく,他の適応共形予測手法と組み合わせることができる。
論文 参考訳(メタデータ) (2022-10-01T02:57:37Z) - Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。
入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。
CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
論文 参考訳(メタデータ) (2022-07-13T14:13:49Z) - Revisiting Calibration for Question Answering [16.54743762235555]
従来のキャリブレーション評価はモデル信頼性の有用性を反映していないと論じる。
モデルが誤った予測に低信頼を割り当て、正しい予測に高信頼を割り当てているかどうかをよりよく把握する新しい校正基準であるMacroCEを提案する。
論文 参考訳(メタデータ) (2022-05-25T05:49:56Z) - T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。
誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。
我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
論文 参考訳(メタデータ) (2022-03-03T16:58:54Z) - Parameterized Temperature Scaling for Boosting the Expressive Power in
Post-Hoc Uncertainty Calibration [57.568461777747515]
我々は新しいキャリブレーション手法であるパラメタライズド温度スケーリング(PTS)を導入する。
最新のポストホックキャリブレータの精度保持性能は、その本質的な表現力によって制限されることを実証します。
当社の新しい精度保存手法が,多数のモデルアーキテクチャやデータセット,メトリクスにおいて,既存のアルゴリズムを一貫して上回っていることを示す。
論文 参考訳(メタデータ) (2021-02-24T10:18:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。