論文の概要: Does Confidence Calibration Help Conformal Prediction?
- arxiv url: http://arxiv.org/abs/2402.04344v1
- Date: Tue, 6 Feb 2024 19:27:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 18:05:28.027336
- Title: Does Confidence Calibration Help Conformal Prediction?
- Title（参考訳）: 信頼度校正はコンフォーマル予測に役立つか?
- Authors: Huajun Xi, Jianguo Huang, Lei Feng, Hongxin Wei
- Abstract要約: 本研究では, 保温後キャリブレーション法により, キャリブレーションが向上し, 予測セットが大きくなることを示す。
そこで本研究では, しきい値と非整合性スコアとのギャップを埋めて, 目的を正す新しい方法として, $textbf Conformal Temperature Scaling$ (ConfTS)を提案する。
- 参考スコア（独自算出の注目度）: 12.119612461168941
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conformal prediction, as an emerging uncertainty qualification technique,
constructs prediction sets that are guaranteed to contain the true label with
high probability. Previous works usually employ temperature scaling to
calibrate the classifier, assuming that confidence calibration can benefit
conformal prediction. In this work, we first show that post-hoc calibration
methods surprisingly lead to larger prediction sets with improved calibration,
while over-confidence with small temperatures benefits the conformal prediction
performance instead. Theoretically, we prove that high confidence reduces the
probability of appending a new class in the prediction set. Inspired by the
analysis, we propose a novel method, $\textbf{Conformal Temperature Scaling}$
(ConfTS), which rectifies the objective through the gap between the threshold
and the non-conformity score of the ground-truth label. In this way, the new
objective of ConfTS will optimize the temperature value toward an optimal set
that satisfies the $\textit{marginal coverage}$. Experiments demonstrate that
our method can effectively improve widely-used conformal prediction methods.
- Abstract（参考訳）: 不確実性認定技術としての共形予測は、真のラベルを高い確率で含むことが保証される予測セットを構築する。
以前の研究は通常、信頼度校正が共形予測に役立つと仮定して、分類器の校正に温度スケーリングを用いる。
本研究は, 熱後キャリブレーション法により, キャリブレーションを改良した予測セットが驚くほど大きくなり, 小温度での過信が共形予測性能の恩恵を受けることを示した。
理論的には、高い信頼性は予測セットに新しいクラスを追加する確率を減少させる。
この解析に触発されて,接地ラベルの閾値と非定値スコアの差を補正する新しい手法である$\textbf{conformal temperature scaling}$ (confts)を提案する。
このようにして、ConfTSの新しい目的は、$\textit{marginal coverage}$を満たす最適なセットに向けて温度値を最適化する。
実験により,提案手法は広く用いられている共形予測法を効果的に改善できることが示された。
関連論文リスト
- On Temperature Scaling and Conformal Prediction of Deep Classifiers [9.975341265604577]
この目的のための2つの一般的なアプローチは、(1)最大値が正当性確率をより正確に推定するように分類器のソフトマックス値を変更すること、(2)整形予測(CP):真のラベルを含む候補ラベルの予測セットをユーザ特定確率で生成することである。
実際には、どちらの種類の表示も望ましいが、今のところ両者の相互作用は研究されていない。
論文 参考訳（メタデータ） (2024-02-08T16:45:12Z) - Equal Opportunity of Coverage in Fair Regression [50.76908018786335]
我々は、予測の不確実性の下で公正な機械学習(ML)を研究し、信頼性と信頼性のある意思決定を可能にする。
本研究は,(1)類似した結果の異なる集団に対するカバー率が近いこと,(2)人口全体のカバー率が一定水準にあること,の2つの特性を達成することを目的としたカバーの平等機会(EOC)を提案する。
論文 参考訳（メタデータ） (2023-11-03T21:19:59Z) - PAC Prediction Sets Under Label Shift [52.30074177997787]
予測セットは、個々のラベルではなくラベルのセットを予測することによって不確実性を捉える。
ラベルシフト設定においてPAC保証付き予測セットを構築するための新しいアルゴリズムを提案する。
提案手法を5つのデータセットで評価する。
論文 参考訳（メタデータ） (2023-10-19T17:57:57Z) - Conformal Prediction for Deep Classifier via Label Ranking [29.784336674173616]
コンフォーマル予測(Conformal prediction)は、予測セットを所望のカバレッジ保証で生成する統計フレームワークである。
我々は、$textitSorted Adaptive Prediction Sets$ (SAPS)という新しいアルゴリズムを提案する。
SAPSは最大ソフトマックス確率を除いて全ての確率値を捨てる。
論文 参考訳（メタデータ） (2023-10-10T08:54:14Z) - Rethinking Confidence Calibration for Failure Prediction [37.43981354073841]
現代のディープニューラルネットワークは、しばしば誤った予測を過信している。
ほとんどの信頼性校正手法は、故障予測に役に立たないか有害であることがわかった。
フラット・ミニマは故障予測に有用である,という単純な仮説を提案する。
論文 参考訳（メタデータ） (2023-03-06T08:54:18Z) - Predictive Inference with Feature Conformal Prediction [80.77443423828315]
本稿では,特徴空間への共形予測の範囲を拡大する特徴共形予測を提案する。
理論的観点からは、特徴共形予測は軽度の仮定の下で正則共形予測よりも確実に優れていることを示す。
提案手法は,バニラ共形予測だけでなく,他の適応共形予測手法と組み合わせることができる。
論文 参考訳（メタデータ） (2022-10-01T02:57:37Z) - Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。
入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。
CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
論文 参考訳（メタデータ） (2022-07-13T14:13:49Z) - Revisiting Calibration for Question Answering [16.54743762235555]
従来のキャリブレーション評価はモデル信頼性の有用性を反映していないと論じる。
モデルが誤った予測に低信頼を割り当て、正しい予測に高信頼を割り当てているかどうかをよりよく把握する新しい校正基準であるMacroCEを提案する。
論文 参考訳（メタデータ） (2022-05-25T05:49:56Z) - T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。
誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。
我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
論文 参考訳（メタデータ） (2022-03-03T16:58:54Z) - Parameterized Temperature Scaling for Boosting the Expressive Power in
Post-Hoc Uncertainty Calibration [57.568461777747515]
我々は新しいキャリブレーション手法であるパラメタライズド温度スケーリング(PTS)を導入する。
最新のポストホックキャリブレータの精度保持性能は、その本質的な表現力によって制限されることを実証します。
当社の新しい精度保存手法が,多数のモデルアーキテクチャやデータセット,メトリクスにおいて,既存のアルゴリズムを一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2021-02-24T10:18:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。