論文の概要: Does Confidence Calibration Help Conformal Prediction?
- arxiv url: http://arxiv.org/abs/2402.04344v1
- Date: Tue, 6 Feb 2024 19:27:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 18:05:28.027336
- Title: Does Confidence Calibration Help Conformal Prediction?
- Title（参考訳）: 信頼度校正はコンフォーマル予測に役立つか?
- Authors: Huajun Xi, Jianguo Huang, Lei Feng, Hongxin Wei
- Abstract要約: 本研究では, 保温後キャリブレーション法により, キャリブレーションが向上し, 予測セットが大きくなることを示す。
そこで本研究では, しきい値と非整合性スコアとのギャップを埋めて, 目的を正す新しい方法として, $textbf Conformal Temperature Scaling$ (ConfTS)を提案する。
- 参考スコア（独自算出の注目度）: 12.119612461168941
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conformal prediction, as an emerging uncertainty qualification technique,
constructs prediction sets that are guaranteed to contain the true label with
high probability. Previous works usually employ temperature scaling to
calibrate the classifier, assuming that confidence calibration can benefit
conformal prediction. In this work, we first show that post-hoc calibration
methods surprisingly lead to larger prediction sets with improved calibration,
while over-confidence with small temperatures benefits the conformal prediction
performance instead. Theoretically, we prove that high confidence reduces the
probability of appending a new class in the prediction set. Inspired by the
analysis, we propose a novel method, $\textbf{Conformal Temperature Scaling}$
(ConfTS), which rectifies the objective through the gap between the threshold
and the non-conformity score of the ground-truth label. In this way, the new
objective of ConfTS will optimize the temperature value toward an optimal set
that satisfies the $\textit{marginal coverage}$. Experiments demonstrate that
our method can effectively improve widely-used conformal prediction methods.
- Abstract（参考訳）: 不確実性認定技術としての共形予測は、真のラベルを高い確率で含むことが保証される予測セットを構築する。
以前の研究は通常、信頼度校正が共形予測に役立つと仮定して、分類器の校正に温度スケーリングを用いる。
本研究は, 熱後キャリブレーション法により, キャリブレーションを改良した予測セットが驚くほど大きくなり, 小温度での過信が共形予測性能の恩恵を受けることを示した。
理論的には、高い信頼性は予測セットに新しいクラスを追加する確率を減少させる。
この解析に触発されて,接地ラベルの閾値と非定値スコアの差を補正する新しい手法である$\textbf{conformal temperature scaling}$ (confts)を提案する。
このようにして、ConfTSの新しい目的は、$\textit{marginal coverage}$を満たす最適なセットに向けて温度値を最適化する。
実験により,提案手法は広く用いられている共形予測法を効果的に改善できることが示された。
関連論文リスト
- Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。
しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。
信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
論文 参考訳（メタデータ） (2024-10-13T15:37:11Z) - Calibrating Language Models with Adaptive Temperature Scaling [58.056023173579625]
本稿では,各トークンの温度スケーリングパラメータを予測するポストホックキャリブレーション法であるAdaptive Temperature Scaling (ATS)を紹介する。
ATSは、以前のキャリブレーション法と比較して、3つの下流自然言語評価ベンチマークで10-50%以上のキャリブレーションを改善する。
論文 参考訳（メタデータ） (2024-09-29T22:54:31Z) - Domain-adaptive and Subgroup-specific Cascaded Temperature Regression
for Out-of-distribution Calibration [16.930766717110053]
本稿では, メタセットをベースとした新しい温度回帰法を提案し, ポストホックキャリブレーション法を提案する。
予測されたカテゴリと信頼度に基づいて,各メタセットをサブグループに分割し,多様な不確実性を捉える。
回帰ネットワークは、カテゴリ特化および信頼レベル特化スケーリングを導出し、メタセット間のキャリブレーションを達成するように訓練される。
論文 参考訳（メタデータ） (2024-02-14T14:35:57Z) - On Temperature Scaling and Conformal Prediction of Deep Classifiers [9.975341265604577]
この目的のための2つの一般的なアプローチは、(1)最大値が正当性確率をより正確に推定するように分類器のソフトマックス値を変更すること、(2)整形予測(CP):真のラベルを含む候補ラベルの予測セットをユーザ特定確率で生成することである。
実際には、どちらの種類の表示も望ましいが、今のところ両者の相互作用は研究されていない。
論文 参考訳（メタデータ） (2024-02-08T16:45:12Z) - Conformal Prediction for Deep Classifier via Label Ranking [29.784336674173616]
コンフォーマル予測(Conformal prediction)は、予測セットを所望のカバレッジ保証で生成する統計フレームワークである。
我々は、$textitSorted Adaptive Prediction Sets$ (SAPS)という新しいアルゴリズムを提案する。
SAPSは最大ソフトマックス確率を除いて全ての確率値を捨てる。
論文 参考訳（メタデータ） (2023-10-10T08:54:14Z) - Predictive Inference with Feature Conformal Prediction [80.77443423828315]
本稿では,特徴空間への共形予測の範囲を拡大する特徴共形予測を提案する。
理論的観点からは、特徴共形予測は軽度の仮定の下で正則共形予測よりも確実に優れていることを示す。
提案手法は,バニラ共形予測だけでなく,他の適応共形予測手法と組み合わせることができる。
論文 参考訳（メタデータ） (2022-10-01T02:57:37Z) - Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。
入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。
CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
論文 参考訳（メタデータ） (2022-07-13T14:13:49Z) - Efficient and Differentiable Conformal Prediction with General Function
Classes [96.74055810115456]
本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。
本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。
実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
論文 参考訳（メタデータ） (2022-02-22T18:37:23Z) - Optimized conformal classification using gradient descent approximation [0.2538209532048866]
コンフォーマル予測器は、ユーザ定義の信頼性レベルで予測を行うことができる。
我々は,共形予測器を直接最大予測効率で訓練する手法を検討する。
実世界の複数のデータセット上で本手法を検証し,本手法が有望であることを示す。
論文 参考訳（メタデータ） (2021-05-24T13:14:41Z) - Parameterized Temperature Scaling for Boosting the Expressive Power in
Post-Hoc Uncertainty Calibration [57.568461777747515]
我々は新しいキャリブレーション手法であるパラメタライズド温度スケーリング(PTS)を導入する。
最新のポストホックキャリブレータの精度保持性能は、その本質的な表現力によって制限されることを実証します。
当社の新しい精度保存手法が,多数のモデルアーキテクチャやデータセット,メトリクスにおいて,既存のアルゴリズムを一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2021-02-24T10:18:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。