論文の概要: Does Confidence Calibration Help Conformal Prediction?
- arxiv url: http://arxiv.org/abs/2402.04344v1
- Date: Tue, 6 Feb 2024 19:27:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 18:05:28.027336
- Title: Does Confidence Calibration Help Conformal Prediction?
- Title（参考訳）: 信頼度校正はコンフォーマル予測に役立つか?
- Authors: Huajun Xi, Jianguo Huang, Lei Feng, Hongxin Wei
- Abstract要約: 本研究では, 保温後キャリブレーション法により, キャリブレーションが向上し, 予測セットが大きくなることを示す。
そこで本研究では, しきい値と非整合性スコアとのギャップを埋めて, 目的を正す新しい方法として, $textbf Conformal Temperature Scaling$ (ConfTS)を提案する。
- 参考スコア（独自算出の注目度）: 12.119612461168941
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conformal prediction, as an emerging uncertainty qualification technique,
constructs prediction sets that are guaranteed to contain the true label with
high probability. Previous works usually employ temperature scaling to
calibrate the classifier, assuming that confidence calibration can benefit
conformal prediction. In this work, we first show that post-hoc calibration
methods surprisingly lead to larger prediction sets with improved calibration,
while over-confidence with small temperatures benefits the conformal prediction
performance instead. Theoretically, we prove that high confidence reduces the
probability of appending a new class in the prediction set. Inspired by the
analysis, we propose a novel method, $\textbf{Conformal Temperature Scaling}$
(ConfTS), which rectifies the objective through the gap between the threshold
and the non-conformity score of the ground-truth label. In this way, the new
objective of ConfTS will optimize the temperature value toward an optimal set
that satisfies the $\textit{marginal coverage}$. Experiments demonstrate that
our method can effectively improve widely-used conformal prediction methods.
- Abstract（参考訳）: 不確実性認定技術としての共形予測は、真のラベルを高い確率で含むことが保証される予測セットを構築する。
以前の研究は通常、信頼度校正が共形予測に役立つと仮定して、分類器の校正に温度スケーリングを用いる。
本研究は, 熱後キャリブレーション法により, キャリブレーションを改良した予測セットが驚くほど大きくなり, 小温度での過信が共形予測性能の恩恵を受けることを示した。
理論的には、高い信頼性は予測セットに新しいクラスを追加する確率を減少させる。
この解析に触発されて,接地ラベルの閾値と非定値スコアの差を補正する新しい手法である$\textbf{conformal temperature scaling}$ (confts)を提案する。
このようにして、ConfTSの新しい目的は、$\textit{marginal coverage}$を満たす最適なセットに向けて温度値を最適化する。
実験により,提案手法は広く用いられている共形予測法を効果的に改善できることが示された。
関連論文リスト
- Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。
しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。
信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
論文 参考訳（メタデータ） (2024-10-13T15:37:11Z) - Calibrating Language Models with Adaptive Temperature Scaling [58.056023173579625]
本稿では,各トークンの温度スケーリングパラメータを予測するポストホックキャリブレーション法であるAdaptive Temperature Scaling (ATS)を紹介する。
ATSは、以前のキャリブレーション法と比較して、3つの下流自然言語評価ベンチマークで10-50%以上のキャリブレーションを改善する。
論文 参考訳（メタデータ） (2024-09-29T22:54:31Z) - Domain-adaptive and Subgroup-specific Cascaded Temperature Regression
for Out-of-distribution Calibration [16.930766717110053]
本稿では, メタセットをベースとした新しい温度回帰法を提案し, ポストホックキャリブレーション法を提案する。
予測されたカテゴリと信頼度に基づいて,各メタセットをサブグループに分割し,多様な不確実性を捉える。
回帰ネットワークは、カテゴリ特化および信頼レベル特化スケーリングを導出し、メタセット間のキャリブレーションを達成するように訓練される。
論文 参考訳（メタデータ） (2024-02-14T14:35:57Z) - Self-Calibrating Conformal Prediction [16.606421967131524]
本稿では,これらの予測に対して有限サンプル妥当性条件付き予測間隔とともに,校正点予測を実現するための自己校正等式予測を提案する。
本手法は,モデルキャリブレーションによりキャリブレーション間隔効率を向上し,特徴条件の妥当性に対して実用的な代替手段を提供する。
論文 参考訳（メタデータ） (2024-02-11T21:12:21Z) - Predictive Inference with Feature Conformal Prediction [80.77443423828315]
本稿では,特徴空間への共形予測の範囲を拡大する特徴共形予測を提案する。
理論的観点からは、特徴共形予測は軽度の仮定の下で正則共形予測よりも確実に優れていることを示す。
提案手法は,バニラ共形予測だけでなく,他の適応共形予測手法と組み合わせることができる。
論文 参考訳（メタデータ） (2022-10-01T02:57:37Z) - Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。
入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。
CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
論文 参考訳（メタデータ） (2022-07-13T14:13:49Z) - Revisiting Calibration for Question Answering [16.54743762235555]
従来のキャリブレーション評価はモデル信頼性の有用性を反映していないと論じる。
モデルが誤った予測に低信頼を割り当て、正しい予測に高信頼を割り当てているかどうかをよりよく把握する新しい校正基準であるMacroCEを提案する。
論文 参考訳（メタデータ） (2022-05-25T05:49:56Z) - Optimized conformal classification using gradient descent approximation [0.2538209532048866]
コンフォーマル予測器は、ユーザ定義の信頼性レベルで予測を行うことができる。
我々は,共形予測器を直接最大予測効率で訓練する手法を検討する。
実世界の複数のデータセット上で本手法を検証し,本手法が有望であることを示す。
論文 参考訳（メタデータ） (2021-05-24T13:14:41Z) - Parameterized Temperature Scaling for Boosting the Expressive Power in
Post-Hoc Uncertainty Calibration [57.568461777747515]
我々は新しいキャリブレーション手法であるパラメタライズド温度スケーリング(PTS)を導入する。
最新のポストホックキャリブレータの精度保持性能は、その本質的な表現力によって制限されることを実証します。
当社の新しい精度保存手法が,多数のモデルアーキテクチャやデータセット,メトリクスにおいて,既存のアルゴリズムを一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2021-02-24T10:18:30Z) - Private Prediction Sets [72.75711776601973]
機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。
これら2つのデシラタを共同で扱う枠組みを提案する。
本手法を大規模コンピュータビジョンデータセット上で評価する。
論文 参考訳（メタデータ） (2021-02-11T18:59:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。