論文の概要: Conformal Prediction for Deep Classifier via Label Ranking
- arxiv url: http://arxiv.org/abs/2310.06430v1
- Date: Tue, 10 Oct 2023 08:54:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-11 18:13:33.969325
- Title: Conformal Prediction for Deep Classifier via Label Ranking
- Title(参考訳): ラベルランキングによる深部分類器のコンフォメーション予測
- Authors: Jianguo Huang, Huajun Xi, Linjun Zhang, Huaxiu Yao, Yue Qiu, Hongxin
Wei
- Abstract要約: コンフォーマル予測(Conformal prediction)は、予測セットを所望のカバレッジ保証で生成する統計フレームワークである。
本稿では,確率値の無視が,誤校正された確率値の望ましくない効果を軽減することを示す。
我々は,最大ソフトマックス確率を除いて全ての確率値を破棄する,$ittextSorted Adaptive Prediction Set$ (SAPS) という新しいアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 31.559954367481538
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conformal prediction is a statistical framework that generates prediction
sets containing ground-truth labels with a desired coverage guarantee. The
predicted probabilities produced by machine learning models are generally
miscalibrated, leading to large prediction sets in conformal prediction. In
this paper, we empirically and theoretically show that disregarding the
probabilities' value will mitigate the undesirable effect of miscalibrated
probability values. Then, we propose a novel algorithm named $\textit{Sorted
Adaptive prediction sets}$ (SAPS), which discards all the probability values
except for the maximum softmax probability. The key idea behind SAPS is to
minimize the dependence of the non-conformity score on the probability values
while retaining the uncertainty information. In this manner, SAPS can produce
sets of small size and communicate instance-wise uncertainty. Theoretically, we
provide a finite-sample coverage guarantee of SAPS and show that the expected
value of set size from SAPS is always smaller than APS. Extensive experiments
validate that SAPS not only lessens the prediction sets but also broadly
enhances the conditional coverage rate and adaptation of prediction sets.
- Abstract(参考訳): 共形予測(conformal prediction)は、所望のカバレッジ保証付き接地ラベルを含む予測セットを生成する統計フレームワークである。
機械学習モデルが生成する予測確率は一般に誤解され、共形予測において大きな予測セットをもたらす。
本稿では,確率値の無視が不適切な確率値の影響を軽減することを実証的,理論的に示す。
そこで我々は,最大ソフトマックス確率を除いて全ての確率値を捨てる,$\textit{Sorted Adaptive Prediction Set}$ (SAPS) という新しいアルゴリズムを提案する。
SAPSの背後にある鍵となる考え方は、不確実性情報を保持しながら、確率値に対する非整合スコアの依存を最小限に抑えることである。
このように、SAPSは小さなサイズの集合を生成し、インスタンスワイドの不確実性を伝えることができる。
理論的には、SAPS の有限サンプルカバレッジ保証を提供し、SAPS のセットサイズが APS よりも常に小さいことを示す。
広範な実験により、sapsは予測セットを減少させるだけでなく、条件付きカバレッジと予測セットの適応性を大きく向上させる。
関連論文リスト
- PAC Prediction Sets Under Label Shift [52.30074177997787]
予測セットは、個々のラベルではなくラベルのセットを予測することによって不確実性を捉える。
ラベルシフト設定においてPAC保証付き予測セットを構築するための新しいアルゴリズムを提案する。
提案手法を5つのデータセットで評価する。
論文 参考訳(メタデータ) (2023-10-19T17:57:57Z) - RR-CP: Reliable-Region-Based Conformal Prediction for Trustworthy
Medical Image Classification [24.52922162675259]
コンフォーマル予測(CP)は、与えられたテストサンプルに対して一連の予測を生成する。
集合のサイズは、予測がどの程度あるかを示す。
信頼度に基づくコンフォーマル予測(RR-CP)と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-09-09T11:14:04Z) - Post-selection Inference for Conformal Prediction: Trading off Coverage
for Precision [0.0]
伝統的に、共形予測推論はデータに依存しない発見レベルの仕様を必要とする。
我々は,データ依存的誤発見レベルを考慮した同時共形推論を開発する。
論文 参考訳(メタデータ) (2023-04-12T20:56:43Z) - Probabilistic Conformal Prediction Using Conditional Random Samples [73.26753677005331]
PCPは、不連続な予測セットによって対象変数を推定する予測推論アルゴリズムである。
効率的で、明示的または暗黙的な条件生成モデルと互換性がある。
論文 参考訳(メタデータ) (2022-06-14T03:58:03Z) - Conformal Off-Policy Prediction in Contextual Bandits [54.67508891852636]
コンフォーマルなオフ政治予測は、新しい目標ポリシーの下で、結果に対する信頼できる予測間隔を出力することができる。
理論上の有限サンプル保証は、標準的な文脈的バンディットの設定を超える追加の仮定をすることなく提供する。
論文 参考訳(メタデータ) (2022-06-09T10:39:33Z) - Prediction Sets Adaptive to Unknown Covariate Shift [18.105704797438417]
有限サンプル被覆保証付き予測集合は非形式的であることを示す。
そこで我々は,予測セットを効率的に構築する,新しいフレキシブルな分散フリー手法PredSet-1Stepを提案する。
論文 参考訳(メタデータ) (2022-03-11T17:53:14Z) - Efficient and Differentiable Conformal Prediction with General Function
Classes [96.74055810115456]
本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。
本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。
実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
論文 参考訳(メタデータ) (2022-02-22T18:37:23Z) - Taming Overconfident Prediction on Unlabeled Data from Hindsight [50.9088560433925]
ラベルのないデータに対する予測の不確実性を最小化することは、半教師付き学習において優れた性能を達成するための鍵となる要素である。
本稿では,アダプティブシャーニング(Adaptive Sharpening, ADS)と呼ばれる2つのメカニズムを提案する。
ADSは、プラグインにすることで最先端のSSLメソッドを大幅に改善する。
論文 参考訳(メタデータ) (2021-12-15T15:17:02Z) - Probabilistic Gradient Boosting Machines for Large-Scale Probabilistic
Regression [51.770998056563094]
PGBM(Probabilistic Gradient Boosting Machines)は、確率的予測を生成する手法である。
既存の最先端手法と比較してPGBMの利点を実証的に示す。
論文 参考訳(メタデータ) (2021-06-03T08:32:13Z) - Efficient Conformal Prediction via Cascaded Inference with Expanded
Admission [43.596058175459746]
共形予測(CP)のための新しい手法を提案する。
我々は、単一の予測の代わりに、予測候補のセットを特定することを目指している。
この集合は、高い確率で正しい答えを含むことが保証される。
論文 参考訳(メタデータ) (2020-07-06T23:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。