論文の概要: Uncertainty Sets for Image Classifiers using Conformal Prediction
- arxiv url: http://arxiv.org/abs/2009.14193v5
- Date: Sat, 3 Sep 2022 05:45:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 05:53:37.407235
- Title: Uncertainty Sets for Image Classifiers using Conformal Prediction
- Title(参考訳): 等角予測を用いた画像分類器の不確かさ集合
- Authors: Anastasios Angelopoulos, Stephen Bates, Jitendra Malik, Michael I.
Jordan
- Abstract要約: 本稿では,任意の分類器を修飾して真のラベルを含む予測集合を,90%などのユーザ指定確率で出力するアルゴリズムを提案する。
このアルゴリズムはPlatetスケーリングのようにシンプルで高速だが、すべてのモデルとデータセットに対して正式な有限サンプルカバレッジを保証する。
提案手法は,Plattスケーリング後の可逆クラスの小さなスコアを正規化することにより,より安定した予測セットを与えるために,既存の共形予測アルゴリズムを改良する。
- 参考スコア(独自算出の注目度): 112.54626392838163
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Convolutional image classifiers can achieve high predictive accuracy, but
quantifying their uncertainty remains an unresolved challenge, hindering their
deployment in consequential settings. Existing uncertainty quantification
techniques, such as Platt scaling, attempt to calibrate the network's
probability estimates, but they do not have formal guarantees. We present an
algorithm that modifies any classifier to output a predictive set containing
the true label with a user-specified probability, such as 90%. The algorithm is
simple and fast like Platt scaling, but provides a formal finite-sample
coverage guarantee for every model and dataset. Our method modifies an existing
conformal prediction algorithm to give more stable predictive sets by
regularizing the small scores of unlikely classes after Platt scaling. In
experiments on both Imagenet and Imagenet-V2 with ResNet-152 and other
classifiers, our scheme outperforms existing approaches, achieving coverage
with sets that are often factors of 5 to 10 smaller than a stand-alone Platt
scaling baseline.
- Abstract(参考訳): 畳み込み画像分類器は高い予測精度を達成できるが、不確かさの定量化は未解決の課題であり、一連の設定でのデプロイメントを妨げる。
プラットスケーリングのような既存の不確実な定量化技術は、ネットワークの確率推定を校正しようとするが、正式な保証はない。
本稿では,任意の分類器を修飾して真のラベルを含む予測集合を,90%などのユーザ指定確率で出力するアルゴリズムを提案する。
このアルゴリズムはPlatetスケーリングのようにシンプルで高速だが、すべてのモデルとデータセットに対して正式な有限サンプルカバレッジを保証する。
提案手法は,Plattスケーリング後の可逆クラスの小さなスコアを正規化することにより,より安定した予測セットを与えるために,既存の共形予測アルゴリズムを変更する。
ResNet-152 などの分類器を用いた Imagenet と Imagenet-V2 の両実験において,本手法は既存の手法よりも優れており,スタンドアローンの Platt スケーリングベースラインよりも 5 から 10 の要素を持つ場合が多い。
関連論文リスト
- Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。
しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。
信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
論文 参考訳(メタデータ) (2024-10-13T15:37:11Z) - A conformalized learning of a prediction set with applications to medical imaging classification [14.304858613146536]
本稿では,真のラベルを含む予測セットをユーザが特定した確率で生成するアルゴリズムを提案する。
提案アルゴリズムをいくつかの標準医用画像分類データセットに適用した。
論文 参考訳(メタデータ) (2024-08-09T12:49:04Z) - Provably Robust Conformal Prediction with Improved Efficiency [29.70455766394585]
コンフォーマル予測は、保証されたカバレッジで不確実性セットを生成する強力なツールである。
逆の例は、不正なカバレッジ率の予測セットを構築するために共形メソッドを操作することができる。
本稿では,PTT(Post-Training Transformation)とRCT(Robust Conformal Training)という2つの新しい手法を提案する。
論文 参考訳(メタデータ) (2024-04-30T15:49:01Z) - Domain-adaptive and Subgroup-specific Cascaded Temperature Regression
for Out-of-distribution Calibration [16.930766717110053]
本稿では, メタセットをベースとした新しい温度回帰法を提案し, ポストホックキャリブレーション法を提案する。
予測されたカテゴリと信頼度に基づいて,各メタセットをサブグループに分割し,多様な不確実性を捉える。
回帰ネットワークは、カテゴリ特化および信頼レベル特化スケーリングを導出し、メタセット間のキャリブレーションを達成するように訓練される。
論文 参考訳(メタデータ) (2024-02-14T14:35:57Z) - PAC Prediction Sets Under Label Shift [52.30074177997787]
予測セットは、個々のラベルではなくラベルのセットを予測することによって不確実性を捉える。
ラベルシフト設定においてPAC保証付き予測セットを構築するための新しいアルゴリズムを提案する。
提案手法を5つのデータセットで評価する。
論文 参考訳(メタデータ) (2023-10-19T17:57:57Z) - NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural
Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。
種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文 参考訳(メタデータ) (2022-02-07T12:30:45Z) - Almost Tight L0-norm Certified Robustness of Top-k Predictions against
Adversarial Perturbations [78.23408201652984]
トップk予測は、マシンラーニング・アズ・ア・サービス、レコメンダ・システム、Web検索など、多くの現実世界のアプリケーションで使用されている。
我々の研究はランダム化平滑化に基づいており、入力をランダム化することで、証明可能なロバストな分類器を構築する。
例えば、攻撃者がテスト画像の5ピクセルを任意に摂動できる場合に、ImageNet上で69.2%の認定トップ3精度を達成する分類器を構築することができる。
論文 参考訳(メタデータ) (2020-11-15T21:34:44Z) - Knowing what you know: valid and validated confidence sets in multiclass
and multilabel prediction [0.8594140167290097]
マルチクラスおよびマルチラベル問題において、有効な信頼セットを構築するための共形予測手法を開発する。
量子レグレッションのアイデアを活用することで、常に正しいカバレッジを保証すると同時に、マルチクラスとマルチラベルの予測問題に対して条件付きカバレッジを提供する手法を構築する。
論文 参考訳(メタデータ) (2020-04-21T17:45:38Z) - Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。
任意の関数に対するランダム化スムージングの統一的なビューを示す。
本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
論文 参考訳(メタデータ) (2020-02-07T21:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。