論文の概要: Probabilistically robust conformal prediction
- arxiv url: http://arxiv.org/abs/2307.16360v1
- Date: Mon, 31 Jul 2023 01:32:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-01 16:08:59.106347
- Title: Probabilistically robust conformal prediction
- Title(参考訳): 確率的ロバストな共形予測
- Authors: Subhankar Ghosh, Yuanjie Shi, Taha Belkhouja, Yan Yan, Jana Doppa,
Brian Jones
- Abstract要約: コンフォーマル予測(CP)は、ディープニューラルネットワークを含む機械学習分類器の不確実性を定量化するフレームワークである。
CPに関する既存の作業のほとんど全てがクリーンなテストデータを前提としており、CPアルゴリズムの堅牢性についてはあまり知られていない。
本稿では,ほとんどの摂動に対して頑健性を保証する確率論的頑健な共形予測(PRCP)の問題について検討する。
- 参考スコア(独自算出の注目度): 9.401004747930974
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Conformal prediction (CP) is a framework to quantify uncertainty of machine
learning classifiers including deep neural networks. Given a testing example
and a trained classifier, CP produces a prediction set of candidate labels with
a user-specified coverage (i.e., true class label is contained with high
probability). Almost all the existing work on CP assumes clean testing data and
there is not much known about the robustness of CP algorithms w.r.t
natural/adversarial perturbations to testing examples. This paper studies the
problem of probabilistically robust conformal prediction (PRCP) which ensures
robustness to most perturbations around clean input examples. PRCP generalizes
the standard CP (cannot handle perturbations) and adversarially robust CP
(ensures robustness w.r.t worst-case perturbations) to achieve better
trade-offs between nominal performance and robustness. We propose a novel
adaptive PRCP (aPRCP) algorithm to achieve probabilistically robust coverage.
The key idea behind aPRCP is to determine two parallel thresholds, one for data
samples and another one for the perturbations on data (aka
"quantile-of-quantile" design). We provide theoretical analysis to show that
aPRCP algorithm achieves robust coverage. Our experiments on CIFAR-10,
CIFAR-100, and ImageNet datasets using deep neural networks demonstrate that
aPRCP achieves better trade-offs than state-of-the-art CP and adversarially
robust CP algorithms.
- Abstract(参考訳): コンフォーマル予測(CP)は、ディープニューラルネットワークを含む機械学習分類器の不確実性を定量化するフレームワークである。
テスト例と訓練された分類器が与えられた場合、CPはユーザ指定のカバレッジを持つ候補ラベルの予測セットを生成する(真のクラスラベルは高い確率で含まれる)。
cpの既存の作業のほとんどはクリーンなテストデータを前提としており、cpアルゴリズムの堅牢性についてはあまり知られていない。
本稿では,清潔な入力例に関する多くの摂動に対するロバスト性を保証する確率的ロバストな共形予測(prcp)の問題について検討する。
PRCPは標準的なCP(摂動を扱えない)と逆向きに堅牢なCP(最悪の場合の摂動の堅牢性を保証する)を一般化し、名目性能と堅牢性の間のトレードオフを改善する。
本稿では,確率論的に堅牢なカバレッジを実現するための適応型PRCPアルゴリズムを提案する。
aprcpの背後にある重要なアイデアは、データサンプルのための2つの並列しきい値と、データ上の摂動のための2つの並列しきい値を決定することである("quantile-of-quantile"デザインとも呼ばれる)。
本稿では,APRCPアルゴリズムがロバストなカバレッジを実現することを示す理論的解析を行う。
深層ニューラルネットワークを用いたCIFAR-10, CIFAR-100, ImageNetデータセットを用いた実験により, APRCPは最先端のCPアルゴリズムや逆向きに堅牢なCPアルゴリズムよりも優れたトレードオフを実現することが示された。
関連論文リスト
- Robust Yet Efficient Conformal Prediction Sets [53.78604391939934]
コンフォーマル予測(CP)は、任意のモデルの出力を真のラベルを含むことが保証された予測セットに変換することができる。
整合性スコアの最悪のケース変化をバウンドすることで、証明可能なロバストな集合を導出する。
論文 参考訳(メタデータ) (2024-07-12T10:59:44Z) - Verifiably Robust Conformal Prediction [1.391198481393699]
本稿では、ニューラルネットワーク検証手法を利用して、敵攻撃時のカバレッジ保証を回復する新しいフレームワークであるVRCP(Verifiably Robust Conformal Prediction)を紹介する。
私たちのメソッドは、回帰タスクだけでなく、$ell1$, $ell2$, $ellinfty$といった任意のノルムで束縛された摂動をサポートする最初の方法です。
いずれの場合も、VRCPは名目上の範囲を達成し、SotAよりもはるかに効率的で情報的な予測領域が得られる。
論文 参考訳(メタデータ) (2024-05-29T09:50:43Z) - Efficient Conformal Prediction under Data Heterogeneity [79.35418041861327]
コンフォーマル予測(CP)は不確実性定量化のための頑健な枠組みである。
非交換性に対処するための既存のアプローチは、最も単純な例を超えて計算不可能なメソッドにつながる。
この研究は、比較的一般的な非交換可能なデータ分布に対して証明可能な信頼セットを生成する、CPに新しい効率的なアプローチを導入する。
論文 参考訳(メタデータ) (2023-12-25T20:02:51Z) - PAC Prediction Sets Under Label Shift [52.30074177997787]
予測セットは、個々のラベルではなくラベルのセットを予測することによって不確実性を捉える。
ラベルシフト設定においてPAC保証付き予測セットを構築するための新しいアルゴリズムを提案する。
提案手法を5つのデータセットで評価する。
論文 参考訳(メタデータ) (2023-10-19T17:57:57Z) - RR-CP: Reliable-Region-Based Conformal Prediction for Trustworthy
Medical Image Classification [24.52922162675259]
コンフォーマル予測(CP)は、与えられたテストサンプルに対して一連の予測を生成する。
集合のサイズは、予測がどの程度あるかを示す。
信頼度に基づくコンフォーマル予測(RR-CP)と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-09-09T11:14:04Z) - Improving Uncertainty Quantification of Deep Classifiers via
Neighborhood Conformal Prediction: Novel Algorithm and Theoretical Analysis [30.0231328500976]
コンフォーマル予測(CP)は、ディープモデルの不確実性定量化のための原則的枠組みである。
本稿では,不確実性定量化の効率を向上させるため,NCP(Neighborhood Conformal Prediction)と呼ばれる新しいアルゴリズムを提案する。
NCPは従来のCP法よりも予測セットサイズが大幅に小さくなることを示す。
論文 参考訳(メタデータ) (2023-03-19T15:56:50Z) - Probabilistic Conformal Prediction Using Conditional Random Samples [73.26753677005331]
PCPは、不連続な予測セットによって対象変数を推定する予測推論アルゴリズムである。
効率的で、明示的または暗黙的な条件生成モデルと互換性がある。
論文 参考訳(メタデータ) (2022-06-14T03:58:03Z) - A Confidence Machine for Sparse High-Order Interaction Model [16.780058676633914]
コンフォーマル予測(CP: Conformal Prediction)は、より少ない理論的仮定で予測結果の信頼性を得るための有望な手法である。
我々は,変数間の高次相互作用を考慮に入れた,十分なフレキシブルな,スパース高次相互作用モデル(SHIM)の完全なCPを開発する。
論文 参考訳(メタデータ) (2022-05-28T03:23:56Z) - Approximating Full Conformal Prediction at Scale via Influence Functions [30.391742057634264]
コンフォーマル予測(CP)は、従来の機械学習モデルを取り巻くラッパーである。
本稿では、フルCPを効率的に近似するために影響関数を用いる。
論文 参考訳(メタデータ) (2022-02-02T22:38:40Z) - Selective Classification via One-Sided Prediction [54.05407231648068]
片側予測(OSP)に基づく緩和は、実際に関係する高目標精度体制において、ほぼ最適カバレッジが得られるSCスキームをもたらす。
理論的には,SCとOSPのバウンダリ一般化を導出し,その手法が小さな誤差レベルでのカバレッジにおいて,技術手法の状態を強く上回ることを示す。
論文 参考訳(メタデータ) (2020-10-15T16:14:27Z) - Evaluating probabilistic classifiers: Reliability diagrams and score
decompositions revisited [68.8204255655161]
確率的に統計的に一貫性があり、最適に結合し、再現可能な信頼性図を自動生成するCORP手法を導入する。
コーパスは非パラメトリックアイソトニック回帰に基づいており、プール・アジャセント・ヴァイオレータ(PAV)アルゴリズムによって実装されている。
論文 参考訳(メタデータ) (2020-08-07T08:22:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。