論文の概要: Verifiably Robust Conformal Prediction
- arxiv url: http://arxiv.org/abs/2405.18942v3
- Date: Sat, 16 Nov 2024 17:51:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-19 14:30:12.073800
- Title: Verifiably Robust Conformal Prediction
- Title(参考訳): Verifiably Robust Conformal Prediction
- Authors: Linus Jeary, Tom Kuipers, Mehran Hosseini, Nicola Paoletti,
- Abstract要約: 本稿では、ニューラルネットワーク検証手法を利用して、敵攻撃時のカバレッジ保証を回復する新しいフレームワークであるVRCP(Verifiably Robust Conformal Prediction)を紹介する。
私たちのメソッドは、回帰タスクだけでなく、$ell1$, $ell2$, $ellinfty$といった任意のノルムで束縛された摂動をサポートする最初の方法です。
いずれの場合も、VRCPは名目上の範囲を達成し、SotAよりもはるかに効率的で情報的な予測領域が得られる。
- 参考スコア(独自算出の注目度): 1.391198481393699
- License:
- Abstract: Conformal Prediction (CP) is a popular uncertainty quantification method that provides distribution-free, statistically valid prediction sets, assuming that training and test data are exchangeable. In such a case, CP's prediction sets are guaranteed to cover the (unknown) true test output with a user-specified probability. Nevertheless, this guarantee is violated when the data is subjected to adversarial attacks, which often result in a significant loss of coverage. Recently, several approaches have been put forward to recover CP guarantees in this setting. These approaches leverage variations of randomised smoothing to produce conservative sets which account for the effect of the adversarial perturbations. They are, however, limited in that they only support $\ell^2$-bounded perturbations and classification tasks. This paper introduces VRCP (Verifiably Robust Conformal Prediction), a new framework that leverages recent neural network verification methods to recover coverage guarantees under adversarial attacks. Our VRCP method is the first to support perturbations bounded by arbitrary norms including $\ell^1$, $\ell^2$, and $\ell^\infty$, as well as regression tasks. We evaluate and compare our approach on image classification tasks (CIFAR10, CIFAR100, and TinyImageNet) and regression tasks for deep reinforcement learning environments. In every case, VRCP achieves above nominal coverage and yields significantly more efficient and informative prediction regions than the SotA.
- Abstract(参考訳): コンフォーマル予測(CP)は、トレーニングデータとテストデータが交換可能であると仮定して、分布のない統計的に有効な予測セットを提供する一般的な不確実性定量化手法である。
このような場合、CPの予測セットは、(未知の)真のテスト出力をユーザ特定確率でカバーすることが保証される。
それでも、この保証は、データが敵の攻撃を受けた場合に違反され、しばしばカバレッジが著しく失われる。
近年,CP保証を回復するためのいくつかのアプローチが提案されている。
これらのアプローチはランダムな平滑化のバリエーションを活用して、対角摂動の影響を考慮に入れた保守的な集合を生成する。
しかし、それらは$\ell^2$-bounded 摂動と分類タスクのみをサポートするという点で制限されている。
本稿では、最近のニューラルネットワーク検証手法を利用して、敵攻撃時のカバレッジ保証を回復する新しいフレームワークであるVRCP(Verifiably Robust Conformal Prediction)を紹介する。
我々のVRCP法は、回帰タスクだけでなく、$\ell^1$, $\ell^2$, $\ell^\infty$などの任意のノルムで束縛された摂動をサポートする最初の方法である。
我々は,画像分類タスク(CIFAR10,CIFAR100,TinyImageNet)と,深層強化学習環境における回帰タスクについて評価・比較を行った。
いずれの場合も、VRCPは名目上の範囲を達成し、SotAよりもはるかに効率的で情報的な予測領域が得られる。
関連論文リスト
- Robust Yet Efficient Conformal Prediction Sets [53.78604391939934]
コンフォーマル予測(CP)は、任意のモデルの出力を真のラベルを含むことが保証された予測セットに変換することができる。
整合性スコアの最悪のケース変化をバウンドすることで、証明可能なロバストな集合を導出する。
論文 参考訳(メタデータ) (2024-07-12T10:59:44Z) - Provably Robust Conformal Prediction with Improved Efficiency [29.70455766394585]
コンフォーマル予測は、保証されたカバレッジで不確実性セットを生成する強力なツールである。
逆の例は、不正なカバレッジ率の予測セットを構築するために共形メソッドを操作することができる。
本稿では,PTT(Post-Training Transformation)とRCT(Robust Conformal Training)という2つの新しい手法を提案する。
論文 参考訳(メタデータ) (2024-04-30T15:49:01Z) - Equal Opportunity of Coverage in Fair Regression [50.76908018786335]
我々は、予測の不確実性の下で公正な機械学習(ML)を研究し、信頼性と信頼性のある意思決定を可能にする。
本研究は,(1)類似した結果の異なる集団に対するカバー率が近いこと,(2)人口全体のカバー率が一定水準にあること,の2つの特性を達成することを目的としたカバーの平等機会(EOC)を提案する。
論文 参考訳(メタデータ) (2023-11-03T21:19:59Z) - PAC Prediction Sets Under Label Shift [52.30074177997787]
予測セットは、個々のラベルではなくラベルのセットを予測することによって不確実性を捉える。
ラベルシフト設定においてPAC保証付き予測セットを構築するための新しいアルゴリズムを提案する。
提案手法を5つのデータセットで評価する。
論文 参考訳(メタデータ) (2023-10-19T17:57:57Z) - Probabilistically robust conformal prediction [9.401004747930974]
コンフォーマル予測(CP)は、ディープニューラルネットワークを含む機械学習分類器の不確実性を定量化するフレームワークである。
CPに関する既存の作業のほとんど全てがクリーンなテストデータを前提としており、CPアルゴリズムの堅牢性についてはあまり知られていない。
本稿では,ほとんどの摂動に対して頑健性を保証する確率論的頑健な共形予測(PRCP)の問題について検討する。
論文 参考訳(メタデータ) (2023-07-31T01:32:06Z) - Will My Robot Achieve My Goals? Predicting the Probability that an MDP Policy Reaches a User-Specified Behavior Target [56.99669411766284]
自律的なシステムがタスクを実行する場合、ユーザの目標を達成する確率のキャリブレーションされた見積もりを維持する必要がある。
本稿では,ユーザの目標が目標間隔として指定される設定について検討する。
我々は、共形予測を反転させて確率推定を計算する。
論文 参考訳(メタデータ) (2022-11-29T18:41:20Z) - Getting a-Round Guarantees: Floating-Point Attacks on Certified Robustness [19.380453459873298]
敵の例は、わずかな入力摂動によって機械学習分類器の決定を変更できるため、セキュリティリスクを引き起こす。
これらの保証は、ラウンドエラーを引き起こす浮動小数点表現の制限により無効化可能であることを示す。
この攻撃は、正確な認証保証を持つ線形分類器や、保守的な認証を持つニューラルネットワークに対して実行可能であることを示す。
論文 参考訳(メタデータ) (2022-05-20T13:07:36Z) - Almost Tight L0-norm Certified Robustness of Top-k Predictions against
Adversarial Perturbations [78.23408201652984]
トップk予測は、マシンラーニング・アズ・ア・サービス、レコメンダ・システム、Web検索など、多くの現実世界のアプリケーションで使用されている。
我々の研究はランダム化平滑化に基づいており、入力をランダム化することで、証明可能なロバストな分類器を構築する。
例えば、攻撃者がテスト画像の5ピクセルを任意に摂動できる場合に、ImageNet上で69.2%の認定トップ3精度を達成する分類器を構築することができる。
論文 参考訳(メタデータ) (2020-11-15T21:34:44Z) - Uncertainty Sets for Image Classifiers using Conformal Prediction [112.54626392838163]
本稿では,任意の分類器を修飾して真のラベルを含む予測集合を,90%などのユーザ指定確率で出力するアルゴリズムを提案する。
このアルゴリズムはPlatetスケーリングのようにシンプルで高速だが、すべてのモデルとデータセットに対して正式な有限サンプルカバレッジを保証する。
提案手法は,Plattスケーリング後の可逆クラスの小さなスコアを正規化することにより,より安定した予測セットを与えるために,既存の共形予測アルゴリズムを改良する。
論文 参考訳(メタデータ) (2020-09-29T17:58:04Z) - Efficient Conformal Prediction via Cascaded Inference with Expanded
Admission [43.596058175459746]
共形予測(CP)のための新しい手法を提案する。
我々は、単一の予測の代わりに、予測候補のセットを特定することを目指している。
この集合は、高い確率で正しい答えを含むことが保証される。
論文 参考訳(メタデータ) (2020-07-06T23:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。