論文の概要: Your Out-of-Distribution Detection Method is Not Robust!
- arxiv url: http://arxiv.org/abs/2209.15246v1
- Date: Fri, 30 Sep 2022 05:49:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 14:47:55.818577
- Title: Your Out-of-Distribution Detection Method is Not Robust!
- Title（参考訳）: 分散検出手法はロバストではありません!
- Authors: Mohammad Azizmalayeri, Arshia Soltani Moakhar, Arman Zarei, Reihaneh
Zohrabi, Mohammad Taghi Manzuri, Mohammad Hossein Rohban
- Abstract要約: オフ・オブ・ディストリビューション(OOD)検出は,信頼性と安全性において領域外サンプルを特定することの重要性から,近年注目されている。
この問題を緩和するために、最近いくつかの防衛策が提案されている。
我々は、より大きな摂動サイズを持つイン/アウトデータに対するエンドツーエンドのPGD攻撃に対して、これらの防御を再検討する。
- 参考スコア（独自算出の注目度）: 0.4893345190925178
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Out-of-distribution (OOD) detection has recently gained substantial attention
due to the importance of identifying out-of-domain samples in reliability and
safety. Although OOD detection methods have advanced by a great deal, they are
still susceptible to adversarial examples, which is a violation of their
purpose. To mitigate this issue, several defenses have recently been proposed.
Nevertheless, these efforts remained ineffective, as their evaluations are
based on either small perturbation sizes, or weak attacks. In this work, we
re-examine these defenses against an end-to-end PGD attack on in/out data with
larger perturbation sizes, e.g. up to commonly used $\epsilon=8/255$ for the
CIFAR-10 dataset. Surprisingly, almost all of these defenses perform worse than
a random detection under the adversarial setting. Next, we aim to provide a
robust OOD detection method. In an ideal defense, the training should expose
the model to almost all possible adversarial perturbations, which can be
achieved through adversarial training. That is, such training perturbations
should based on both in- and out-of-distribution samples. Therefore, unlike OOD
detection in the standard setting, access to OOD, as well as in-distribution,
samples sounds necessary in the adversarial training setup. These tips lead us
to adopt generative OOD detection methods, such as OpenGAN, as a baseline. We
subsequently propose the Adversarially Trained Discriminator (ATD), which
utilizes a pre-trained robust model to extract robust features, and a generator
model to create OOD samples. Using ATD with CIFAR-10 and CIFAR-100 as the
in-distribution data, we could significantly outperform all previous methods in
the robust AUROC while maintaining high standard AUROC and classification
accuracy. The code repository is available at https://github.com/rohban-lab/ATD .
- Abstract（参考訳）: オフ・オブ・ディストリビューション(OOD)検出は,信頼性と安全性において領域外サンプルを特定することの重要性から,近年注目されている。
OOD検出法は大きな進歩を遂げているが, 敵例の影響を受けやすいため, 目的に反する。
この問題を軽減するため、近年、いくつかの防御策が提案されている。
しかしながら、これらの試みは小さな摂動サイズまたは弱い攻撃に基づいて評価され、効果が無かった。
本研究では、CIFAR-10データセットに対して一般的に使用される$\epsilon=8/255$など、大きな摂動サイズを持つイン/アウトデータに対するエンドツーエンドPGD攻撃に対するこれらの防御を再検討する。
驚くべきことに、これらの防御のほとんどが、敵対的な設定下でランダムな検出よりも悪くなる。
次に,ロバストなOOD検出手法を提案する。
理想的な防御策として、訓練は、ほぼすべての敵の摂動にモデルを公開し、敵の訓練によって達成できる。
すなわち、そのようなトレーニングの摂動は、分布内と分布外の両方のサンプルに基づいているべきである。
したがって、標準設定でのOOD検出と異なり、OODへのアクセスは、分布内と同様に、敵の訓練設定に必要なサンプル音が聞こえる。
これらのヒントは,OpenGANなどの生成OOD検出手法をベースラインとして採用することにつながる。
そこで我々は,事前学習されたロバストモデルを用いてロバスト特徴を抽出するAdversarially Trained Discriminator (ATD) と,OODサンプルを生成するジェネレータモデルを提案する。
CIFAR-10 と CIFAR-100 のATD を非分配データとして用いることで、高規格の AUROC と分類精度を維持しつつ、ロバストな AUROC における従来の手法を著しく上回ることができる。
コードリポジトリはhttps://github.com/rohban-lab/atdで入手できる。
関連論文リスト
- OODRobustBench: a Benchmark and Large-Scale Analysis of Adversarial Robustness under Distribution Shift [20.14559162084261]
OODRobustBenchは60.7Kの敵評価を用いて706のロバストモデルを評価するために使用される。
この大規模解析は、敵対的ロバスト性は深刻なOOD一般化問題に苦しむことを示している。
次に、既存の手法が高いOODロバスト性を達成できないことを予測し、検証する。
論文 参考訳（メタデータ） (2023-10-19T14:50:46Z) - Diffusion Denoised Smoothing for Certified and Adversarial Robust
Out-Of-Distribution Detection [6.247268652296234]
本稿では,OOD検出のロバスト性を,入力周辺の$ell$-norm内で証明するための新しい手法を提案する。
我々は,OOD検体に対する敵攻撃を検出するための現在の手法を改良するとともに,非分布検体に対する高いレベルの認証及び敵ロバスト性を提供する。
論文 参考訳（メタデータ） (2023-03-27T07:52:58Z) - Out-of-Distribution Detection with Hilbert-Schmidt Independence
Optimization [114.43504951058796]
異常検出タスクはAIの安全性において重要な役割を担っている。
ディープニューラルネットワーク分類器は通常、アウト・オブ・ディストリビューション(OOD)の入力を、信頼性の高いイン・ディストリビューション・クラスに誤って分類する傾向がある。
我々は,OOD検出タスクにおいて実用的かつ理論的に有効な代替確率論的パラダイムを提案する。
論文 参考訳（メタデータ） (2022-09-26T15:59:55Z) - Partial and Asymmetric Contrastive Learning for Out-of-Distribution
Detection in Long-Tailed Recognition [80.07843757970923]
既存のOOD検出手法は,トレーニングセットが長距離分布している場合,大幅な性能劣化に悩まされていることを示す。
本稿では,部分的および非対称的な教師付きコントラスト学習(PASCL)を提案する。
我々の手法は従来の最先端の手法を1.29%$, $1.45%$, $0.69%$異常検出偽陽性率(FPR)と$3.24%$, 4,.06%$, 7,89%$in-distributionで上回ります。
論文 参考訳（メタデータ） (2022-07-04T01:53:07Z) - Out-of-distribution Detection with Deep Nearest Neighbors [33.71627349163909]
アウト・オブ・ディストリビューション(OOD)検出は、オープンな世界で機械学習モデルをデプロイするための重要なタスクである。
本稿では,OOD検出における非パラメトリック近接距離の有効性について検討する。
いくつかのベンチマークで最寄りのOOD検出の有効性を実証し,優れた性能を示す。
論文 参考訳（メタデータ） (2022-04-13T16:45:21Z) - Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。
本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。
このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
論文 参考訳（メタデータ） (2021-06-08T11:40:49Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳（メタデータ） (2020-12-10T16:55:13Z) - How Robust are Randomized Smoothing based Defenses to Data Poisoning? [66.80663779176979]
我々は、トレーニングデータの品質の重要性を強調する堅牢な機械学習モデルに対して、これまで認識されていなかった脅威を提示します。
本稿では,二段階最適化に基づく新たなデータ中毒攻撃法を提案し,ロバストな分類器のロバスト性を保証する。
我々の攻撃は、被害者が最先端のロバストな訓練方法を用いて、ゼロからモデルを訓練しても効果的である。
論文 参考訳（メタデータ） (2020-12-02T15:30:21Z) - Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。
ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
論文 参考訳（メタデータ） (2020-03-21T17:46:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。