論文の概要: OODRobustBench: benchmarking and analyzing adversarial robustness under
distribution shift
- arxiv url: http://arxiv.org/abs/2310.12793v1
- Date: Thu, 19 Oct 2023 14:50:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-20 14:44:04.695473
- Title: OODRobustBench: benchmarking and analyzing adversarial robustness under
distribution shift
- Title(参考訳): OODRobustBench:分布シフトによる対向ロバスト性の評価と解析
- Authors: Lin Li, Yifei Wang, Chawin Sitawarin, Michael Spratling
- Abstract要約: OODRobustBenchは60.7Kの敵評価を用いて706のロバストモデルを評価するために使用される。
敵の強靭性はOOD一般化の問題に悩まされている。
我々は既存のロバストトレーニングスキームにおけるOODロバストネスの上限を予測できる。
- 参考スコア(独自算出の注目度): 22.007611596336186
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Existing works have made great progress in improving adversarial robustness,
but typically test their method only on data from the same distribution as the
training data, i.e. in-distribution (ID) testing. As a result, it is unclear
how such robustness generalizes under input distribution shifts, i.e.
out-of-distribution (OOD) testing. This is a concerning omission as such
distribution shifts are unavoidable when methods are deployed in the wild. To
address this issue we propose a benchmark named OODRobustBench to
comprehensively assess OOD adversarial robustness using 23 dataset-wise shifts
(i.e. naturalistic shifts in input distribution) and 6 threat-wise shifts
(i.e., unforeseen adversarial threat models). OODRobustBench is used to assess
706 robust models using 60.7K adversarial evaluations. This large-scale
analysis shows that: 1) adversarial robustness suffers from a severe OOD
generalization issue; 2) ID robustness correlates strongly with OOD robustness,
in a positive linear way, under many distribution shifts. The latter enables
the prediction of OOD robustness from ID robustness. Based on this, we are able
to predict the upper limit of OOD robustness for existing robust training
schemes. The results suggest that achieving OOD robustness requires designing
novel methods beyond the conventional ones. Last, we discover that extra data,
data augmentation, advanced model architectures and particular regularization
approaches can improve OOD robustness. Noticeably, the discovered training
schemes, compared to the baseline, exhibit dramatically higher robustness under
threat shift while keeping high ID robustness, demonstrating new promising
solutions for robustness against both multi-attack and unforeseen attacks.
- Abstract(参考訳): 既存の作業は、対向ロバスト性の改善において大きな進歩を遂げているが、一般的には、トレーニングデータと同じ分布、すなわち、内分布(id)テストからのみ、その方法をテストする。
その結果、そのようなロバスト性が、入力分布シフト(out-of-distribution(OOD)テスト)の下でどのように一般化されるかは明らかでない。
これは、メソッドが野生にデプロイされるとき、分散シフトが避けられないという問題である。
この問題に対処するために、OODRobustBenchというベンチマークを提案し、23のデータセットワイドシフト(すなわち、入力分布の自然主義シフト)と6つの脅威ワイドシフト(すなわち、予期せぬ敵脅威モデル)を用いてOOD対逆ロバスト性を評価する。
OODRobustBenchは60.7Kの敵評価を用いて706のロバストモデルを評価するために使用される。
この大規模分析は次のように示しています。
1) 敵対的堅牢性は,厳しいOOD一般化問題に悩まされる。
2)IDロバスト性はOODロバスト性に強く相関し,多くの分布シフトの下で正線形に相関する。
後者は、IDの堅牢性からOODの堅牢性を予測することができる。
これに基づいて、既存のロバストトレーニングスキームに対するOODロバストネスの上限を予測できる。
その結果,OODの堅牢性を達成するためには,従来の手法以上の新しい手法を設計する必要があることが示唆された。
最後に、余分なデータ、データ拡張、高度なモデルアーキテクチャ、そして特定の正規化アプローチがOODの堅牢性を改善することを発見した。
検出されたトレーニングスキームは、ベースラインと比較して、脅威シフトの下で大幅に高いロバスト性を示しながら、高いIDロバスト性を維持し、マルチアタックと予期せぬ攻撃の両方に対して新たなロバスト性を示す。
関連論文リスト
- A Survey on Evaluation of Out-of-Distribution Generalization [41.39827887375374]
アウト・オブ・ディストリビューション(OOD)の一般化は複雑で基本的な問題である。
本報告は,OOD評価の総合的な評価を行うための最初の試みである。
我々は,OOD性能試験,OOD性能予測,OOD固有の特性評価という3つのパラダイムに分類した。
論文 参考訳(メタデータ) (2024-03-04T09:30:35Z) - Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis,
and LLMs Evaluations [111.88727295707454]
本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。
本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。
我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
論文 参考訳(メタデータ) (2023-06-07T17:47:03Z) - A Comprehensive Study on Robustness of Image Classification Models:
Benchmarking and Rethinking [54.89987482509155]
ディープニューラルネットワークのロバスト性は、通常、敵の例、共通の腐敗、分散シフトに欠けている。
画像分類タスクにおいてtextbfARES-Bench と呼ばれる総合的なベンチマークロバスト性を確立する。
それに応じてトレーニング設定を設計することにより、新しい最先端の対人ロバスト性を実現する。
論文 参考訳(メタデータ) (2023-02-28T04:26:20Z) - Your Out-of-Distribution Detection Method is Not Robust! [0.4893345190925178]
オフ・オブ・ディストリビューション(OOD)検出は,信頼性と安全性において領域外サンプルを特定することの重要性から,近年注目されている。
この問題を緩和するために、最近いくつかの防衛策が提案されている。
我々は、より大きな摂動サイズを持つイン/アウトデータに対するエンドツーエンドのPGD攻撃に対して、これらの防御を再検討する。
論文 参考訳(メタデータ) (2022-09-30T05:49:00Z) - Calibrated ensembles can mitigate accuracy tradeoffs under distribution
shift [108.30303219703845]
ID校正アンサンブルは,IDとOODの精度で,先行技術(自己学習に基づく)より優れていた。
我々は,この手法をスタイリングされた環境で解析し,IDとOODの両方をうまく処理するためのアンサンブルの2つの重要な条件を同定する。
論文 参考訳(メタデータ) (2022-07-18T23:14:44Z) - Models Out of Line: A Fourier Lens on Distribution Shift Robustness [29.12208822285158]
分散外(OOD)データに対するディープニューラルネットワーク(DNN)の精度向上は、現実世界の応用におけるディープラーニング(DL)の受容に不可欠である。
近年、OODの堅牢性を改善するためにいくつかの有望なアプローチが開発されている。
効果的なロバスト性を監視するために必要なOODデータとモデル特性の条件について、いまだに明確な理解が得られていない。
論文 参考訳(メタデータ) (2022-07-08T18:05:58Z) - Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。
本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。
このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
論文 参考訳(メタデータ) (2021-06-08T11:40:49Z) - Adversarial Robustness under Long-Tailed Distribution [93.50792075460336]
敵対的ロバスト性はディープネットワークの脆弱性と本質的特徴を明らかにすることで近年広く研究されている。
本研究では,長尾分布下における敵対的脆弱性と防御について検討する。
我々は、スケール不変とデータ再分散という2つの専用モジュールからなるクリーンで効果的なフレームワークであるRoBalを提案する。
論文 参考訳(メタデータ) (2021-04-06T17:53:08Z) - Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。
ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
論文 参考訳(メタデータ) (2020-03-21T17:46:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。