論文の概要: OODRobustBench: a Benchmark and Large-Scale Analysis of Adversarial Robustness under Distribution Shift
- arxiv url: http://arxiv.org/abs/2310.12793v2
- Date: Tue, 4 Jun 2024 03:01:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 14:07:02.721398
- Title: OODRobustBench: a Benchmark and Large-Scale Analysis of Adversarial Robustness under Distribution Shift
- Title（参考訳）: OODRobustBench: 分散シフトによる対向ロバスト性のベンチマークと大規模解析
- Authors: Lin Li, Yifei Wang, Chawin Sitawarin, Michael Spratling,
- Abstract要約: OODRobustBenchは60.7Kの敵評価を用いて706のロバストモデルを評価するために使用される。
この大規模解析は、敵対的ロバスト性は深刻なOOD一般化問題に苦しむことを示している。
次に、既存の手法が高いOODロバスト性を達成できないことを予測し、検証する。
- 参考スコア（独自算出の注目度）: 20.14559162084261
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Existing works have made great progress in improving adversarial robustness, but typically test their method only on data from the same distribution as the training data, i.e. in-distribution (ID) testing. As a result, it is unclear how such robustness generalizes under input distribution shifts, i.e. out-of-distribution (OOD) testing. This omission is concerning as such distribution shifts are unavoidable when methods are deployed in the wild. To address this issue we propose a benchmark named OODRobustBench to comprehensively assess OOD adversarial robustness using 23 dataset-wise shifts (i.e. naturalistic shifts in input distribution) and 6 threat-wise shifts (i.e., unforeseen adversarial threat models). OODRobustBench is used to assess 706 robust models using 60.7K adversarial evaluations. This large-scale analysis shows that: 1) adversarial robustness suffers from a severe OOD generalization issue; 2) ID robustness correlates strongly with OOD robustness in a positive linear way. The latter enables the prediction of OOD robustness from ID robustness. We then predict and verify that existing methods are unlikely to achieve high OOD robustness. Novel methods are therefore required to achieve OOD robustness beyond our prediction. To facilitate the development of these methods, we investigate a wide range of techniques and identify several promising directions. Code and models are available at: https://github.com/OODRobustBench/OODRobustBench.
- Abstract（参考訳）: 既存の研究は、敵の堅牢性を改善するために大きな進歩を遂げてきたが、通常、それらの手法はトレーニングデータと同じ分布からのデータ、すなわち、分布内(ID)テストでのみテストされる。
その結果、そのようなロバスト性が、入力分布シフト(out-of-distribution(OOD)テスト)の下でどのように一般化されるかは明らかでない。
この省略は、メソッドが野生にデプロイされる場合、分散シフトが避けられないためである。
この問題に対処するために、OODRobustBenchというベンチマークを提案し、23のデータセットワイドシフト(すなわち、入力分布の自然主義シフト)と6つの脅威ワイドシフト(すなわち、予期せぬ敵脅威モデル)を用いてOOD対逆ロバスト性を評価する。
OODRobustBenchは60.7Kの敵評価を用いて706のロバストモデルを評価するために使用される。
この大規模な分析は、次のように示している。
1) 敵対的堅牢性は,厳しいOOD一般化問題に悩まされる。
2) IDのロバスト性はOODのロバスト性と正の線形性で強く相関する。
後者は、IDのロバスト性からOODロバスト性を予測することができる。
次に、既存の手法が高いOODロバスト性を達成できないことを予測し、検証する。
したがって,OODのロバスト性は予測を超える新しい手法が求められている。
これらの手法の開発を容易にするため,幅広い手法を探索し,将来性のある方向を同定する。
コードとモデルは、https://github.com/OODRobustBench/OODRobustBench.comで入手できる。
関連論文リスト
- Adversarially Robust Out-of-Distribution Detection Using Lyapunov-Stabilized Embeddings [1.0260351016050424]
AROSは、ニューラル常微分方程式(NODE)とリャプノフ安定性定理を利用する新しいアプローチである。
調整された損失関数により、リアプノフ安定性理論を適用し、分布内(ID)とOODデータが安定平衡点に収束することを保証する。
このアプローチは任意の摂動入力を安定平衡に戻すことを奨励し、それによってモデルの対向摂動に対する堅牢性を高める。
論文 参考訳（メタデータ） (2024-10-14T17:22:12Z) - The Best of Both Worlds: On the Dilemma of Out-of-distribution Detection [75.65876949930258]
アウト・オブ・ディストリビューション(OOD)検出はモデル信頼性に不可欠である。
我々は,OODの一般化能力を秘かに犠牲にすることで,最先端手法のOOD検出性能が向上することを示す。
論文 参考訳（メタデータ） (2024-10-12T07:02:04Z) - A Survey on Evaluation of Out-of-Distribution Generalization [41.39827887375374]
アウト・オブ・ディストリビューション(OOD)の一般化は複雑で基本的な問題である。
本報告は,OOD評価の総合的な評価を行うための最初の試みである。
我々は,OOD性能試験,OOD性能予測,OOD固有の特性評価という3つのパラダイムに分類した。
論文 参考訳（メタデータ） (2024-03-04T09:30:35Z) - Model-free Test Time Adaptation for Out-Of-Distribution Detection [62.49795078366206]
我々はtextbfDistribution textbfDetection (abbr) のための非パラメトリックテスト時間 textbfAdaptation フレームワークを提案する。
Abbrは、オンラインテストサンプルを使用して、テスト中のモデル適応、データ分散の変更への適応性を向上させる。
複数のOOD検出ベンチマークにおける包括的実験により,abrの有効性を示す。
論文 参考訳（メタデータ） (2023-11-28T02:00:47Z) - Your Out-of-Distribution Detection Method is Not Robust! [0.4893345190925178]
オフ・オブ・ディストリビューション(OOD)検出は,信頼性と安全性において領域外サンプルを特定することの重要性から,近年注目されている。
この問題を緩和するために、最近いくつかの防衛策が提案されている。
我々は、より大きな摂動サイズを持つイン/アウトデータに対するエンドツーエンドのPGD攻撃に対して、これらの防御を再検討する。
論文 参考訳（メタデータ） (2022-09-30T05:49:00Z) - Calibrated ensembles can mitigate accuracy tradeoffs under distribution
shift [108.30303219703845]
ID校正アンサンブルは,IDとOODの精度で,先行技術(自己学習に基づく)より優れていた。
我々は,この手法をスタイリングされた環境で解析し,IDとOODの両方をうまく処理するためのアンサンブルの2つの重要な条件を同定する。
論文 参考訳（メタデータ） (2022-07-18T23:14:44Z) - Models Out of Line: A Fourier Lens on Distribution Shift Robustness [29.12208822285158]
分散外(OOD)データに対するディープニューラルネットワーク(DNN)の精度向上は、現実世界の応用におけるディープラーニング(DL)の受容に不可欠である。
近年、OODの堅牢性を改善するためにいくつかの有望なアプローチが開発されている。
効果的なロバスト性を監視するために必要なOODデータとモデル特性の条件について、いまだに明確な理解が得られていない。
論文 参考訳（メタデータ） (2022-07-08T18:05:58Z) - Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。
本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。
このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
論文 参考訳（メタデータ） (2021-06-08T11:40:49Z) - Adversarial Robustness under Long-Tailed Distribution [93.50792075460336]
敵対的ロバスト性はディープネットワークの脆弱性と本質的特徴を明らかにすることで近年広く研究されている。
本研究では,長尾分布下における敵対的脆弱性と防御について検討する。
我々は、スケール不変とデータ再分散という2つの専用モジュールからなるクリーンで効果的なフレームワークであるRoBalを提案する。
論文 参考訳（メタデータ） (2021-04-06T17:53:08Z) - Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。
ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
論文 参考訳（メタデータ） (2020-03-21T17:46:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。