論文の概要: OODRobustBench: benchmarking and analyzing adversarial robustness under distribution shift

• arxiv url: http://arxiv.org/abs/2310.12793v1
• Date: Thu, 19 Oct 2023 14:50:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 14:44:04.695473
• Title: OODRobustBench: benchmarking and analyzing adversarial robustness under distribution shift
• Title（参考訳）: OODRobustBench:分布シフトによる対向ロバスト性の評価と解析
• Authors: Lin Li, Yifei Wang, Chawin Sitawarin, Michael Spratling
• Abstract要約: OODRobustBenchは60.7Kの敵評価を用いて706のロバストモデルを評価するために使用される。 敵の強靭性はOOD一般化の問題に悩まされている。 我々は既存のロバストトレーニングスキームにおけるOODロバストネスの上限を予測できる。
• 参考スコア（独自算出の注目度）: 22.007611596336186
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Existing works have made great progress in improving adversarial robustness, but typically test their method only on data from the same distribution as the training data, i.e. in-distribution (ID) testing. As a result, it is unclear how such robustness generalizes under input distribution shifts, i.e. out-of-distribution (OOD) testing. This is a concerning omission as such distribution shifts are unavoidable when methods are deployed in the wild. To address this issue we propose a benchmark named OODRobustBench to comprehensively assess OOD adversarial robustness using 23 dataset-wise shifts (i.e. naturalistic shifts in input distribution) and 6 threat-wise shifts (i.e., unforeseen adversarial threat models). OODRobustBench is used to assess 706 robust models using 60.7K adversarial evaluations. This large-scale analysis shows that: 1) adversarial robustness suffers from a severe OOD generalization issue; 2) ID robustness correlates strongly with OOD robustness, in a positive linear way, under many distribution shifts. The latter enables the prediction of OOD robustness from ID robustness. Based on this, we are able to predict the upper limit of OOD robustness for existing robust training schemes. The results suggest that achieving OOD robustness requires designing novel methods beyond the conventional ones. Last, we discover that extra data, data augmentation, advanced model architectures and particular regularization approaches can improve OOD robustness. Noticeably, the discovered training schemes, compared to the baseline, exhibit dramatically higher robustness under threat shift while keeping high ID robustness, demonstrating new promising solutions for robustness against both multi-attack and unforeseen attacks.
• Abstract（参考訳）: 既存の作業は、対向ロバスト性の改善において大きな進歩を遂げているが、一般的には、トレーニングデータと同じ分布、すなわち、内分布(id)テストからのみ、その方法をテストする。 その結果、そのようなロバスト性が、入力分布シフト(out-of-distribution(OOD)テスト)の下でどのように一般化されるかは明らかでない。 これは、メソッドが野生にデプロイされるとき、分散シフトが避けられないという問題である。 この問題に対処するために、OODRobustBenchというベンチマークを提案し、23のデータセットワイドシフト(すなわち、入力分布の自然主義シフト)と6つの脅威ワイドシフト(すなわち、予期せぬ敵脅威モデル)を用いてOOD対逆ロバスト性を評価する。 OODRobustBenchは60.7Kの敵評価を用いて706のロバストモデルを評価するために使用される。 この大規模分析は次のように示しています。 1) 敵対的堅牢性は,厳しいOOD一般化問題に悩まされる。 2)IDロバスト性はOODロバスト性に強く相関し,多くの分布シフトの下で正線形に相関する。 後者は、IDの堅牢性からOODの堅牢性を予測することができる。 これに基づいて、既存のロバストトレーニングスキームに対するOODロバストネスの上限を予測できる。 その結果,OODの堅牢性を達成するためには,従来の手法以上の新しい手法を設計する必要があることが示唆された。 最後に、余分なデータ、データ拡張、高度なモデルアーキテクチャ、そして特定の正規化アプローチがOODの堅牢性を改善することを発見した。 検出されたトレーニングスキームは、ベースラインと比較して、脅威シフトの下で大幅に高いロバスト性を示しながら、高いIDロバスト性を維持し、マルチアタックと予期せぬ攻撃の両方に対して新たなロバスト性を示す。

関連論文リスト

• Adversarially Robust Out-of-Distribution Detection Using Lyapunov-Stabilized Embeddings [1.0260351016050424]
  AROSは、ニューラル常微分方程式(NODE)とリャプノフ安定性定理を利用する新しいアプローチである。 調整された損失関数により、リアプノフ安定性理論を適用し、分布内(ID)とOODデータが安定平衡点に収束することを保証する。 このアプローチは任意の摂動入力を安定平衡に戻すことを奨励し、それによってモデルの対向摂動に対する堅牢性を高める。
  論文  参考訳（メタデータ） (2024-10-14T17:22:12Z)
• The Best of Both Worlds: On the Dilemma of Out-of-distribution Detection [75.65876949930258]
  アウト・オブ・ディストリビューション(OOD)検出はモデル信頼性に不可欠である。 我々は,OODの一般化能力を秘かに犠牲にすることで,最先端手法のOOD検出性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-10-12T07:02:04Z)
• A Survey on Evaluation of Out-of-Distribution Generalization [41.39827887375374]
  アウト・オブ・ディストリビューション(OOD)の一般化は複雑で基本的な問題である。 本報告は,OOD評価の総合的な評価を行うための最初の試みである。 我々は,OOD性能試験,OOD性能予測,OOD固有の特性評価という3つのパラダイムに分類した。
  論文  参考訳（メタデータ） (2024-03-04T09:30:35Z)
• Model-free Test Time Adaptation for Out-Of-Distribution Detection [62.49795078366206]
  我々はtextbfDistribution textbfDetection (abbr) のための非パラメトリックテスト時間 textbfAdaptation フレームワークを提案する。 Abbrは、オンラインテストサンプルを使用して、テスト中のモデル適応、データ分散の変更への適応性を向上させる。 複数のOOD検出ベンチマークにおける包括的実験により,abrの有効性を示す。
  論文  参考訳（メタデータ） (2023-11-28T02:00:47Z)
• Your Out-of-Distribution Detection Method is Not Robust! [0.4893345190925178]
  オフ・オブ・ディストリビューション(OOD)検出は,信頼性と安全性において領域外サンプルを特定することの重要性から,近年注目されている。 この問題を緩和するために、最近いくつかの防衛策が提案されている。 我々は、より大きな摂動サイズを持つイン/アウトデータに対するエンドツーエンドのPGD攻撃に対して、これらの防御を再検討する。
  論文  参考訳（メタデータ） (2022-09-30T05:49:00Z)
• Calibrated ensembles can mitigate accuracy tradeoffs under distribution shift [108.30303219703845]
  ID校正アンサンブルは,IDとOODの精度で,先行技術(自己学習に基づく)より優れていた。 我々は,この手法をスタイリングされた環境で解析し,IDとOODの両方をうまく処理するためのアンサンブルの2つの重要な条件を同定する。
  論文  参考訳（メタデータ） (2022-07-18T23:14:44Z)
• Models Out of Line: A Fourier Lens on Distribution Shift Robustness [29.12208822285158]
  分散外(OOD)データに対するディープニューラルネットワーク(DNN)の精度向上は、現実世界の応用におけるディープラーニング(DL)の受容に不可欠である。 近年、OODの堅牢性を改善するためにいくつかの有望なアプローチが開発されている。 効果的なロバスト性を監視するために必要なOODデータとモデル特性の条件について、いまだに明確な理解が得られていない。
  論文  参考訳（メタデータ） (2022-07-08T18:05:58Z)
• Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
  ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。 本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。 このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
  論文  参考訳（メタデータ） (2021-06-08T11:40:49Z)
• Adversarial Robustness under Long-Tailed Distribution [93.50792075460336]
  敵対的ロバスト性はディープネットワークの脆弱性と本質的特徴を明らかにすることで近年広く研究されている。 本研究では,長尾分布下における敵対的脆弱性と防御について検討する。 我々は、スケール不変とデータ再分散という2つの専用モジュールからなるクリーンで効果的なフレームワークであるRoBalを提案する。
  論文  参考訳（メタデータ） (2021-04-06T17:53:08Z)
• Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
  既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。 ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-21T17:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。