論文の概要: Is RobustBench/AutoAttack a suitable Benchmark for Adversarial Robustness?

• arxiv url: http://arxiv.org/abs/2112.01601v4
• Date: Tue, 20 Feb 2024 13:43:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 22:11:17.772671
• Title: Is RobustBench/AutoAttack a suitable Benchmark for Adversarial Robustness?
• Title（参考訳）: RobustBench/AutoAttackは対向ロバストネスに適したベンチマークか?
• Authors: Peter Lorenz, Dominik Strassel, Margret Keuper and Janis Keuper
• Abstract要約: 我々は, AutoAttack による l-inf, eps = 8/255 によるデータ交換が非現実的に強く, 対向サンプルの完全検出率に近いことを論じる。 また、同様の成功率を達成しながら、他の攻撃方法を検出するのがずっと難しいことも示している。
• 参考スコア（独自算出の注目度）: 20.660465258314314
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, RobustBench (Croce et al. 2020) has become a widely recognized benchmark for the adversarial robustness of image classification networks. In its most commonly reported sub-task, RobustBench evaluates and ranks the adversarial robustness of trained neural networks on CIFAR10 under AutoAttack (Croce and Hein 2020b) with l-inf perturbations limited to eps = 8/255. With leading scores of the currently best performing models of around 60% of the baseline, it is fair to characterize this benchmark to be quite challenging. Despite its general acceptance in recent literature, we aim to foster discussion about the suitability of RobustBench as a key indicator for robustness which could be generalized to practical applications. Our line of argumentation against this is two-fold and supported by excessive experiments presented in this paper: We argue that I) the alternation of data by AutoAttack with l-inf, eps = 8/255 is unrealistically strong, resulting in close to perfect detection rates of adversarial samples even by simple detection algorithms and human observers. We also show that other attack methods are much harder to detect while achieving similar success rates. II) That results on low-resolution data sets like CIFAR10 do not generalize well to higher resolution images as gradient-based attacks appear to become even more detectable with increasing resolutions.
• Abstract（参考訳）: 近年,RobostBench (Croce et al. 2020) は画像分類ネットワークの対角的堅牢性のベンチマークとして広く認知されている。 最も一般的に報告されているサブタスクでは、ロバストベンチは、オートアタック(croce and hein 2020b)の下でcifar10上のトレーニングされたニューラルネットワークの、eps = 8/255に限定されたl-inf摂動を評価し、分類する。 ベースラインの約60%で現在最高のパフォーマンスモデルのトップスコアを掲げているため、このベンチマークを非常に難しいと特徴づけるのは公平である。 最近の文献で広く受け入れられているにもかかわらず、我々はロバストベンチが実用応用に一般化できるロバスト性を示す重要な指標であるかどうかの議論を促進することを目的としている。 i) l-inf、eps = 8/255によるオートアタックによるデータの交替は非現実的に強く、単純な検出アルゴリズムと人間の観察者によってさえ、敵のサンプルの完全な検出率に近いものとなる。 また,同様の成功率を達成しつつ,他の攻撃手法の検出がはるかに困難であることを示す。 II) CIFAR10のような低解像度データセットでは、勾配に基づく攻撃が高解像度化とともにさらに検出されるため、高解像度画像にはあまり一般化されない。

関連論文リスト

• Adversarial Robustness Overestimation and Instability in TRADES [4.063518154926961]
  TRADES は多クラス分類タスクにおける AutoAttack テストの精度と比較して,PGD の検証精度が極めて高い場合が多い。 この矛盾は、勾配マスキングに結びつく可能性のある、これらのインスタンスに対するロバストネスのかなりの過大評価を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-10-10T07:32:40Z)
• AdvQDet: Detecting Query-Based Adversarial Attacks with Adversarial Contrastive Prompt Tuning [93.77763753231338]
  CLIP画像エンコーダを微調整し、2つの中間対向クエリに対して同様の埋め込みを抽出するために、ACPT(Adversarial Contrastive Prompt Tuning)を提案する。 我々は,ACPTが7つの最先端クエリベースの攻撃を検出できることを示す。 また,ACPTは3種類のアダプティブアタックに対して堅牢であることを示す。
  論文  参考訳（メタデータ） (2024-08-04T09:53:50Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Wasserstein distributional robustness of neural networks [9.79503506460041]
  ディープニューラルネットワークは敵攻撃(AA)に弱いことが知られている 画像認識タスクでは、元の小さな摂動によって画像が誤分類される可能性がある。 本稿では,Wassersteinの分散ロバスト最適化(DRO)技術を用いて問題を再検討し,新しいコントリビューションを得た。
  論文  参考訳（メタデータ） (2023-06-16T13:41:24Z)
• GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
  GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。 我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
  論文  参考訳（メタデータ） (2023-04-19T14:58:27Z)
• UNBUS: Uncertainty-aware Deep Botnet Detection System in Presence of Perturbed Samples [1.2691047660244335]
  ボットネット検出には極めて低い偽陽性率(FPR)が必要であるが、現代のディープラーニングでは一般的に達成できない。 本稿では,98%以上の精度のボットネット分類のためのLSTMに基づく2つの分類アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2022-04-18T21:49:14Z)
• Detecting AutoAttack Perturbations in the Frequency Domain [18.91242463856906]
  AutoAttackフレームワークによる画像分類ネットワークに対する敵対的な攻撃は、多くの注目を集めている。 本稿では,AutoAttackの空間及び周波数領域特性について検討し,代替防衛法を提案する。 ネットワークを強固にする代わりに、推論中の敵攻撃を検出し、操作された入力を拒否する。
  論文  参考訳（メタデータ） (2021-11-16T21:20:37Z)
• Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
  CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。 任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。 本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
  論文  参考訳（メタデータ） (2021-05-31T17:01:05Z)
• RobustBench: a standardized adversarial robustness benchmark [84.50044645539305]
  ロバストネスのベンチマークにおける主な課題は、その評価がしばしばエラーを起こし、ロバストネス過大評価につながることである。 我々は,白箱攻撃と黒箱攻撃のアンサンブルであるAutoAttackを用いて,敵対的ロバスト性を評価する。 分散シフト,キャリブレーション,アウト・オブ・ディストリビューション検出,フェアネス,プライバシリーク,スムースネス,転送性に対するロバスト性の影響を解析した。
  論文  参考訳（メタデータ） (2020-10-19T17:06:18Z)
• Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
  既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。 本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。 ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-13T08:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。