論文の概要: Fast Adversarial Training with Adaptive Step Size

• arxiv url: http://arxiv.org/abs/2206.02417v1
• Date: Mon, 6 Jun 2022 08:20:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-07 16:59:39.826891
• Title: Fast Adversarial Training with Adaptive Step Size
• Title（参考訳）: 適応的ステップサイズによる高速対向学習
• Authors: Zhichao Huang, Yanbo Fan, Chen Liu, Weizhong Zhang, Yong Zhang, Mathieu Salzmann, Sabine S\"usstrunk, Jue Wang
• Abstract要約: トレーニングインスタンスの観点から,この現象を考察する。 適応ステップサイズ(ATAS)を用いた逆学習法を提案する。 ATASは、その勾配ノルムに逆比例するインスタンス順応的なステップサイズを学習する。
• 参考スコア（独自算出の注目度）: 62.37203478589929
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While adversarial training and its variants have shown to be the most effective algorithms to defend against adversarial attacks, their extremely slow training process makes it hard to scale to large datasets like ImageNet. The key idea of recent works to accelerate adversarial training is to substitute multi-step attacks (e.g., PGD) with single-step attacks (e.g., FGSM). However, these single-step methods suffer from catastrophic overfitting, where the accuracy against PGD attack suddenly drops to nearly 0% during training, destroying the robustness of the networks. In this work, we study the phenomenon from the perspective of training instances. We show that catastrophic overfitting is instance-dependent and fitting instances with larger gradient norm is more likely to cause catastrophic overfitting. Based on our findings, we propose a simple but effective method, Adversarial Training with Adaptive Step size (ATAS). ATAS learns an instancewise adaptive step size that is inversely proportional to its gradient norm. The theoretical analysis shows that ATAS converges faster than the commonly adopted non-adaptive counterparts. Empirically, ATAS consistently mitigates catastrophic overfitting and achieves higher robust accuracy on CIFAR10, CIFAR100 and ImageNet when evaluated on various adversarial budgets.
• Abstract（参考訳）: 敵のトレーニングとその変種は、敵の攻撃に対して防御する最も効果的なアルゴリズムであることが示されているが、その非常に遅いトレーニングプロセスは、ImageNetのような大規模なデータセットへのスケーリングを困難にしている。 敵の訓練を加速する最近の研究の鍵となる考え方は、マルチステップ攻撃(PGDなど)を単一ステップ攻撃(FGSMなど)に置き換えることである。 しかし、これらの単一ステップの手法は破滅的なオーバーフィッティングに悩まされ、PGD攻撃に対する精度はトレーニング中に突然0%近く低下し、ネットワークの堅牢性を損なう。 本研究では,この現象を学習事例の観点から研究する。 破滅的オーバーフィッティングはインスタンス依存であり, より大きな勾配ノルムの適合例は破滅的オーバーフィッティングを引き起こす可能性が示唆された。 そこで本研究では,適応ステップサイズ(atas)を用いた,単純かつ効果的な学習法を提案する。 ATASは、その勾配ノルムに逆比例するインスタンス順応的なステップサイズを学習する。 理論解析により、ATASは一般に採用されている非適応型よりも早く収束することが示された。 実証的には、ATASは破滅的なオーバーフィッティングを一貫して軽減し、様々な敵の予算で評価すると、CIFAR10、CIFAR100、ImageNetに対してより堅牢な精度を達成する。

関連論文リスト

• Detection and Mitigation of Byzantine Attacks in Distributed Training [24.951227624475443]
  ワーカノードの異常なビザンチン挙動は、トレーニングを脱線させ、推論の品質を損なう可能性がある。 最近の研究は、幅広い攻撃モデルを検討し、歪んだ勾配を補正するために頑健な集約と/または計算冗長性を探究している。 本研究では、強力な攻撃モデルについて検討する:$q$ omniscient adversaries with full knowledge of the defense protocol that can change from iteration to iteration to weak one: $q$ randomly selected adversaries with limited collusion abilities。
  論文  参考訳（メタデータ） (2022-08-17T05:49:52Z)
• Versatile Weight Attack via Flipping Limited Bits [68.45224286690932]
  本研究では,展開段階におけるモデルパラメータを変更する新たな攻撃パラダイムについて検討する。 有効性とステルスネスの目標を考慮し、ビットフリップに基づく重み攻撃を行うための一般的な定式化を提供する。 SSA(Single sample attack)とTSA(Singr sample attack)の2例を報告した。
  論文  参考訳（メタデータ） (2022-07-25T03:24:58Z)
• Prior-Guided Adversarial Initialization for Fast Adversarial Training [84.56377396106447]
  本稿では,FAT(Fast Adversarial Training)とSAT(Standard Adversarial Training)の違いについて検討する。 FATの攻撃成功率(AE)は、後期訓練段階で徐々に悪化し、過度に適合する。 本報告では, オーバーフィッティングを回避するために, 事前誘導FGSM初期化手法を提案する。 提案手法は, 破滅的な過度適合を防止し, 最先端のFAT法より優れる。
  論文  参考訳（メタデータ） (2022-07-18T18:13:10Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Revisiting and Advancing Fast Adversarial Training Through The Lens of Bi-Level Optimization [60.72410937614299]
  提案手法は,2レベルAT(FAST-BAT)と呼ばれる新しいアルゴリズムセットの設計と解析である。 FAST-BATは、グラデーションサインメソッドや明示的なロバスト正規化を呼ぶことなく、符号ベースの投射降下(PGD)攻撃を防御することができる。
  論文  参考訳（メタデータ） (2021-12-23T06:25:36Z)
• Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
  CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。 任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。 本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
  論文  参考訳（メタデータ） (2021-05-31T17:01:05Z)
• Lagrangian Objective Function Leads to Improved Unforeseen Attack Generalization in Adversarial Training [0.0]
  対人訓練(AT)は、訓練中に使用される攻撃に対して堅牢なモデルに到達するのに有効であることが示されている。 我々は、上記の問題を緩和する簡易なAT修正を提案する。 我々は,攻撃の一般化を意図した他の攻撃手法よりも,攻撃速度が速いことを示す。
  論文  参考訳（メタデータ） (2021-03-29T07:23:46Z)
• Robust Single-step Adversarial Training with Regularizer [11.35007968593652]
  本稿では,PGD正規化を用いた高速勾配符号法(FGSMPR)を提案する。 実験により,提案手法はFGSM対向学習を用いたL$_infty$-perturbationsのための頑健な深層ネットワークを訓練可能であることが示された。
  論文  参考訳（メタデータ） (2021-02-05T19:07:10Z)
• Understanding Catastrophic Overfitting in Single-step Adversarial Training [9.560980936110234]
  カタストロフィックオーバーフィッティング (catastrophic overfitting) とは, 急激な急激な急激な急激な勾配降下に対する頑健な精度が急激な0%にまで低下する現象である。 本稿では,破滅的なオーバーフィッティングを防止するだけでなく,一段階の逆行訓練による多段階の逆行攻撃を防ぐことが難しいという信念を覆す,簡単な方法を提案する。
  論文  参考訳（メタデータ） (2020-10-05T06:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。