論文の概要: Subspace Adversarial Training

• arxiv url: http://arxiv.org/abs/2111.12229v1
• Date: Wed, 24 Nov 2021 02:18:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-25 16:18:45.223019
• Title: Subspace Adversarial Training
• Title（参考訳）: 宇宙対人訓練
• Authors: Tao Li, Yingwen Wu, Sizhe Chen, Kun Fang, Xiaolin Huang
• Abstract要約: そこで本稿では,AT を慎重に抽出した部分空間に拘束する Sub-AT (subspace adversarial training) を提案する。 サブスペースでは、より大きなステップと大きな半径を持つシングルステップATが許容され、ロバスト性性能がさらに向上する。 われわれの純粋なシングルステップATは、CIFAR-10で8/255ドルという強力なPGD-50攻撃に対して、$mathbf51%以上の堅牢な精度に達することができる。
• 参考スコア（独自算出の注目度）: 24.47599337641455
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Single-step adversarial training (AT) has received wide attention as it proved to be both efficient and robust. However, a serious problem of catastrophic overfitting exists, i.e., the robust accuracy against projected gradient descent (PGD) attack suddenly drops to $0\%$ during the training. In this paper, we understand this problem from a novel perspective of optimization and firstly reveal the close link between the fast-growing gradient of each sample and overfitting, which can also be applied to understand the robust overfitting phenomenon in multi-step AT. To control the growth of the gradient during the training, we propose a new AT method, subspace adversarial training (Sub-AT), which constrains the AT in a carefully extracted subspace. It successfully resolves both two kinds of overfitting and hence significantly boosts the robustness. In subspace, we also allow single-step AT with larger steps and larger radius, which further improves the robustness performance. As a result, we achieve the state-of-the-art single-step AT performance: our pure single-step AT can reach over $\mathbf{51}\%$ robust accuracy against strong PGD-50 attack with radius $8/255$ on CIFAR-10, even surpassing the standard multi-step PGD-10 AT with huge computational advantages. The code is released$\footnote{\url{https://github.com/nblt/Sub-AT}}$.
• Abstract（参考訳）: 単段階対人訓練(AT)は、効率的かつ堅牢であることが証明されたため、広く注目を集めている。 しかし、破壊的な過剰フィッティングの深刻な問題は存在し、即ち、訓練中に投影勾配降下(pgd)攻撃に対するロバストな精度が突然$0\%$に低下する。 本稿では,この問題を最適化の新しい視点から理解し,まず各試料の高速成長勾配とオーバーフィッティングとの密接な関係を明らかにし,マルチステップatにおけるロバストオーバーフィッティング現象の理解にも応用する。 学習中の勾配の増大を制御するために, 注意深く抽出された部分空間内のatを制約する新しいat法であるsubspace adversarial training (sub-at)を提案する。 2種類のオーバーフィッティングをうまく解決し、その結果、ロバスト性を大幅に向上させる。 サブスペースでは、より大きなステップと大きな半径を持つシングルステップATが許容され、ロバスト性性能がさらに向上する。 その結果、我々の純粋なシングルステップATは、CIFAR-10 上で 8/255$ の強い PGD-50 攻撃に対して$\mathbf{51}\%$の堅牢な精度を達成でき、計算上の優位性で標準の PGD-10 AT を越えさえできる。 コードは$\footnote{\url{https://github.com/nblt/sub-at}}$である。

関連論文リスト

• RAMP: Boosting Adversarial Robustness Against Multiple $l_p$ Perturbations for Universal Robustness [4.188296977882316]
  我々は、複数の$l_p$摂動に対するロバスト性を高めるための新しいトレーニングフレームワーク textbfRAMP を提案する。 スクラッチからトレーニングするために、 textbfRAMP は44.6%のユニオン精度と、CIFAR-10 の AutoAttack に対して ResNet-18 で 811.2% のクリーン精度を達成している。
  論文  参考訳（メタデータ） (2024-02-09T23:29:54Z)
• Bag of Tricks for FGSM Adversarial Training [30.25966570584856]
  FGSM-AT(Fast Gradient Sign Method、FGSM-AT)は、FGSM(Fast Gradient Sign Method、FGSM-AT)によって生成された、頑健なネットワークを訓練する単純な手法である。 トレーニング手順の間、不安定な「破滅的オーバーフィッティング」モードがarXiv:2001.03994[cs.LG]で特定され、単一のトレーニングステップで頑健な精度が突然0に低下する。 本研究は,FGSM-ATにおける破滅的な過剰適合を克服するためのトリックの収集を徹底的に検討した最初の研究である。
  論文  参考訳（メタデータ） (2022-09-06T17:53:21Z)
• Towards Alternative Techniques for Improving Adversarial Robustness: Analysis of Adversarial Training at a Spectrum of Perturbations [5.18694590238069]
  逆行訓練(AT)とその変種は、逆行性摂動に対するニューラルネットワークの堅牢性を改善する進歩を先導している。 私たちは、$epsilon$の値のスペクトルに基づいてトレーニングされたモデルに焦点を当てています。 ATの代替改善は、そうでなければ1ドル(約1万2000円)も出なかったでしょう。
  論文  参考訳（メタデータ） (2022-06-13T22:01:21Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Fast Adversarial Training with Adaptive Step Size [62.37203478589929]
  トレーニングインスタンスの観点から,この現象を考察する。 適応ステップサイズ(ATAS)を用いた逆学習法を提案する。 ATASは、その勾配ノルムに逆比例するインスタンス順応的なステップサイズを学習する。
  論文  参考訳（メタデータ） (2022-06-06T08:20:07Z)
• Sparsity Winning Twice: Better Robust Generalization from More Efficient Training [94.92954973680914]
  スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。 いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。 我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
  論文  参考訳（メタデータ） (2022-02-20T15:52:08Z)
• Revisiting and Advancing Fast Adversarial Training Through The Lens of Bi-Level Optimization [60.72410937614299]
  提案手法は,2レベルAT(FAST-BAT)と呼ばれる新しいアルゴリズムセットの設計と解析である。 FAST-BATは、グラデーションサインメソッドや明示的なロバスト正規化を呼ぶことなく、符号ベースの投射降下(PGD)攻撃を防御することができる。
  論文  参考訳（メタデータ） (2021-12-23T06:25:36Z)
• Sparse and Imperceptible Adversarial Attack via a Homotopy Algorithm [93.80082636284922]
  少数の敵対的攻撃は、数ピクセルを摂動するだけでディープ・ネットワーク(DNN)を騙すことができる。 近年の取り組みは、他の等級のl_infty摂動と組み合わせている。 本稿では,空間的・神経的摂動に対処するホモトピーアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-10T20:11:36Z)
• Patch-wise++ Perturbation for Adversarial Targeted Attacks [132.58673733817838]
  トランスファビリティの高い対比例の作成を目的としたパッチワイズ反復法(PIM)を提案する。 具体的には、各イテレーションのステップサイズに増幅係数を導入し、$epsilon$-constraintをオーバーフローする1ピクセルの全体的な勾配が、その周辺領域に適切に割り当てられる。 現在の攻撃方法と比較して、防御モデルでは35.9%、通常訓練されたモデルでは32.7%、成功率を大幅に向上させた。
  論文  参考訳（メタデータ） (2020-12-31T08:40:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。