論文の概要: Revisiting and Exploring Efficient Fast Adversarial Training via LAW: Lipschitz Regularization and Auto Weight Averaging

• arxiv url: http://arxiv.org/abs/2308.11443v1
• Date: Tue, 22 Aug 2023 13:50:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-23 17:59:07.026475
• Title: Revisiting and Exploring Efficient Fast Adversarial Training via LAW: Lipschitz Regularization and Auto Weight Averaging
• Title（参考訳）: リプシッツの規則化と自動ウェイト平均化
• Authors: Xiaojun Jia, Yuefeng Chen, Xiaofeng Mao, Ranjie Duan, Jindong Gu, Rong Zhang, Hui Xue and Xiaochun Cao
• Abstract要約: 本研究では,10以上の高速対人訓練法について,対人ロバスト性およびトレーニングコストの観点から検討した。 破滅的オーバーフィッティング防止のための高速対人訓練手法の有効性と有効性を再考する。 リプシッツ正規化とオートウェイト平均化を備えたFGSMに基づく高速対向訓練手法を提案する。
• 参考スコア（独自算出の注目度）: 73.78965374696608
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fast Adversarial Training (FAT) not only improves the model robustness but also reduces the training cost of standard adversarial training. However, fast adversarial training often suffers from Catastrophic Overfitting (CO), which results in poor robustness performance. Catastrophic Overfitting describes the phenomenon of a sudden and significant decrease in robust accuracy during the training of fast adversarial training. Many effective techniques have been developed to prevent Catastrophic Overfitting and improve the model robustness from different perspectives. However, these techniques adopt inconsistent training settings and require different training costs, i.e, training time and memory costs, leading to unfair comparisons. In this paper, we conduct a comprehensive study of over 10 fast adversarial training methods in terms of adversarial robustness and training costs. We revisit the effectiveness and efficiency of fast adversarial training techniques in preventing Catastrophic Overfitting from the perspective of model local nonlinearity and propose an effective Lipschitz regularization method for fast adversarial training. Furthermore, we explore the effect of data augmentation and weight averaging in fast adversarial training and propose a simple yet effective auto weight averaging method to improve robustness further. By assembling these techniques, we propose a FGSM-based fast adversarial training method equipped with Lipschitz regularization and Auto Weight averaging, abbreviated as FGSM-LAW. Experimental evaluations on four benchmark databases demonstrate the superiority of the proposed method over state-of-the-art fast adversarial training methods and the advanced standard adversarial training methods.
• Abstract（参考訳）: fast adversarial training (fat)はモデルのロバスト性を向上させるだけでなく、標準のadversarial trainingのトレーニングコストも削減する。 しかし、速い敵の訓練は、しばしばカタストロフィックオーバーフィッティング(CO)に悩まされ、結果として堅牢性が低下する。 カタストロフィックオーバーフィッティング(Caastrophic Overfitting)は、急速対人訓練のトレーニング中に突然かつ顕著に精度が低下する現象を記述している。 カタストロフィックオーバーフィッティングを防ぎ、異なる観点からモデルの堅牢性を改善するために、多くの効果的な技術が開発されている。 しかし、これらのテクニックは一貫性のないトレーニング設定を採用し、トレーニング時間とメモリコストの異なるトレーニングコストを必要とし、不公平な比較につながる。 本稿では,10以上の高速対人訓練手法について,対人ロバスト性とトレーニングコストの観点から総合研究を行った。 我々は,モデル局所非線形性の観点から,破滅的過剰フィッティングを防止するための高速対向訓練手法の有効性と効率を再検討し,高速対向訓練のための効果的なリプシッツ正則化法を提案する。 さらに, 高速対人訓練におけるデータ拡張と平均重量化の効果について検討し, より堅牢性を高めるための簡易かつ効果的な自動重量推定法を提案する。 これらの手法を組み込むことで,FGSM-LAWと略されるリプシッツ正規化とオートウェイト平均化を備えたFGSMベースの高速対向訓練手法を提案する。 4つのベンチマークデータベースにおける実験的評価は、最先端の高速敵訓練法と先進的な標準敵訓練法よりも、提案手法が優れていることを示している。

関連論文リスト

• Conflict-Aware Adversarial Training [29.804312958830636]
  我々は、重み付け平均法は、標準的な性能と対向ロバスト性に対する最良のトレードオフを提供していないと論じる。 テキストbf競合認識適応訓練(CA-AT)という,標準と対向的損失の凸結合のための競合認識因子を用いた対向的トレーニングのための新たなトレードオフパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-21T23:44:03Z)
• $\ell_\infty$-Robustness and Beyond: Unleashing Efficient Adversarial Training [11.241749205970253]
  トレーニングデータの小さなサブセットを選択することで、堅牢なトレーニングの時間的複雑さを軽減するための、より原則的なアプローチが実現されることを示す。 本手法は,クリーンかつロバストな精度をわずかに低下させながら,敵のトレーニングを2～3倍高速化する。
  論文  参考訳（メタデータ） (2021-12-01T09:55:01Z)
• Self-Progressing Robust Training [146.8337017922058]
  敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。 我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。 その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
  論文  参考訳（メタデータ） (2020-12-22T00:45:24Z)
• Efficient Robust Training via Backward Smoothing [125.91185167854262]
  敵の訓練は敵の例に対抗して最も効果的な戦略である。 トレーニングの各ステップにおける反復的な敵攻撃により、高い計算コストに悩まされる。 近年の研究では、単一段階攻撃を行うことで、高速な対人訓練が可能であることが示されている。
  論文  参考訳（メタデータ） (2020-10-03T04:37:33Z)
• Towards Understanding Fast Adversarial Training [91.8060431517248]
  高速対人訓練の振る舞いを理解するために実験を行う。 その成功の鍵は、過度な適合から弱い攻撃への回復能力である。
  論文  参考訳（メタデータ） (2020-06-04T18:19:43Z)
• Fast is better than free: Revisiting adversarial training [86.11788847990783]
  より弱く安価な敵を用いて、経験的に堅牢なモデルを訓練することが可能であることを示す。 我々は,FGSM逆行訓練を失敗に導く「破滅的オーバーフィッティング(catastrophic overfitting)」と呼ばれる障害モードを特定した。
  論文  参考訳（メタデータ） (2020-01-12T20:30:22Z)
• Efficient Adversarial Training with Transferable Adversarial Examples [58.62766224452761]
  同じトレーニングプロセスにおいて、近隣のエポックからのモデル間で高い転送可能性があることが示される。 本稿では,ATTA(Adversarial Training with Transferable Adversarial Examples)を提案する。
  論文  参考訳（メタデータ） (2019-12-27T03:05:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。