論文の概要: Fast Adversarial Training with Smooth Convergence

• arxiv url: http://arxiv.org/abs/2308.12857v1
• Date: Thu, 24 Aug 2023 15:28:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-25 13:37:22.904635
• Title: Fast Adversarial Training with Smooth Convergence
• Title（参考訳）: Smooth Convergence を用いた高速対人訓練
• Authors: Mengnan Zhao, Lihe Zhang, Yuqiu Kong and Baocai Yin
• Abstract要約: 我々は,FAT(Fast Adversarial Training)作業のトレーニングプロセスを分析し,破滅的なオーバーフィッティングが損失収束アウトリーの出現に伴うことを観察した。 円滑な損失収束過程を実現するために,隣接するエポック間の損失差を制限する新しい振動制約(Dubed ConvergeSmooth)を提案する。 提案手法は攻撃非依存であり,様々なFAT技術の訓練安定性を向上させることができる。
• 参考スコア（独自算出の注目度）: 51.996943482875366
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Fast adversarial training (FAT) is beneficial for improving the adversarial robustness of neural networks. However, previous FAT work has encountered a significant issue known as catastrophic overfitting when dealing with large perturbation budgets, \ie the adversarial robustness of models declines to near zero during training. To address this, we analyze the training process of prior FAT work and observe that catastrophic overfitting is accompanied by the appearance of loss convergence outliers. Therefore, we argue a moderately smooth loss convergence process will be a stable FAT process that solves catastrophic overfitting. To obtain a smooth loss convergence process, we propose a novel oscillatory constraint (dubbed ConvergeSmooth) to limit the loss difference between adjacent epochs. The convergence stride of ConvergeSmooth is introduced to balance convergence and smoothing. Likewise, we design weight centralization without introducing additional hyperparameters other than the loss balance coefficient. Our proposed methods are attack-agnostic and thus can improve the training stability of various FAT techniques. Extensive experiments on popular datasets show that the proposed methods efficiently avoid catastrophic overfitting and outperform all previous FAT methods. Code is available at \url{https://github.com/FAT-CS/ConvergeSmooth}.
• Abstract（参考訳）: 高速対人訓練(FAT)は、ニューラルネットワークの対人ロバスト性を改善するのに有用である。 しかし、以前のFATの作業は、大規模な摂動予算を扱う際に破滅的な過度適合(caastrophic overfitting)として知られる重大な問題に直面している。 そこで本研究では,従来のFAT作業のトレーニングプロセスを分析し,破滅的オーバーフィッティングが損失収束アウトリーの出現に伴うことを観察する。 したがって、緩やかに滑らかな損失収束プロセスは、破滅的な過適合を解決する安定したFATプロセスである。 円滑な損失収束過程を実現するために,隣接するエポック間の損失差を制限する新しい振動制約(Dubed ConvergeSmooth)を提案する。 ConvergeSmoothの収束ストライドは収束と平滑化のバランスをとるために導入された。 同様に、損失バランス係数以外のハイパーパラメータを導入することなく、重み集中を設計する。 提案手法は攻撃非依存であり,様々なFAT技術の訓練安定性を向上させることができる。 一般的なデータセットに対する大規模な実験により、提案手法は破滅的なオーバーフィッティングを効果的に回避し、以前の全てのFAT手法より優れていることが示された。 コードは \url{https://github.com/fat-cs/convergesmooth} で入手できる。

関連論文リスト

• Improving Fast Adversarial Training Paradigm: An Example Taxonomy Perspective [61.38753850236804]
  高速対人訓練 (FAT) は, 効率的な訓練を行うために提案され, 熱い研究課題となっている。 FATは破滅的なオーバーフィッティングに悩まされ、多段階の逆行訓練と比較してパフォーマンスが低下する。 本稿では, FATにおける内的最適化と外的最適化のバランスが不均衡であることから, 破滅的なオーバーフィッティングが原因であることが確認された FAT の分類例を示す。
  論文  参考訳（メタデータ） (2024-07-22T03:56:27Z)
• Preventing Catastrophic Overfitting in Fast Adversarial Training: A Bi-level Optimization Perspective [20.99874786089634]
  対人訓練(AT)は、敵例(AE)に対する効果的な防御方法となっている。 Fast AT (FAT) はトレーニングプロセスのガイドに単一ステップの攻撃戦略を採用している。 FAT法は破滅的なオーバーフィッティング問題に悩まされる。
  論文  参考訳（メタデータ） (2024-07-17T09:53:20Z)
• Efficient local linearity regularization to overcome catastrophic overfitting [59.463867084204566]
  単段階逆行訓練におけるカタストロフィックオーバーフィッティング(CO)は、逆行性テスト精度(最大0%まで)の急激な低下をもたらす。 我々は,従来のAT評価においてCOを効果的かつ効率的に緩和するために,ELLEと呼ばれる正規化項を導入する。
  論文  参考訳（メタデータ） (2024-01-21T22:55:26Z)
• Improving Fast Adversarial Training with Prior-Guided Knowledge [80.52575209189365]
  本研究では,標準的な対人訓練と高速対人訓練の訓練過程を比較して,対人具体的品質と破滅的オーバーフィッティングの関係について検討した。 その結果,敵対例の攻撃成功率が悪化すると,破滅的なオーバーフィッティングが発生することがわかった。
  論文  参考訳（メタデータ） (2023-04-01T02:18:12Z)
• Prior-Guided Adversarial Initialization for Fast Adversarial Training [84.56377396106447]
  本稿では,FAT(Fast Adversarial Training)とSAT(Standard Adversarial Training)の違いについて検討する。 FATの攻撃成功率(AE)は、後期訓練段階で徐々に悪化し、過度に適合する。 本報告では, オーバーフィッティングを回避するために, 事前誘導FGSM初期化手法を提案する。 提案手法は, 破滅的な過度適合を防止し, 最先端のFAT法より優れる。
  論文  参考訳（メタデータ） (2022-07-18T18:13:10Z)
• Fast Adversarial Training with Adaptive Step Size [62.37203478589929]
  トレーニングインスタンスの観点から,この現象を考察する。 適応ステップサイズ(ATAS)を用いた逆学習法を提案する。 ATASは、その勾配ノルムに逆比例するインスタンス順応的なステップサイズを学習する。
  論文  参考訳（メタデータ） (2022-06-06T08:20:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。