論文の概要: Prior-Guided Adversarial Initialization for Fast Adversarial Training

• arxiv url: http://arxiv.org/abs/2207.08859v1
• Date: Mon, 18 Jul 2022 18:13:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-20 13:44:57.259432
• Title: Prior-Guided Adversarial Initialization for Fast Adversarial Training
• Title（参考訳）: 高速対人訓練のための事前指導型対人初期化
• Authors: Xiaojun Jia, Yong Zhang, Xingxing Wei, Baoyuan Wu, Ke Ma, Jue Wang, Xiaochun Cao
• Abstract要約: 本稿では,FAT(Fast Adversarial Training)とSAT(Standard Adversarial Training)の違いについて検討する。 FATの攻撃成功率(AE)は、後期訓練段階で徐々に悪化し、過度に適合する。 本報告では, オーバーフィッティングを回避するために, 事前誘導FGSM初期化手法を提案する。 提案手法は, 破滅的な過度適合を防止し, 最先端のFAT法より優れる。
• 参考スコア（独自算出の注目度）: 84.56377396106447
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fast adversarial training (FAT) effectively improves the efficiency of standard adversarial training (SAT). However, initial FAT encounters catastrophic overfitting, i.e.,the robust accuracy against adversarial attacks suddenly and dramatically decreases. Though several FAT variants spare no effort to prevent overfitting, they sacrifice much calculation cost. In this paper, we explore the difference between the training processes of SAT and FAT and observe that the attack success rate of adversarial examples (AEs) of FAT gets worse gradually in the late training stage, resulting in overfitting. The AEs are generated by the fast gradient sign method (FGSM) with a zero or random initialization. Based on the observation, we propose a prior-guided FGSM initialization method to avoid overfitting after investigating several initialization strategies, improving the quality of the AEs during the whole training process. The initialization is formed by leveraging historically generated AEs without additional calculation cost. We further provide a theoretical analysis for the proposed initialization method. We also propose a simple yet effective regularizer based on the prior-guided initialization,i.e., the currently generated perturbation should not deviate too much from the prior-guided initialization. The regularizer adopts both historical and current adversarial perturbations to guide the model learning. Evaluations on four datasets demonstrate that the proposed method can prevent catastrophic overfitting and outperform state-of-the-art FAT methods. The code is released at https://github.com/jiaxiaojunQAQ/FGSM-PGI.
• Abstract（参考訳）: 高速対人訓練(FAT)は、標準対人訓練(SAT)の効率を効果的に向上させる。 しかし、初期のFATは破滅的な過剰適合、すなわち敵攻撃に対する堅牢な精度が急激かつ劇的に低下する。 いくつかのFAT型はオーバーフィッティングを防ぐための努力を省いたものの、多くの計算コストを犠牲にした。 本稿では,SAT と FAT のトレーニングプロセスの違いを考察し,FAT の逆例 (AE) の攻撃成功率が後期トレーニング段階で徐々に悪化し,過度な適合が生じることを観察する。 AEは、ゼロまたはランダムな初期化を伴う高速勾配符号法(FGSM)によって生成される。 そこで本研究では,いくつかの初期化戦略を調査した上で,事前誘導型FGSM初期化手法を提案する。 初期化は、計算コストを増大させることなく、歴史的に生成されたAEを利用する。 さらに,提案手法の理論的解析を行う。 また,事前誘導初期化に基づく単純かつ効果的な正規化器,すなわち現在生成している摂動を事前誘導初期化からあまり逸脱してはならないことを提案する。 正規化器は、モデル学習を導くために、歴史的および現在の敵対的摂動の両方を採用する。 4つのデータセットの評価結果から,提案手法は破滅的な過剰適合を防止し,最先端のFAT法より優れることを示す。 コードはhttps://github.com/jiaxiaojunQAQ/FGSM-PGIで公開されている。

関連論文リスト

• Improving Fast Adversarial Training Paradigm: An Example Taxonomy Perspective [61.38753850236804]
  高速対人訓練 (FAT) は, 効率的な訓練を行うために提案され, 熱い研究課題となっている。 FATは破滅的なオーバーフィッティングに悩まされ、多段階の逆行訓練と比較してパフォーマンスが低下する。 本稿では, FATにおける内的最適化と外的最適化のバランスが不均衡であることから, 破滅的なオーバーフィッティングが原因であることが確認された FAT の分類例を示す。
  論文  参考訳（メタデータ） (2024-07-22T03:56:27Z)
• Improving Fast Adversarial Training with Prior-Guided Knowledge [80.52575209189365]
  本研究では,標準的な対人訓練と高速対人訓練の訓練過程を比較して,対人具体的品質と破滅的オーバーフィッティングの関係について検討した。 その結果,敵対例の攻撃成功率が悪化すると,破滅的なオーバーフィッティングが発生することがわかった。
  論文  参考訳（メタデータ） (2023-04-01T02:18:12Z)
• Bag of Tricks for FGSM Adversarial Training [30.25966570584856]
  FGSM-AT(Fast Gradient Sign Method、FGSM-AT)は、FGSM(Fast Gradient Sign Method、FGSM-AT)によって生成された、頑健なネットワークを訓練する単純な手法である。 トレーニング手順の間、不安定な「破滅的オーバーフィッティング」モードがarXiv:2001.03994[cs.LG]で特定され、単一のトレーニングステップで頑健な精度が突然0に低下する。 本研究は,FGSM-ATにおける破滅的な過剰適合を克服するためのトリックの収集を徹底的に検討した最初の研究である。
  論文  参考訳（メタデータ） (2022-09-06T17:53:21Z)
• Fast Adversarial Training with Adaptive Step Size [62.37203478589929]
  トレーニングインスタンスの観点から,この現象を考察する。 適応ステップサイズ(ATAS)を用いた逆学習法を提案する。 ATASは、その勾配ノルムに逆比例するインスタンス順応的なステップサイズを学習する。
  論文  参考訳（メタデータ） (2022-06-06T08:20:07Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• Boosting Fast Adversarial Training with Learnable Adversarial Initialization [79.90495058040537]
  対人訓練(AT)は、対人訓練の例を活用することにより、モデルロバスト性を改善するのに有効であることが示されている。 トレーニング効率を向上させるため,高速AT法では1回だけ勾配を計算することにより高速勾配符号法(FGSM)が採用されている。
  論文  参考訳（メタデータ） (2021-10-11T05:37:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。