Fugu-MT 論文翻訳(概要): Understanding and Improving Fast Adversarial Training

論文の概要: Understanding and Improving Fast Adversarial Training

arxiv url: http://arxiv.org/abs/2007.02617v2
Date: Sat, 24 Oct 2020 11:20:16 GMT
ステータス: 処理完了
システム内更新日: 2022-11-13 01:17:14.575820
Title: Understanding and Improving Fast Adversarial Training
Title（参考訳）: 高速対向訓練の理解と改善
Authors: Maksym Andriushchenko, Nicolas Flammarion
Abstract要約: 最近の研究は、ディープラーニングモデルに敵対的トレーニングを計算効率良くすることに焦点を当てている。 FGSMにランダムなステップを加えることで、破滅的なオーバーフィッティングを防げないことを示す。破滅的なオーバーフィッティングを防止する新しい正規化法であるGradAlignを提案する。
参考スコア（独自算出の注目度）: 27.666483899332643
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: A recent line of work focused on making adversarial training computationally efficient for deep learning models. In particular, Wong et al. (2020) showed that $\ell_\infty$-adversarial training with fast gradient sign method (FGSM) can fail due to a phenomenon called "catastrophic overfitting", when the model quickly loses its robustness over a single epoch of training. We show that adding a random step to FGSM, as proposed in Wong et al. (2020), does not prevent catastrophic overfitting, and that randomness is not important per se -- its main role being simply to reduce the magnitude of the perturbation. Moreover, we show that catastrophic overfitting is not inherent to deep and overparametrized networks, but can occur in a single-layer convolutional network with a few filters. In an extreme case, even a single filter can make the network highly non-linear locally, which is the main reason why FGSM training fails. Based on this observation, we propose a new regularization method, GradAlign, that prevents catastrophic overfitting by explicitly maximizing the gradient alignment inside the perturbation set and improves the quality of the FGSM solution. As a result, GradAlign allows to successfully apply FGSM training also for larger $\ell_\infty$-perturbations and reduce the gap to multi-step adversarial training. The code of our experiments is available at https://github.com/tml-epfl/understanding-fast-adv-training.
Abstract（参考訳）: 最近の研究は、ディープラーニングモデルに敵対的トレーニングを計算効率良くすることに焦点を当てている。特に、Wong et al. (2020) は、高速勾配符号法 (FGSM) を用いた$\ell_\infty$-adversarial training が「破滅的オーバーフィッティング (catastrophic overfitting)」と呼ばれる現象によって失敗することを示した。 wong et al. (2020) で提案されているように、fgsmにランダムなステップを加えることは、破滅的な過剰フィッティングを防ぎません。さらに, 破壊的オーバーフィッティングは, 深層および過パラメータ化ネットワークに固有のものではなく, 数個のフィルタを持つ単層畳み込みネットワークに発生することを示した。極端な場合、単一のフィルタでさえネットワークを高度に非線形にすることができるため、FGSMトレーニングが失敗する主な理由はそこにある。そこで本研究では,摂動集合内の勾配配向を明示的に最大化し,FGSM溶液の品質を向上させることにより,破滅的過適合を防止する新しい正規化法GradAlignを提案する。結果として、GradAlignは、より大きな$\ell_\infty$-perturbationsにもFGSMトレーニングをうまく適用することができ、マルチステップの敵トレーニングとのギャップを減らすことができる。実験のコードはhttps://github.com/tml-epfl/understanding-fast-adv-trainingで公開されている。

関連論文リスト

Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
論文参考訳（メタデータ） (2022-09-30T15:15:05Z)
Bag of Tricks for FGSM Adversarial Training [30.25966570584856]
FGSM-AT(Fast Gradient Sign Method、FGSM-AT)は、FGSM(Fast Gradient Sign Method、FGSM-AT)によって生成された、頑健なネットワークを訓練する単純な手法である。トレーニング手順の間、不安定な「破滅的オーバーフィッティング」モードがarXiv:2001.03994[cs.LG]で特定され、単一のトレーニングステップで頑健な精度が突然0に低下する。本研究は,FGSM-ATにおける破滅的な過剰適合を克服するためのトリックの収集を徹底的に検討した最初の研究である。
論文参考訳（メタデータ） (2022-09-06T17:53:21Z)
Fast Adversarial Training with Adaptive Step Size [62.37203478589929]
トレーニングインスタンスの観点から,この現象を考察する。適応ステップサイズ(ATAS)を用いた逆学習法を提案する。 ATASは、その勾配ノルムに逆比例するインスタンス順応的なステップサイズを学習する。
論文参考訳（メタデータ） (2022-06-06T08:20:07Z)
Noise Augmentation Is All You Need For FGSM Fast Adversarial Training: Catastrophic Overfitting And Robust Overfitting Require Different Augmentation [72.87038663276554]
敵対的訓練(AT)とその変種は、敵対的頑健なモデルを得るための最も効果的なアプローチである。本研究は,1ステップのF GSMATが過去の作業ラインで示唆されたほど難しくないことを示す。
論文参考訳（メタデータ） (2022-02-11T07:37:55Z)
Local Linearity and Double Descent in Catastrophic Overfitting [0.0]
カタストロフィックオーバーフィッティングは、FGSM(Fast Gradient Sign Method)を用いた逆行訓練(AT)中に観察される現象である。局所的な線形性を維持することは破滅的なオーバーフィッティングを防ぐために$textitsufficient$であるが、$textitnecessaryではない。
論文参考訳（メタデータ） (2021-11-21T07:11:21Z)
ZeroGrad : Mitigating and Explaining Catastrophic Overfitting in FGSM Adversarial Training [1.3124513975412255]
我々は、FGSM攻撃を行うための小さな入力勾配要素をゼロにすることを提案する。提案手法は, 単純かつ効率的ながら, 各種データセット上での競合対角精度を実現する。
論文参考訳（メタデータ） (2021-03-29T10:19:35Z)
Robust Single-step Adversarial Training with Regularizer [11.35007968593652]
本稿では,PGD正規化を用いた高速勾配符号法(FGSMPR)を提案する。実験により,提案手法はFGSM対向学習を用いたL$_infty$-perturbationsのための頑健な深層ネットワークを訓練可能であることが示された。
論文参考訳（メタデータ） (2021-02-05T19:07:10Z)
Initializing Perturbations in Multiple Directions for Fast Adversarial Training [1.8638865257327277]
画像分類において、敵の例は、画像のクリーニングにほとんど知覚できない摂動を加えることで、よく訓練されたディープニューラルネットワークを騙すことができる。逆行訓練は最も直接的で効果的な方法の1つであり、摂動データの損失を最小限に抑える。我々はDIP-FAT(Diversified Initialized Perturbations Adversarial Training)を提案する。
論文参考訳（メタデータ） (2020-05-15T15:52:33Z)
Overfitting in adversarially robust deep learning [86.11788847990783]
トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
論文参考訳（メタデータ） (2020-02-26T15:40:50Z)
Do We Need Zero Training Loss After Achieving Zero Training Error? [76.44358201918156]
本研究では,遠心分離法(Emphflooding)と呼ばれる直接解法を提案する。本研究では, 浸水により性能が向上し, 副産物として, 試験損失の2重降下曲線が誘導されることを実験的に示す。
論文参考訳（メタデータ） (2020-02-20T12:50:49Z)
Fast is better than free: Revisiting adversarial training [86.11788847990783]
より弱く安価な敵を用いて、経験的に堅牢なモデルを訓練することが可能であることを示す。我々は,FGSM逆行訓練を失敗に導く「破滅的オーバーフィッティング(catastrophic overfitting)」と呼ばれる障害モードを特定した。
論文参考訳（メタデータ） (2020-01-12T20:30:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。