論文の概要: Fast is better than free: Revisiting adversarial training

• arxiv url: http://arxiv.org/abs/2001.03994v1
• Date: Sun, 12 Jan 2020 20:30:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-12 04:31:21.478548
• Title: Fast is better than free: Revisiting adversarial training
• Title（参考訳）: Fastは無料より優れている - 敵のトレーニングを再考する
• Authors: Eric Wong, Leslie Rice, J. Zico Kolter
• Abstract要約: より弱く安価な敵を用いて、経験的に堅牢なモデルを訓練することが可能であることを示す。 我々は,FGSM逆行訓練を失敗に導く「破滅的オーバーフィッティング(catastrophic overfitting)」と呼ばれる障害モードを特定した。
• 参考スコア（独自算出の注目度）: 86.11788847990783
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training, a method for learning robust deep networks, is typically assumed to be more expensive than traditional training due to the necessity of constructing adversarial examples via a first-order method like projected gradient decent (PGD). In this paper, we make the surprising discovery that it is possible to train empirically robust models using a much weaker and cheaper adversary, an approach that was previously believed to be ineffective, rendering the method no more costly than standard training in practice. Specifically, we show that adversarial training with the fast gradient sign method (FGSM), when combined with random initialization, is as effective as PGD-based training but has significantly lower cost. Furthermore we show that FGSM adversarial training can be further accelerated by using standard techniques for efficient training of deep networks, allowing us to learn a robust CIFAR10 classifier with 45% robust accuracy to PGD attacks with $\epsilon=8/255$ in 6 minutes, and a robust ImageNet classifier with 43% robust accuracy at $\epsilon=2/255$ in 12 hours, in comparison to past work based on "free" adversarial training which took 10 and 50 hours to reach the same respective thresholds. Finally, we identify a failure mode referred to as "catastrophic overfitting" which may have caused previous attempts to use FGSM adversarial training to fail. All code for reproducing the experiments in this paper as well as pretrained model weights are at https://github.com/locuslab/fast_adversarial.
• Abstract（参考訳）: 強固なディープネットワークを学習する手法であるadversarial trainingは、通常、プロジェクテッド・グラデーション・フォーマル(pgd)のような一階法で敵の例を構築する必要があるため、従来のトレーニングよりも高価であると考えられている。 本稿では, 従来非効率と思われていたアプローチである, より弱く安価な逆境を用いて, 実験的に堅牢なモデルを訓練できるという驚くべき発見を行ない, 実際に行う訓練よりもコストがかからない手法を提案する。 具体的には,ファストグレードサイン法(fast gradient sign method, fgsm)とランダム初期化を組み合わせることで,pgdベースのトレーニングと同等の効果を示すが,コストは極めて低い。 さらに, ディープネットワークの効率的なトレーニングのための標準技術を用いて, 45%のロバストなcifar10分類器を6分で学習できること, 43%のロバストなイメージネット分類器を12時間以内に2/255$で学習できること, 10時間から50時間かけて同じしきい値に到達した"free"アドバーサリートレーニングに基づく過去の作業と比較して, fgsmの敵意訓練をさらに促進できることを示した。 最後に,FGSM逆行訓練の失敗の原因となった「破滅的オーバーフィッティング(catastrophic overfitting)」と呼ばれる障害モードを同定した。 この論文で実験を再現するためのコードはすべてhttps://github.com/locuslab/fast_adversarial.comにある。

関連論文リスト

• CAT:Collaborative Adversarial Training [80.55910008355505]
  ニューラルネットワークの堅牢性を改善するために,協調的対人訓練フレームワークを提案する。 具体的には、異なる対戦型トレーニング手法を使用して、堅牢なモデルをトレーニングし、トレーニングプロセス中にモデルが自身の知識と対話できるようにします。 Cat は Auto-Attack ベンチマークの下で CIFAR-10 上の追加データを用いることなく、最先端の敵の堅牢性を達成している。
  論文  参考訳（メタデータ） (2023-03-27T05:37:43Z)
• Efficient Adversarial Training with Robust Early-Bird Tickets [57.72115485770303]
  パラメータが収束するずっと前に、初期のトレーニングフェーズに堅牢な接続パターンが現れることが分かりました。 この発見にインスパイアされた我々は、効率的な対人訓練方法を開発するために、堅牢な早期バードチケットを掘り下げる。 実験の結果,提案手法は最大7倍の高速化を達成できることがわかった。
  論文  参考訳（メタデータ） (2022-11-14T10:44:25Z)
• Adversarial Coreset Selection for Efficient Robust Training [11.510009152620666]
  トレーニングデータの小さなサブセットを選択することは、堅牢なトレーニングの時間的複雑さを軽減するための原則的なアプローチを提供する方法を示す。 本手法が敵の訓練を2～3回高速化することを示すため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-09-13T07:37:53Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• $\ell_\infty$-Robustness and Beyond: Unleashing Efficient Adversarial Training [11.241749205970253]
  トレーニングデータの小さなサブセットを選択することで、堅牢なトレーニングの時間的複雑さを軽減するための、より原則的なアプローチが実現されることを示す。 本手法は,クリーンかつロバストな精度をわずかに低下させながら,敵のトレーニングを2～3倍高速化する。
  論文  参考訳（メタデータ） (2021-12-01T09:55:01Z)
• Fooling Adversarial Training with Inducing Noise [18.07654610758511]
  敵陣訓練は、敵陣攻撃に対するモデル堅牢性を改善するための信頼性の高いアプローチであると広く信じられている。 本稿では, ある種類の有毒データを用いて訓練した場合, 敵の訓練も破滅的な行動に陥ることが示唆された。 そこで本研究では,ADVIN(ADVIN)という新たなノイズ誘導法を提案する。
  論文  参考訳（メタデータ） (2021-11-19T09:59:28Z)
• Boosting Fast Adversarial Training with Learnable Adversarial Initialization [79.90495058040537]
  対人訓練(AT)は、対人訓練の例を活用することにより、モデルロバスト性を改善するのに有効であることが示されている。 トレーニング効率を向上させるため,高速AT法では1回だけ勾配を計算することにより高速勾配符号法(FGSM)が採用されている。
  論文  参考訳（メタデータ） (2021-10-11T05:37:00Z)
• Robust Single-step Adversarial Training with Regularizer [11.35007968593652]
  本稿では,PGD正規化を用いた高速勾配符号法(FGSMPR)を提案する。 実験により,提案手法はFGSM対向学習を用いたL$_infty$-perturbationsのための頑健な深層ネットワークを訓練可能であることが示された。
  論文  参考訳（メタデータ） (2021-02-05T19:07:10Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。