論文の概要: Multi-stage Optimization based Adversarial Training

• arxiv url: http://arxiv.org/abs/2106.15357v1
• Date: Sat, 26 Jun 2021 07:59:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-30 15:38:27.954189
• Title: Multi-stage Optimization based Adversarial Training
• Title（参考訳）: 多段階最適化に基づく対人訓練
• Authors: Xiaosen Wang, Chuanbiao Song, Liwei Wang, Kun He
• Abstract要約: 本稿では,多段階最適化に基づく適応学習(MOAT)手法を提案する。 同様の訓練オーバーヘッドの下で、提案したMOATは、単段階または多段階の対向訓練方法よりも堅牢性が高い。
• 参考スコア（独自算出の注目度）: 16.295921205749934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the field of adversarial robustness, there is a common practice that adopts the single-step adversarial training for quickly developing adversarially robust models. However, the single-step adversarial training is most likely to cause catastrophic overfitting, as after a few training epochs it will be hard to generate strong adversarial examples to continuously boost the adversarial robustness. In this work, we aim to avoid the catastrophic overfitting by introducing multi-step adversarial examples during the single-step adversarial training. Then, to balance the large training overhead of generating multi-step adversarial examples, we propose a Multi-stage Optimization based Adversarial Training (MOAT) method that periodically trains the model on mixed benign examples, single-step adversarial examples, and multi-step adversarial examples stage by stage. In this way, the overall training overhead is reduced significantly, meanwhile, the model could avoid catastrophic overfitting. Extensive experiments on CIFAR-10 and CIFAR-100 datasets demonstrate that under similar amount of training overhead, the proposed MOAT exhibits better robustness than either single-step or multi-step adversarial training methods.
• Abstract（参考訳）: 対向ロバスト性の分野では、対向ロバストモデルの開発を迅速に行うために、単段対向トレーニングを採用するのが一般的である。 しかし、一段階の逆行訓練は破滅的なオーバーフィッティングを引き起こす可能性が高く、いくつかの訓練期間を経て、敵の強固さを継続的に向上させる強力な逆行例を生成することは困難である。 本研究は, 単段攻撃訓練中に多段階攻撃例を導入することにより, 破滅的な過剰フィッティングを回避することを目的とする。 そこで本研究では,複数段階の対向例を生成する際の大きなトレーニングオーバーヘッドのバランスをとるために,混合良性例,単段階対向例,多段階対向例を段階的に段階的に訓練する多段階最適化型対向学習(moat)法を提案する。 このように、トレーニング全体のオーバーヘッドは大幅に削減されるが、モデルは壊滅的なオーバーフィッティングを避けることができる。 CIFAR-10とCIFAR-100データセットの大規模な実験により、同様の量のトレーニングオーバーヘッドの下で、提案したMOATは、単一ステップまたは複数ステップの対向訓練方法よりも堅牢性が高いことが示された。

関連論文リスト

• Fast Propagation is Better: Accelerating Single-Step Adversarial Training via Sampling Subnetworks [69.54774045493227]
  逆行訓練の欠点は、逆行例の生成によって引き起こされる計算オーバーヘッドである。 モデルの内部構造ブロックを利用して効率を向上させることを提案する。 従来の手法と比較して,本手法はトレーニングコストを削減できるだけでなく,モデルの堅牢性も向上する。
  論文  参考訳（メタデータ） (2023-10-24T01:36:20Z)
• On the Impact of Hard Adversarial Instances on Overfitting in Adversarial Training [72.95029777394186]
  敵の訓練は、敵の攻撃に対してモデルを強固にするための一般的な方法である。 トレーニングインスタンスの観点から,この現象を考察する。 逆行訓練における一般化性能の低下は, 強行訓練に適合するモデルが試みた結果であることを示す。
  論文  参考訳（メタデータ） (2021-12-14T12:19:24Z)
• Robust Single-step Adversarial Training with Regularizer [11.35007968593652]
  本稿では,PGD正規化を用いた高速勾配符号法(FGSMPR)を提案する。 実験により,提案手法はFGSM対向学習を用いたL$_infty$-perturbationsのための頑健な深層ネットワークを訓練可能であることが示された。
  論文  参考訳（メタデータ） (2021-02-05T19:07:10Z)
• Self-Progressing Robust Training [146.8337017922058]
  敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。 我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。 その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
  論文  参考訳（メタデータ） (2020-12-22T00:45:24Z)
• Adversarial Training with Stochastic Weight Average [4.633908654744751]
  ディープニューラルネットワークのアドリヤトレーニングは、しばしば深刻なオーバーフィッティング問題を経験する。 従来の機械学習では、データの不足から過度な適合を緩和する1つの方法は、アンサンブルメソッドを使用することである。 本稿では,重み平均(SWA)を用いた対向訓練を提案する。 対人訓練中に,訓練軌跡の時間的重み状態を集計する。
  論文  参考訳（メタデータ） (2020-09-21T04:47:20Z)
• Single-step Adversarial training with Dropout Scheduling [59.50324605982158]
  単段階逆行訓練法を用いて学習したモデルは、単段階逆行の発生を防止するために学習する。 提案手法を用いて訓練されたモデルは, 単段階攻撃と多段階攻撃の両方に対して堅牢である。
  論文  参考訳（メタデータ） (2020-04-18T14:14:00Z)
• Regularizers for Single-step Adversarial Training [49.65499307547198]
  本稿では,1ステップの対数学習手法を用いて,ロバストモデル学習を支援する3種類の正則化器を提案する。 正規化器は、ロバストモデルと擬ロバストモデルとを区別する特性を利用することにより、勾配マスキングの効果を緩和する。
  論文  参考訳（メタデータ） (2020-02-03T09:21:04Z)
• Efficient Adversarial Training with Transferable Adversarial Examples [58.62766224452761]
  同じトレーニングプロセスにおいて、近隣のエポックからのモデル間で高い転送可能性があることが示される。 本稿では,ATTA(Adversarial Training with Transferable Adversarial Examples)を提案する。
  論文  参考訳（メタデータ） (2019-12-27T03:05:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。