論文の概要: Efficient Robust Training via Backward Smoothing
- arxiv url: http://arxiv.org/abs/2010.01278v2
- Date: Thu, 30 Dec 2021 07:50:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-11 08:36:10.932852
- Title: Efficient Robust Training via Backward Smoothing
- Title（参考訳）: 後方平滑化による効率的なロバストトレーニング
- Authors: Jinghui Chen and Yu Cheng and Zhe Gan and Quanquan Gu and Jingjing Liu
- Abstract要約: 敵の訓練は敵の例に対抗して最も効果的な戦略である。
トレーニングの各ステップにおける反復的な敵攻撃により、高い計算コストに悩まされる。
近年の研究では、単一段階攻撃を行うことで、高速な対人訓練が可能であることが示されている。
- 参考スコア（独自算出の注目度）: 125.91185167854262
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial training is so far the most effective strategy in defending
against adversarial examples. However, it suffers from high computational costs
due to the iterative adversarial attacks in each training step. Recent studies
show that it is possible to achieve fast Adversarial Training by performing a
single-step attack with random initialization. However, such an approach still
lags behind state-of-the-art adversarial training algorithms on both stability
and model robustness. In this work, we develop a new understanding towards Fast
Adversarial Training, by viewing random initialization as performing randomized
smoothing for better optimization of the inner maximization problem. Following
this new perspective, we also propose a new initialization strategy, backward
smoothing, to further improve the stability and model robustness over
single-step robust training methods. Experiments on multiple benchmarks
demonstrate that our method achieves similar model robustness as the original
TRADES method while using much less training time ($\sim$3x improvement with
the same training schedule).
- Abstract（参考訳）: 敵の訓練は、敵の例から守るための最も効果的な戦略である。
しかしながら、各トレーニングステップにおける反復的な敵の攻撃により、計算コストが高まる。
近年の研究では、ランダム初期化による単一ステップ攻撃を行うことで、高速な対人訓練が可能であることが示されている。
しかし、そのようなアプローチは、安定性とモデルロバスト性の両方に関して、最先端の敵訓練アルゴリズムよりも遅れている。
本研究では,ランダム初期化をランダム化平滑化と捉えて,内部最大化問題の最適化を改善することにより,高速対向学習への新たな理解を開発する。
この新たな視点に従えば、単段階の頑健なトレーニング手法よりも安定性とモデルロバスト性をさらに向上させる新しい初期化戦略、後方平滑化も提案する。
複数のベンチマーク実験により,本手法はトレーニング時間を大幅に削減しつつ,元のTRADES法と類似したモデルロバスト性を達成できることを示した。
関連論文リスト
- Dynamic Label Adversarial Training for Deep Learning Robustness Against Adversarial Attacks [11.389689242531327]
対人訓練は、モデルの堅牢性を高める最も効果的な方法の1つである。
従来のアプローチでは、主に敵の訓練に静的接地真理を用いるが、しばしば強固なオーバーフィッティングを引き起こす。
本稿では,動的ラベル対逆トレーニング(DYNAT)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-08-23T14:25:12Z) - Fast Propagation is Better: Accelerating Single-Step Adversarial
Training via Sampling Subnetworks [69.54774045493227]
逆行訓練の欠点は、逆行例の生成によって引き起こされる計算オーバーヘッドである。
モデルの内部構造ブロックを利用して効率を向上させることを提案する。
従来の手法と比較して,本手法はトレーニングコストを削減できるだけでなく,モデルの堅牢性も向上する。
論文 参考訳（メタデータ） (2023-10-24T01:36:20Z) - Adversarial Coreset Selection for Efficient Robust Training [11.510009152620666]
トレーニングデータの小さなサブセットを選択することは、堅牢なトレーニングの時間的複雑さを軽減するための原則的なアプローチを提供する方法を示す。
本手法が敵の訓練を2～3回高速化することを示すため,広範囲な実験を行った。
論文 参考訳（メタデータ） (2022-09-13T07:37:53Z) - Boosting Fast Adversarial Training with Learnable Adversarial
Initialization [79.90495058040537]
対人訓練(AT)は、対人訓練の例を活用することにより、モデルロバスト性を改善するのに有効であることが示されている。
トレーニング効率を向上させるため,高速AT法では1回だけ勾配を計算することにより高速勾配符号法(FGSM)が採用されている。
論文 参考訳（メタデータ） (2021-10-11T05:37:00Z) - Self-Progressing Robust Training [146.8337017922058]
敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。
我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。
その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
論文 参考訳（メタデータ） (2020-12-22T00:45:24Z) - Improved Adversarial Training via Learned Optimizer [101.38877975769198]
対戦型トレーニングモデルの堅牢性を改善するための枠組みを提案する。
共学習のパラメータモデルの重み付けにより、提案するフレームワークは、更新方向に対するロバスト性とステップの適応性を一貫して改善する。
論文 参考訳（メタデータ） (2020-04-25T20:15:53Z) - Single-step Adversarial training with Dropout Scheduling [59.50324605982158]
単段階逆行訓練法を用いて学習したモデルは、単段階逆行の発生を防止するために学習する。
提案手法を用いて訓練されたモデルは, 単段階攻撃と多段階攻撃の両方に対して堅牢である。
論文 参考訳（メタデータ） (2020-04-18T14:14:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。