論文の概要: Randomized Adversarial Training via Taylor Expansion
- arxiv url: http://arxiv.org/abs/2303.10653v1
- Date: Sun, 19 Mar 2023 13:30:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-21 18:03:14.168496
- Title: Randomized Adversarial Training via Taylor Expansion
- Title（参考訳）: Taylor Expansion によるランダムな対人訓練
- Authors: Gaojie Jin, Xinping Yi, Dengyu Wu, Ronghui Mu, Xiaowei Huang
- Abstract要約: そこで我々は,小さなガウス雑音のテイラー展開による新しい対向訓練法を提案する。
新たな対角訓練法は,損失景観を平らにし,平らなミニマを見つけることができることを示す。
PGD、CW、オートアタックでは、我々の手法が堅牢性とクリーンな精度の両方を向上することを示した。
- 参考スコア（独自算出の注目度）: 18.54106339075049
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, there has been an explosion of research into developing more
robust deep neural networks against adversarial examples. Adversarial training
appears as one of the most successful methods. To deal with both the robustness
against adversarial examples and the accuracy over clean examples, many works
develop enhanced adversarial training methods to achieve various trade-offs
between them. Leveraging over the studies that smoothed update on weights
during training may help find flat minima and improve generalization, we
suggest reconciling the robustness-accuracy trade-off from another perspective,
i.e., by adding random noise into deterministic weights. The randomized weights
enable our design of a novel adversarial training method via Taylor expansion
of a small Gaussian noise, and we show that the new adversarial training method
can flatten loss landscape and find flat minima. With PGD, CW, and Auto
Attacks, an extensive set of experiments demonstrate that our method enhances
the state-of-the-art adversarial training methods, boosting both robustness and
clean accuracy. The code is available at
https://github.com/Alexkael/Randomized-Adversarial-Training.
- Abstract（参考訳）: 近年、敵の例に対してより堅牢なディープニューラルネットワークを開発する研究が爆発的に進んでいる。
敵の訓練は最も成功した方法の1つである。
敵の例に対する堅牢性とクリーンな例に対する精度の両方に対処するため、多くの研究が敵の訓練方法を改良し、それらの間のトレードオフを達成した。
トレーニング中にウェイトをスムーズに更新した研究は、フラットなミニマを見つけ、一般化を改善するのに役立ち、ロバストネスと精度のトレードオフ、すなわちランダムノイズを決定論的ウェイトに加えることによって、別の観点から和解することを提案する。
ランダムな重み付けにより、小さなガウス雑音のテイラー展開による新しい対向訓練法の設計が可能となり、新しい対向訓練法は損失景観を平坦化し、平坦な最小値を求めることができることを示す。
PGD,CW,オートアタックでは,我々の手法が最先端の対人訓練手法を強化し,堅牢性とクリーンな精度の向上を図っている。
コードはhttps://github.com/alexkael/randomized-adversarial-trainingで入手できる。
関連論文リスト
- Fast Propagation is Better: Accelerating Single-Step Adversarial
Training via Sampling Subnetworks [69.54774045493227]
逆行訓練の欠点は、逆行例の生成によって引き起こされる計算オーバーヘッドである。
モデルの内部構造ブロックを利用して効率を向上させることを提案する。
従来の手法と比較して,本手法はトレーニングコストを削減できるだけでなく,モデルの堅牢性も向上する。
論文 参考訳（メタデータ） (2023-10-24T01:36:20Z) - Enhancing Adversarial Training via Reweighting Optimization Trajectory [72.75558017802788]
余分な正規化、敵の重み付け、より多くのデータによるトレーニングといった欠点に対処するいくつかのアプローチが提案されている。
本稿では, 時間内学習の最適化トラジェクトリを利用するtextbfWeighted Optimization Trajectories (WOT) を提案する。
以上の結果から,WOTは既存の対人訓練手法とシームレスに統合され,頑健なオーバーフィッティング問題を一貫して克服していることがわかった。
論文 参考訳（メタデータ） (2023-06-25T15:53:31Z) - CAT:Collaborative Adversarial Training [80.55910008355505]
ニューラルネットワークの堅牢性を改善するために,協調的対人訓練フレームワークを提案する。
具体的には、異なる対戦型トレーニング手法を使用して、堅牢なモデルをトレーニングし、トレーニングプロセス中にモデルが自身の知識と対話できるようにします。
Cat は Auto-Attack ベンチマークの下で CIFAR-10 上の追加データを用いることなく、最先端の敵の堅牢性を達成している。
論文 参考訳（メタデータ） (2023-03-27T05:37:43Z) - Improved Adversarial Training Through Adaptive Instance-wise Loss
Smoothing [5.1024659285813785]
敵の訓練は、このような敵の攻撃に対する最も成功した防御であった。
本稿では,新たな対人訓練手法を提案する。
本手法は,$ell_infty$-norm制約攻撃に対する最先端のロバスト性を実現する。
論文 参考訳（メタデータ） (2023-03-24T15:41:40Z) - A Data-Centric Approach for Improving Adversarial Training Through the
Lens of Out-of-Distribution Detection [0.4893345190925178]
複雑なアルゴリズムを適用して効果を緩和するのではなく, トレーニング手順から直接ハードサンプルを検出し, 除去することを提案する。
SVHN と CIFAR-10 データセットを用いた結果,計算コストの増大を伴わずに対角訓練の改善に本手法の有効性が示された。
論文 参考訳（メタデータ） (2023-01-25T08:13:50Z) - Self-Progressing Robust Training [146.8337017922058]
敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。
我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。
その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
論文 参考訳（メタデータ） (2020-12-22T00:45:24Z) - Efficient Robust Training via Backward Smoothing [125.91185167854262]
敵の訓練は敵の例に対抗して最も効果的な戦略である。
トレーニングの各ステップにおける反復的な敵攻撃により、高い計算コストに悩まされる。
近年の研究では、単一段階攻撃を行うことで、高速な対人訓練が可能であることが示されている。
論文 参考訳（メタデータ） (2020-10-03T04:37:33Z) - Bag of Tricks for Adversarial Training [50.53525358778331]
アドリアリトレーニングは、モデルの堅牢性を促進するための最も効果的な戦略の1つである。
最近のベンチマークでは、提案されたATの改良のほとんどは、単にトレーニング手順を早期に停止するよりも効果が低いことが示されている。
論文 参考訳（メタデータ） (2020-10-01T15:03:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。