論文の概要: Exploring Model Robustness with Adaptive Networks and Improved
Adversarial Training
- arxiv url: http://arxiv.org/abs/2006.00387v1
- Date: Sat, 30 May 2020 23:23:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-26 17:42:34.226349
- Title: Exploring Model Robustness with Adaptive Networks and Improved
Adversarial Training
- Title（参考訳）: アダプティブネットワークによるモデルロバスト性の検討と敵意トレーニングの改善
- Authors: Zheng Xu, Ali Shafahi, Tom Goldstein
- Abstract要約: 入力サンプルに条件付きでネットワークを適応させる条件正規化モジュールを提案する。
適応的ネットワークは、一度逆さまに訓練された場合、クリーンな検証精度と堅牢性の両方において、適応的でないネットワークよりも優れています。
- 参考スコア（独自算出の注目度）: 56.82000424924979
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial training has proven to be effective in hardening networks against
adversarial examples. However, the gained robustness is limited by network
capacity and number of training samples. Consequently, to build more robust
models, it is common practice to train on widened networks with more
parameters. To boost robustness, we propose a conditional normalization module
to adapt networks when conditioned on input samples. Our adaptive networks,
once adversarially trained, can outperform their non-adaptive counterparts on
both clean validation accuracy and robustness. Our method is objective agnostic
and consistently improves both the conventional adversarial training objective
and the TRADES objective. Our adaptive networks also outperform larger widened
non-adaptive architectures that have 1.5 times more parameters. We further
introduce several practical ``tricks'' in adversarial training to improve
robustness and empirically verify their efficiency.
- Abstract（参考訳）: 敵の訓練は敵の例に対するネットワーク強化に有効であることが証明されている。
しかし、得られた堅牢性は、ネットワーク容量とトレーニングサンプルの数によって制限される。
したがって、より堅牢なモデルを構築するためには、より多くのパラメータを持つ広いネットワークでトレーニングすることが一般的である。
頑健性を高めるために,入力サンプルに条件付けされたネットワークに適応する条件正規化モジュールを提案する。
我々の適応的ネットワークは、一度逆さまに訓練されると、きれいな検証精度と堅牢性の両方において、適応的でないネットワークよりも優れている。
本手法は客観的非依存であり,従来の対人訓練目標とTRADES目標の両方を一貫して改善する。
我々の適応ネットワークは、1.5倍のパラメータを持つ拡張された非適応アーキテクチャよりも優れています。
さらに, 対人訓練における「トリック」を実践的に導入し, 堅牢性を向上し, 効率を実証的に検証する。
関連論文リスト
- CAT:Collaborative Adversarial Training [80.55910008355505]
ニューラルネットワークの堅牢性を改善するために,協調的対人訓練フレームワークを提案する。
具体的には、異なる対戦型トレーニング手法を使用して、堅牢なモデルをトレーニングし、トレーニングプロセス中にモデルが自身の知識と対話できるようにします。
Cat は Auto-Attack ベンチマークの下で CIFAR-10 上の追加データを用いることなく、最先端の敵の堅牢性を達成している。
論文 参考訳（メタデータ） (2023-03-27T05:37:43Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-13T15:39:43Z) - Sparsity Winning Twice: Better Robust Generalization from More Efficient
Training [94.92954973680914]
スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。
いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。
我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
論文 参考訳（メタデータ） (2022-02-20T15:52:08Z) - Robust Binary Models by Pruning Randomly-initialized Networks [57.03100916030444]
ランダムな二元ネットワークから敵攻撃に対して頑健なモデルを得る方法を提案する。
ランダムな二元ネットワークを切断することにより、ロバストモデルの構造を学習する。
本手法は, 敵攻撃の有無で, 強力な抽選券仮説を立証する。
論文 参考訳（メタデータ） (2022-02-03T00:05:08Z) - $\ell_\infty$-Robustness and Beyond: Unleashing Efficient Adversarial
Training [11.241749205970253]
トレーニングデータの小さなサブセットを選択することで、堅牢なトレーニングの時間的複雑さを軽減するための、より原則的なアプローチが実現されることを示す。
本手法は,クリーンかつロバストな精度をわずかに低下させながら,敵のトレーニングを2～3倍高速化する。
論文 参考訳（メタデータ） (2021-12-01T09:55:01Z) - Fast Training of Deep Neural Networks Robust to Adversarial
Perturbations [0.0]
対人訓練に対する迅速な近似は、トレーニング時間を短縮し、堅牢性を維持することを約束することを示す。
高速敵トレーニングは、機械学習アプリケーションにおけるセキュリティと説明可能性の向上を提供する、有望なアプローチである。
論文 参考訳（メタデータ） (2020-07-08T00:35:39Z) - Improved Adversarial Training via Learned Optimizer [101.38877975769198]
対戦型トレーニングモデルの堅牢性を改善するための枠組みを提案する。
共学習のパラメータモデルの重み付けにより、提案するフレームワークは、更新方向に対するロバスト性とステップの適応性を一貫して改善する。
論文 参考訳（メタデータ） (2020-04-25T20:15:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。