論文の概要: Removing Batch Normalization Boosts Adversarial Training

• arxiv url: http://arxiv.org/abs/2207.01156v1
• Date: Mon, 4 Jul 2022 01:39:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-05 13:30:56.839131
• Title: Removing Batch Normalization Boosts Adversarial Training
• Title（参考訳）: バッチ正規化の除去が敵のトレーニングを促進する
• Authors: Haotao Wang, Aston Zhang, Shuai Zheng, Xingjian Shi, Mu Li, Zhangyang Wang
• Abstract要約: 敵の訓練(AT)は、敵の攻撃に対して深層ニューラルネットワークを防御する。 主なボトルネックは、広く使われているバッチ正規化(BN)であり、ATにおけるクリーンなおよび敵対的なトレーニングサンプルの異なる統計をモデル化するのに苦労している。 我々のNoFrost法は, 正規化自由ネットワークの最近の進歩をATに拡張する。
• 参考スコア（独自算出の注目度）: 83.08844497295148
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training (AT) defends deep neural networks against adversarial attacks. One challenge that limits its practical application is the performance degradation on clean samples. A major bottleneck identified by previous works is the widely used batch normalization (BN), which struggles to model the different statistics of clean and adversarial training samples in AT. Although the dominant approach is to extend BN to capture this mixture of distribution, we propose to completely eliminate this bottleneck by removing all BN layers in AT. Our normalizer-free robust training (NoFrost) method extends recent advances in normalizer-free networks to AT for its unexplored advantage on handling the mixture distribution challenge. We show that NoFrost achieves adversarial robustness with only a minor sacrifice on clean sample accuracy. On ImageNet with ResNet50, NoFrost achieves $74.06\%$ clean accuracy, which drops merely $2.00\%$ from standard training. In contrast, BN-based AT obtains $59.28\%$ clean accuracy, suffering a significant $16.78\%$ drop from standard training. In addition, NoFrost achieves a $23.56\%$ adversarial robustness against PGD attack, which improves the $13.57\%$ robustness in BN-based AT. We observe better model smoothness and larger decision margins from NoFrost, which make the models less sensitive to input perturbations and thus more robust. Moreover, when incorporating more data augmentations into NoFrost, it achieves comprehensive robustness against multiple distribution shifts. Code and pre-trained models are public at https://github.com/amazon-research/normalizer-free-robust-training.
• Abstract（参考訳）: 敵の訓練(AT)は、敵の攻撃に対して深いニューラルネットワークを防御する。 実用的利用を制限する1つの課題はクリーンサンプルのパフォーマンス低下である。 以前の研究で確認された大きなボトルネックは、広く使われているバッチ正規化(BN)であり、ATにおけるクリーンなおよび敵対的なトレーニングサンプルの異なる統計をモデル化するのに苦労している。 この混合分布を捉えるためにbnを拡げる手法が主流であるが、我々はこのボトルネックを at 内の全ての bn 層を取り除いて完全に取り除くことを提案する。 我々のNoFrost(NoFrost)法は, 混合分散問題に対する非探索的優位性のために, 正規化自由ネットワークの最近の進歩をATに拡張する。 NoFrostは, クリーンサンプルの精度をわずかに犠牲にして, 敵の強靭性を達成できることを示す。 resnet50のimagenetでは、nofrostは74.06\%のクリーンな精度を達成し、標準のトレーニングからわずか2.00\%を下げる。 これとは対照的に、BNベースのATは59.28.%の清潔な精度を得ており、標準トレーニングから16.78.%の大幅な損失を被っている。 さらに、NoFrostはPGD攻撃に対する23.56\%の対抗的ロバスト性を実現し、BNベースのATで13.57\%のロバスト性を改善する。 我々は、nofrostのモデルの滑らかさとより大きな決定マージンを観察し、それによってモデルが入力の摂動に対する感度が低下し、それによってより堅牢になる。 さらに、より多くのデータ拡張をNoFrostに組み込むことで、複数の分散シフトに対して包括的な堅牢性を実現する。 コードと事前トレーニングされたモデルはhttps://github.com/amazon-research/normalizer-free-robust-trainingで公開されている。

関連論文リスト

• Batch-in-Batch: a new adversarial training framework for initial perturbation and sample selection [9.241737058291823]
  適応学習法は, 単純な一様分布から, 対向サンプルに対する独立な初期摂動を生成する。 モデルを強化するため,Batch-in-Batchと呼ばれるシンプルで効果的なトレーニングフレームワークを提案する。 BBフレームワーク内でトレーニングされたモデルは、様々な対角的設定において、常に高い対角的精度を有することを示す。
  論文  参考訳（メタデータ） (2024-06-06T13:34:43Z)
• Adaptive Batch Normalization Networks for Adversarial Robustness [33.14617293166724]
  敵防衛訓練(Adversarial Training、AT)は、現代の敵防衛の標準的基盤である。 テスト時間領域適応の最近の進歩に触発された適応バッチ正規化ネットワーク(ABNN)を提案する。 ABNNは、デジタルおよび物理的に実現可能な攻撃に対する敵の堅牢性を一貫して改善する。
  論文  参考訳（メタデータ） (2024-05-20T00:58:53Z)
• ACT-Diffusion: Efficient Adversarial Consistency Training for One-step Diffusion Models [59.90959789767886]
  整合性トレーニング損失の最適化は,目標分布と生成分布とのワッサーシュタイン距離を最小化することを示す。 CIFAR10 と ImageNet 64$times$64 と LSUN Cat 256$times$256 データセットの FID スコアを改善する。
  論文  参考訳（メタデータ） (2023-11-23T16:49:06Z)
• Towards Alternative Techniques for Improving Adversarial Robustness: Analysis of Adversarial Training at a Spectrum of Perturbations [5.18694590238069]
  逆行訓練(AT)とその変種は、逆行性摂動に対するニューラルネットワークの堅牢性を改善する進歩を先導している。 私たちは、$epsilon$の値のスペクトルに基づいてトレーニングされたモデルに焦点を当てています。 ATの代替改善は、そうでなければ1ドル(約1万2000円)も出なかったでしょう。
  論文  参考訳（メタデータ） (2022-06-13T22:01:21Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Sparsity Winning Twice: Better Robust Generalization from More Efficient Training [94.92954973680914]
  スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。 いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。 我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
  論文  参考訳（メタデータ） (2022-02-20T15:52:08Z)
• "BNN - BN = ?": Training Binary Neural Networks without Batch Normalization [92.23297927690149]
  バッチ正規化(BN)は、最先端のバイナリニューラルネットワーク(BNN)に不可欠な重要なファシリテータである BNNのトレーニングに彼らのフレームワークを拡張し、BNNのトレーニングや推論体制からBNを除去できることを初めて実証します。
  論文  参考訳（メタデータ） (2021-04-16T16:46:57Z)
• Fast is better than free: Revisiting adversarial training [86.11788847990783]
  より弱く安価な敵を用いて、経験的に堅牢なモデルを訓練することが可能であることを示す。 我々は,FGSM逆行訓練を失敗に導く「破滅的オーバーフィッティング(catastrophic overfitting)」と呼ばれる障害モードを特定した。
  論文  参考訳（メタデータ） (2020-01-12T20:30:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。