論文の概要: Enhancing Adversarial Training with Second-Order Statistics of Weights

• arxiv url: http://arxiv.org/abs/2203.06020v1
• Date: Fri, 11 Mar 2022 15:40:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-14 13:55:36.101382
• Title: Enhancing Adversarial Training with Second-Order Statistics of Weights
• Title（参考訳）: 重みの2次統計を用いた対人訓練の強化
• Authors: Gaojie Jin, Xinping Yi, Wei Huang, Sven Schewe, Xiaowei Huang
• Abstract要約: モデル重みをランダム変数として扱うことにより,textbfSecond-Order textbfStatistics textbfOptimization による逆トレーニングの強化が可能であることを示す。 我々は、S$2$Oが、単独で使用する場合のトレーニングニューラルネットワークの堅牢性と一般化を向上するだけでなく、最先端の対人訓練技術にも容易に統合できることを示す広範な実験を行う。
• 参考スコア（独自算出の注目度）: 23.90998469971413
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training has been shown to be one of the most effective approaches to improve the robustness of deep neural networks. It is formalized as a min-max optimization over model weights and adversarial perturbations, where the weights can be optimized through gradient descent methods like SGD. In this paper, we show that treating model weights as random variables allows for enhancing adversarial training through \textbf{S}econd-Order \textbf{S}tatistics \textbf{O}ptimization (S$^2$O) with respect to the weights. By relaxing a common (but unrealistic) assumption of previous PAC-Bayesian frameworks that all weights are statistically independent, we derive an improved PAC-Bayesian adversarial generalization bound, which suggests that optimizing second-order statistics of weights can effectively tighten the bound. In addition to this theoretical insight, we conduct an extensive set of experiments, which show that S$^2$O not only improves the robustness and generalization of the trained neural networks when used in isolation, but also integrates easily in state-of-the-art adversarial training techniques like TRADES, AWP, MART, and AVMixup, leading to a measurable improvement of these techniques. The code is available at \url{https://github.com/Alexkael/S2O}.
• Abstract（参考訳）: 敵対的トレーニングは、ディープニューラルネットワークの堅牢性を改善するための最も効果的なアプローチの1つであることが示されている。 モデル重みと逆摂動に対するmin-max最適化として定式化され、sgdのような勾配降下法によって重みを最適化することができる。 本稿では,モデルの重みを確率変数として扱うことにより,重みに関して,次数 {textbf{S}econd-Order \textbf{S}tatistics \textbf{O}ptimization (S$^2$O) による逆トレーニングの強化が可能であることを示す。 すべての重みが統計的に独立であるという、以前のPAC-ベイジアンフレームワークの一般的な(しかし非現実的な)仮定を緩和することにより、改良されたPAC-ベイジアン逆一般化境界が導かれる。 この理論的な知見に加えて、S$^2$Oは、訓練されたニューラルネットワークが単独で使用するときの堅牢性と一般化を向上するだけでなく、TRADES、AWP、MART、AVMixupといった最先端の対人訓練技術にも容易に統合できることを示し、これらの技術は測定可能な改善をもたらす。 コードは \url{https://github.com/alexkael/s2o} で入手できる。

関連論文リスト

• Improving Generalization of Adversarial Training via Robust Critical Fine-Tuning [19.91117174405902]
  ディープニューラルネットワークは敵の例に影響を受けやすく、重要なアプリケーションにおいて重大なセキュリティリスクを生じさせる。 本稿では,対向的強靭性を損なうことなく一般化を促進する新しい手法であるロバストネスクリティカルファインタニング(RiFT)を提案する。
  論文  参考訳（メタデータ） (2023-08-01T09:02:34Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Improving Covariance Conditioning of the SVD Meta-layer by Orthogonality [65.67315418971688]
  最寄り直交勾配(NOG)と最適学習率(OLR)を提案する。 視覚認識実験は,共分散条件と一般化を同時に改善できることを実証した。
  論文  参考訳（メタデータ） (2022-07-05T15:39:29Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Self-Ensemble Adversarial Training for Improved Robustness [14.244311026737666]
  敵の訓練は、あらゆる種類の防衛方法において、様々な敵の攻撃に対する最強の戦略である。 最近の研究は主に新しい損失関数や正規化器の開発に重点を置いており、重み空間の特異な最適点を見つけようとしている。 我々は,歴史モデルの重みを平均化し,頑健な分類器を生成するための,単純だが強力なemphSelf-Ensemble Adversarial Training (SEAT)法を考案した。
  論文  参考訳（メタデータ） (2022-03-18T01:12:18Z)
• Self-Progressing Robust Training [146.8337017922058]
  敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。 我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。 その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
  論文  参考訳（メタデータ） (2020-12-22T00:45:24Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
  本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。 具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
  論文  参考訳（メタデータ） (2020-08-21T19:35:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。