論文の概要: Stability Analysis and Generalization Bounds of Adversarial Training

• arxiv url: http://arxiv.org/abs/2210.00960v1
• Date: Mon, 3 Oct 2022 14:21:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 16:36:57.441445
• Title: Stability Analysis and Generalization Bounds of Adversarial Training
• Title（参考訳）: 対向訓練の安定性解析と一般化限界
• Authors: Jiancong Xiao, Yanbo Fan, Ruoyu Sun, Jue Wang, Zhi-Quan Luo
• Abstract要約: 逆機械学習では、ディープニューラルネットワークはトレーニングデータセット上の敵の例に適合するが、テストセット上での一般化は不十分である。 この現象はロバストオーバーフィッティングと呼ばれ、共通のデータセット上でニューラルネットを敵対的にトレーニングする場合に観察することができる。
• 参考スコア（独自算出の注目度）: 31.50956388020211
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In adversarial machine learning, deep neural networks can fit the adversarial examples on the training dataset but have poor generalization ability on the test set. This phenomenon is called robust overfitting, and it can be observed when adversarially training neural nets on common datasets, including SVHN, CIFAR-10, CIFAR-100, and ImageNet. In this paper, we study the robust overfitting issue of adversarial training by using tools from uniform stability. One major challenge is that the outer function (as a maximization of the inner function) is nonsmooth, so the standard technique (e.g., hardt et al., 2016) cannot be applied. Our approach is to consider $\eta$-approximate smoothness: we show that the outer function satisfies this modified smoothness assumption with $\eta$ being a constant related to the adversarial perturbation. Based on this, we derive stability-based generalization bounds for stochastic gradient descent (SGD) on the general class of $\eta$-approximate smooth functions, which covers the adversarial loss. Our results provide a different understanding of robust overfitting from the perspective of uniform stability. Additionally, we show that a few popular techniques for adversarial training (\emph{e.g.,} early stopping, cyclic learning rate, and stochastic weight averaging) are stability-promoting in theory.
• Abstract（参考訳）: adversarial machine learningでは、ディープニューラルネットワークはトレーニングデータセットの敵の例に適合するが、テストセットの一般化能力に乏しい。 この現象はロバストオーバーフィッティングと呼ばれ、SVHN、CIFAR-10、CIFAR-100、ImageNetなど、共通のデータセット上でニューラルネットワークを敵対的にトレーニングする場合に観察することができる。 本稿では,一様安定のツールを用いて,対向訓練のロバストなオーバーフィット問題について検討する。 1つの大きな課題は、外部関数(内関数の最大化として)が非滑らかであることであり、標準技術(例えば hardt et al., 2016)は適用できないことである。 我々のアプローチは、$\eta$-approximate smoothness を考えることである: 我々は、外函数がこの修正された滑らかさ仮定を満たすことを示し、$\eta$ は逆摂動に関連する定数である。 これに基づいて、対数損失をカバーする$\eta$-approximate smooth functionの一般クラスに基づく確率勾配降下(SGD)に対する安定性に基づく一般化境界を導出する。 その結果,一様安定性の観点からロバストオーバーフィットの理解が異なっていた。 さらに, 理論上は, 敵対的学習(例えば, 早期停止, 循環学習率, 確率的重み平均化)のためのいくつかの一般的な手法が安定促進効果を示す。

関連論文リスト

• Uniformly Stable Algorithms for Adversarial Training and Beyond [21.893162113946715]
  敵対的機械学習では、ニューラルネットワークは堅牢なオーバーフィッティングとして知られる重大な問題に悩まされる。 近年の研究では、敵の訓練が均一な安定性を示さないことが示されている。 このことは、敵の訓練に適した一様安定なアルゴリズムを開発する動機となっている。
  論文  参考訳（メタデータ） (2024-05-03T02:30:57Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
  構造密度の重み付き雑音によるクリップ最適化問題を考察する。 勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。 得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
  論文  参考訳（メタデータ） (2023-11-07T17:39:17Z)
• Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
  CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。 任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。 本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
  論文  参考訳（メタデータ） (2021-05-31T17:01:05Z)
• Gradient Descent on Neural Networks Typically Occurs at the Edge of Stability [94.4070247697549]
  ニューラルネットワークトレーニング対象に対するフルバッチ勾配降下は、安定性のエッジと呼ばれるレジームで動作します。 この体制では、トレーニング損失 Hessian の最大固有値は2/text(ステップサイズ)$ の数値よりすぐ上にあり、トレーニング損失は短い時間スケールで非単調に振る舞うが、長い時間スケールでは一貫して減少する。
  論文  参考訳（メタデータ） (2021-02-26T22:08:19Z)
• Bridging the Gap Between Adversarial Robustness and Optimization Bias [28.56135898767349]
  アドリアールの堅牢性はディープラーニングのオープンな課題であり、ほとんどの場合、敵対的なトレーニングを使用して対処されます。 トレードオフなしに、完全標準精度とある程度の堅牢性を両立させることが可能であることを示す。 特に、線形畳み込みモデルのロバスト性を特徴付け、フーリエ=$ell_infty$ノルムの制約を受ける攻撃に抵抗することを示す。
  論文  参考訳（メタデータ） (2021-02-17T16:58:04Z)
• Robustness, Privacy, and Generalization of Adversarial Training [84.38148845727446]
  本稿では, 対人訓練におけるプライバシ・ロバスト性トレードオフと一般化・ロバスト性トレードオフの確立と定量化を行う。 我々は,差分プライバシの大きさが強固な強度と正の相関を持つ場合,敵対的トレーニングは$(varepsilon,delta)$-differentially privateであることが示される。 我々の一般化境界は、ディープラーニングにおいて大きなパラメータサイズに明示的に依存していない。
  論文  参考訳（メタデータ） (2020-12-25T13:35:02Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• Stability for the Training of Deep Neural Networks and Other Classifiers [0.9558392439655015]
  我々は安定性の概念を定式化し、不安定性の例を示す。 トレーニングで損失が減少する限り、トレーニングに使用されるアルゴリズムには依存しない。
  論文  参考訳（メタデータ） (2020-02-10T22:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。