論文の概要: Enhance Diffusion to Improve Robust Generalization

• arxiv url: http://arxiv.org/abs/2306.02618v1
• Date: Mon, 5 Jun 2023 06:36:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 16:39:50.771653
• Title: Enhance Diffusion to Improve Robust Generalization
• Title（参考訳）: ロバスト一般化を改善するエンハンス拡散
• Authors: Jianhui Sun and Sanchit Sinha and Aidong Zhang
• Abstract要約: emphAdversarial Training (AT)は、敵の摂動に対する最も強力な防御機構の1つである。 本稿では, 第一のATフレームワークであるGD-AT(Projected Gradient Descent Adversarial Training)に焦点を当てる。 本稿では,分散項を操作し,計算負荷を実質的に伴わない堅牢な一般化を改善するための新しい手法であるemphDiffusion Enhanced Adversarial Training (DEAT)を提案する。
• 参考スコア（独自算出の注目度）: 38.47883417739273
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks are susceptible to human imperceptible adversarial perturbations. One of the strongest defense mechanisms is \emph{Adversarial Training} (AT). In this paper, we aim to address two predominant problems in AT. First, there is still little consensus on how to set hyperparameters with a performance guarantee for AT research, and customized settings impede a fair comparison between different model designs in AT research. Second, the robustly trained neural networks struggle to generalize well and suffer from tremendous overfitting. This paper focuses on the primary AT framework - Projected Gradient Descent Adversarial Training (PGD-AT). We approximate the dynamic of PGD-AT by a continuous-time Stochastic Differential Equation (SDE), and show that the diffusion term of this SDE determines the robust generalization. An immediate implication of this theoretical finding is that robust generalization is positively correlated with the ratio between learning rate and batch size. We further propose a novel approach, \emph{Diffusion Enhanced Adversarial Training} (DEAT), to manipulate the diffusion term to improve robust generalization with virtually no extra computational burden. We theoretically show that DEAT obtains a tighter generalization bound than PGD-AT. Our empirical investigation is extensive and firmly attests that DEAT universally outperforms PGD-AT by a significant margin.
• Abstract（参考訳）: ディープニューラルネットワークは、人間の知覚できない逆行性摂動に影響を受けやすい。 最も強力な防御機構の1つは \emph{adversarial training} (at)である。 本稿では,atの主な2つの問題に対処することを目的とする。 まず、AT研究における性能保証を伴うハイパーパラメータの設定方法に関するコンセンサスはほとんどなく、カスタマイズされた設定は、AT研究における異なるモデル設計間の公正な比較を妨げる。 第二に、堅牢に訓練されたニューラルネットワークは、うまく一般化するのに苦労し、非常に過度なオーバーフィッティングに苦しむ。 本稿は, 第一のATフレームワークである PGD-AT (Projected Gradient Descent Adversarial Training) に焦点を当てる。 連続時間確率微分方程式(SDE)によりPGD-ATの力学を近似し、このSDEの拡散項がロバストな一般化を決定することを示す。 この理論的な発見の直接的な意味は、堅牢な一般化は学習率とバッチサイズとの比と正に相関しているということである。 さらに, 拡散項を操作し, ほとんど計算量を持たず, 頑健な一般化を実現するための新しい手法, \emph{diffusion enhanced adversarial training} (deat)を提案する。 理論上, DEAT は PGD-AT よりも厳密な一般化が得られることを示す。 当社の実験的な調査は、pgd-atを圧倒的に上回っていることを十分に証明しています。

関連論文リスト

• Exploiting the Layered Intrinsic Dimensionality of Deep Models for Practical Adversarial Training [31.495803865226158]
  対人訓練(AT)は、2つの主要な理由から実践的なAIシステムに展開されることはめったにない。 ATはビジョンモデルにおける一般化の減少をもたらすが、エンコーダベースの言語モデルでは一般化は改善されるか変化しない。 SMAATは標準的なATに比べて25～33%のGPU時間しか必要とせず、全アプリケーションにおけるロバスト性は著しく向上している。
  論文  参考訳（メタデータ） (2024-05-27T12:48:30Z)
• The Effectiveness of Random Forgetting for Robust Generalization [21.163070161951868]
  我々は,FOMO(Fordt to Mitigate Overfitting)と呼ばれる新しい学習パラダイムを導入する。 FOMOは、重みのサブセットをランダムに忘れる忘れ相と、一般化可能な特徴の学習を強調する再学習相とを交互に扱う。 実験の結果, FOMOは最良と最終ロバストなテスト精度のギャップを大幅に減らし, 頑健なオーバーフィッティングを緩和することがわかった。
  論文  参考訳（メタデータ） (2024-02-18T23:14:40Z)
• Perturbation-Invariant Adversarial Training for Neural Ranking Models: Improving the Effectiveness-Robustness Trade-Off [107.35833747750446]
  正統な文書に不可避な摂動を加えることで 敵の例を作れます この脆弱性は信頼性に関する重大な懸念を生じさせ、NRMの展開を妨げている。 本研究では,NRMにおける有効・損耗トレードオフに関する理論的保証を確立する。
  論文  参考訳（メタデータ） (2023-12-16T05:38:39Z)
• Alleviating Robust Overfitting of Adversarial Training With Consistency Regularization [9.686724616328874]
  対戦訓練(AT)は、ディープニューラルネットワーク(DNN)を敵の攻撃から守る最も効果的な方法の1つであることが証明されている。 強靭性は特定の段階で急激に低下し、常にATの間に存在する。 半教師付き学習の一般的なテクニックである一貫性の正規化は、ATと同じような目標を持ち、堅牢なオーバーフィッティングを軽減するために使用できる。
  論文  参考訳（メタデータ） (2022-05-24T03:18:43Z)
• Sparsity Winning Twice: Better Robust Generalization from More Efficient Training [94.92954973680914]
  スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。 いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。 我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
  論文  参考訳（メタデータ） (2022-02-20T15:52:08Z)
• Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
  CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。 任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。 本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
  論文  参考訳（メタデータ） (2021-05-31T17:01:05Z)
• Consistency Regularization for Adversarial Robustness [88.65786118562005]
  adversarial trainingは、ディープニューラルネットワークの敵対的堅牢性を得るために最も成功した方法の1つである。 しかし、ATから得られる堅牢性の大幅な一般化ギャップは問題視されている。 本稿では,この問題に対処するためにデータ拡張手法について検討する。
  論文  参考訳（メタデータ） (2021-03-08T09:21:41Z)
• Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
  コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。 非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。 また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
  論文  参考訳（メタデータ） (2020-04-11T03:50:59Z)
• Adversarial Vertex Mixup: Toward Better Adversarially Robust Generalization [28.072758856453106]
  逆の例は、ニューラルネットワークに高い信頼性で誤った出力を発生させる。 我々は、敵対的訓練が、強固な一般化の観点から最適点をオーバーシュートし、AFO(Adversarial Feature Overfitting)につながることを示す。 本稿では,ソフトラベル付きデータ拡張手法としてAdversarial Vertex Mixup (AVmixup)を提案する。
  論文  参考訳（メタデータ） (2020-03-05T08:47:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。