論文の概要: Why Adversarial Training of ReLU Networks Is Difficult?

• arxiv url: http://arxiv.org/abs/2205.15130v1
• Date: Mon, 30 May 2022 14:22:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-31 13:23:30.503872
• Title: Why Adversarial Training of ReLU Networks Is Difficult?
• Title（参考訳）: reluネットワークのadversarial trainingがなぜ難しいのか?
• Authors: Xu Cheng, Hao Zhang, Yue Xin, Wen Shen, Jie Ren, Quanshi Zhang
• Abstract要約: 本稿では,ReLUネットワーク上での逆摂動の解析解を数学的に導出する。 逆摂動は、入力の損失 w.r.t のヘッセン行列のいくつかのトップランク固有値に対応する固有ベクトルを強化する傾向があることを示す。 対角トレーニングは、損失w.r.t.ネットワークパラメータのヘッセン行列の影響を強くするので、少数のサンプルの方向に沿ってトレーニングが振動する可能性が高くなる。
• 参考スコア（独自算出の注目度）: 28.648632010874373
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper mathematically derives an analytic solution of the adversarial perturbation on a ReLU network, and theoretically explains the difficulty of adversarial training. Specifically, we formulate the dynamics of the adversarial perturbation generated by the multi-step attack, which shows that the adversarial perturbation tends to strengthen eigenvectors corresponding to a few top-ranked eigenvalues of the Hessian matrix of the loss w.r.t. the input. We also prove that adversarial training tends to strengthen the influence of unconfident input samples with large gradient norms in an exponential manner. Besides, we find that adversarial training strengthens the influence of the Hessian matrix of the loss w.r.t. network parameters, which makes the adversarial training more likely to oscillate along directions of a few samples, and boosts the difficulty of adversarial training. Crucially, our proofs provide a unified explanation for previous findings in understanding adversarial training.
• Abstract（参考訳）: 本稿では,ReLUネットワーク上での対向摂動の解析解を数学的に導き,対向学習の難しさを理論的に説明する。 具体的には、多段階攻撃によって生じる逆摂動のダイナミクスを定式化し、その逆摂動が、入力の損失 w.r.t. のヘッセン行列のいくつかのトップランク固有値に対応する固有ベクトルを強化する傾向があることを示す。 また,逆行訓練は指数的手法で大きな勾配ノルムを持つ信頼できない入力サンプルの影響を強める傾向があることも証明した。 さらに, 対向トレーニングは, 損失w.r.t.ネットワークパラメータのヘッセン行列の影響を強くし, 対向トレーニングが少数のサンプルの方向に沿って振動しやすくし, 対向トレーニングの難易度を高める。 重要な点として,我々の証明は,敵の訓練を理解する上でのこれまでの知見の統一的な説明を提供する。

関連論文リスト

• Conflict-Aware Adversarial Training [29.804312958830636]
  我々は、重み付け平均法は、標準的な性能と対向ロバスト性に対する最良のトレードオフを提供していないと論じる。 テキストbf競合認識適応訓練(CA-AT)という,標準と対向的損失の凸結合のための競合認識因子を用いた対向的トレーニングのための新たなトレードオフパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-21T23:44:03Z)
• Adversarial Training Can Provably Improve Robustness: Theoretical Analysis of Feature Learning Process Under Structured Data [38.44734564565478]
  本稿では, 特徴学習理論の観点から, 対角的例と対角的学習アルゴリズムの理論的理解を提供する。 本手法は,頑健な特徴学習を効果的に強化し,非ロバストな特徴学習を抑えることができることを示す。
  論文  参考訳（メタデータ） (2024-10-11T03:59:49Z)
• Perturbation-Invariant Adversarial Training for Neural Ranking Models: Improving the Effectiveness-Robustness Trade-Off [107.35833747750446]
  正統な文書に不可避な摂動を加えることで 敵の例を作れます この脆弱性は信頼性に関する重大な懸念を生じさせ、NRMの展開を妨げている。 本研究では,NRMにおける有効・損耗トレードオフに関する理論的保証を確立する。
  論文  参考訳（メタデータ） (2023-12-16T05:38:39Z)
• Improved Adversarial Training Through Adaptive Instance-wise Loss Smoothing [5.1024659285813785]
  敵の訓練は、このような敵の攻撃に対する最も成功した防御であった。 本稿では,新たな対人訓練手法を提案する。 本手法は,$ell_infty$-norm制約攻撃に対する最先端のロバスト性を実現する。
  論文  参考訳（メタデータ） (2023-03-24T15:41:40Z)
• Adversarial Pretraining of Self-Supervised Deep Networks: Past, Present and Future [132.34745793391303]
  本稿では,畳み込みニューラルネットワークと視覚変換器の両方を含む自己教師型深層ネットワークの対角的事前学習について検討する。 対戦相手を入力レベルと特徴レベルのいずれかの事前学習モデルに組み込むには、既存のアプローチは2つのグループに大別される。
  論文  参考訳（メタデータ） (2022-10-23T13:14:06Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• On the Impact of Hard Adversarial Instances on Overfitting in Adversarial Training [72.95029777394186]
  敵の訓練は、敵の攻撃に対してモデルを強固にするための一般的な方法である。 トレーニングインスタンスの観点から,この現象を考察する。 逆行訓練における一般化性能の低下は, 強行訓練に適合するモデルが試みた結果であることを示す。
  論文  参考訳（メタデータ） (2021-12-14T12:19:24Z)
• Understanding the Logit Distributions of Adversarially-Trained Deep Neural Networks [6.439477789066243]
  敵の防御は、敵の攻撃による入力摂動に不変であるように、ディープニューラルネットワークを訓練する。 敵の攻撃を緩和するためには敵の訓練が成功しているが、敵の訓練を受けた(AT)モデルと標準モデルとの行動的差異はいまだに理解されていない。 対向性学習に不可欠な3つのロジット特性を同定する。
  論文  参考訳（メタデータ） (2021-08-26T19:09:15Z)
• On the Generalization Properties of Adversarial Training [21.79888306754263]
  本稿では,汎用的対数学習アルゴリズムの一般化性能について検討する。 滑らかさとL1のペナル化がモデルの対向的堅牢性をどのように改善するかを示すために、一連の数値的研究が行われた。
  論文  参考訳（メタデータ） (2020-08-15T02:32:09Z)
• On the Loss Landscape of Adversarial Training: Identifying Challenges and How to Overcome Them [57.957466608543676]
  機械学習モデルの損失景観に及ぼす対人訓練の影響を解析する。 曲率の増加と散乱勾配の増大により, 対向損失景観は最適化にはあまり好ましくないことを示す。
  論文  参考訳（メタデータ） (2020-06-15T13:50:23Z)
• Over-parameterized Adversarial Training: An Analysis Overcoming the Curse of Dimensionality [74.0084803220897]
  逆行訓練は、逆行性摂動に対する神経網の堅牢性を与える一般的な方法である。 自然仮定とReLUアクティベーションの下で, 指数的ではなく, 低ロバストトレーニング損失に対する収束性を示す。
  論文  参考訳（メタデータ） (2020-02-16T20:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。