論文の概要: Over-parameterized Adversarial Training: An Analysis Overcoming the Curse of Dimensionality

• arxiv url: http://arxiv.org/abs/2002.06668v2
• Date: Mon, 24 Feb 2020 03:10:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-31 17:50:55.756920
• Title: Over-parameterized Adversarial Training: An Analysis Overcoming the Curse of Dimensionality
• Title（参考訳）: 過パラメタライズされた対人訓練:次元の曲線を克服する分析
• Authors: Yi Zhang, Orestis Plevrakis, Simon S. Du, Xingguo Li, Zhao Song, Sanjeev Arora
• Abstract要約: 逆行訓練は、逆行性摂動に対する神経網の堅牢性を与える一般的な方法である。 自然仮定とReLUアクティベーションの下で, 指数的ではなく, 低ロバストトレーニング損失に対する収束性を示す。
• 参考スコア（独自算出の注目度）: 74.0084803220897
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training is a popular method to give neural nets robustness against adversarial perturbations. In practice adversarial training leads to low robust training loss. However, a rigorous explanation for why this happens under natural conditions is still missing. Recently a convergence theory for standard (non-adversarial) supervised training was developed by various groups for {\em very overparametrized} nets. It is unclear how to extend these results to adversarial training because of the min-max objective. Recently, a first step towards this direction was made by Gao et al. using tools from online learning, but they require the width of the net to be \emph{exponential} in input dimension $d$, and with an unnatural activation function. Our work proves convergence to low robust training loss for \emph{polynomial} width instead of exponential, under natural assumptions and with the ReLU activation. Key element of our proof is showing that ReLU networks near initialization can approximate the step function, which may be of independent interest.
• Abstract（参考訳）: 逆行訓練は、逆行性摂動に対する神経網の堅牢性を与える一般的な方法である。 実のところ、敵対的なトレーニングは、低い堅牢なトレーニング損失につながる。 しかし、なぜ自然条件下で起こるのかという厳密な説明はいまだに欠けている。 近年、標準(非敵対的)教師付き訓練のための収束理論が様々なグループによって開発された。 min-maxの目的のため、これらの結果を敵のトレーニングに拡張する方法は明らかでない。 近年,オンライン学習のツールを用いたGaoらによって,この方向への第一歩が達成されているが,入力次元$d$のemph{exponential}と,不自然なアクティベーション機能を備えたネットの幅を必要とする。 我々の研究は、自然仮定とReLUアクティベーションの下で指数関数ではなく、 \emph{polynomial} の幅に対する低ロバストなトレーニング損失への収束を証明している。 我々の証明の鍵となる要素は、初期化に近いReLUネットワークがステップ関数を近似できることを示すことである。

関連論文リスト

• Deep Neural Network Initialization with Sparsity Inducing Activations [5.437298646956505]
  広幅ガウス過程の限界を用いて、隠れ出力の空間性を引き起こす非線形活性化の挙動を解析する。 未報告のトレーニング不安定性は、隠蔽層スパリフィケーションの最も自然な候補の2つとして証明されている。 この不安定性は、関連するガウス過程の分散写像の形状によって規定されたレベルにおいて、非線形活性化度をクリップすることで克服されることを示す。
  論文  参考訳（メタデータ） (2024-02-25T20:11:40Z)
• Initialization Matters for Adversarial Transfer Learning [61.89451332757625]
  我々は、逆向きに頑健な事前訓練モデルの必要性を発見する。 本稿では, 対向線形探索により得られる重み付き線形ヘッドを初期化する対向微調整のためのロバスト線形初期化法(RoLI)を提案する。 5つの異なる画像分類データセットにおいて,RoLIの有効性を実証し,新しい最先端結果を得た。
  論文  参考訳（メタデータ） (2023-12-10T00:51:05Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Mixing between the Cross Entropy and the Expectation Loss Terms [89.30385901335323]
  クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。 最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。 実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
  論文  参考訳（メタデータ） (2021-09-12T23:14:06Z)
• On the Explicit Role of Initialization on the Convergence and Implicit Bias of Overparametrized Linear Networks [1.0323063834827415]
  勾配流下で訓練された単層線形ネットワークの新たな解析法を提案する。 正方形損失はその最適値に指数関数的に収束することを示す。 我々は、トレーニングされたネットワークとmin-norm解の間の距離に基づいて、新しい非漸近上界を導出する。
  論文  参考訳（メタデータ） (2021-05-13T15:13:51Z)
• Convergence dynamics of Generative Adversarial Networks: the dual metric flows [0.0]
  機械学習におけるGenerative Adversarial Networksの収束性について検討する。 学習速度の制限について検討し,単一ネットワーク学習と同様にgan学習ダイナミクスはある程度の限界ダイナミクスまで消失する傾向があることを示した。
  論文  参考訳（メタデータ） (2020-12-18T18:00:12Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)
• Do We Need Zero Training Loss After Achieving Zero Training Error? [76.44358201918156]
  本研究では,遠心分離法(Emphflooding)と呼ばれる直接解法を提案する。 本研究では, 浸水により性能が向上し, 副産物として, 試験損失の2重降下曲線が誘導されることを実験的に示す。
  論文  参考訳（メタデータ） (2020-02-20T12:50:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。