論文の概要: Adversarial Examples Exist in Two-Layer ReLU Networks for Low Dimensional Data Manifolds

• arxiv url: http://arxiv.org/abs/2303.00783v1
• Date: Wed, 1 Mar 2023 19:10:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-03 17:05:09.883679
• Title: Adversarial Examples Exist in Two-Layer ReLU Networks for Low Dimensional Data Manifolds
• Title（参考訳）: 低次元データマニフォールドのための2層ReLUネットワークにおける逆例
• Authors: Odelia Melamed, Gilad Yehudai, Gal Vardi
• Abstract要約: 標準手法が非ロバストニューラルネットワークに繋がることを示す。 トレーニングアルゴリズムのスケールを縮小させるか、あるいは$L$正規化を加えることで、トレーニングされたネットワークが敵の摂動に対してより堅牢になることを示す。
• 参考スコア（独自算出の注目度）: 13.986963122264633
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite a great deal of research, it is still not well-understood why trained neural networks are highly vulnerable to adversarial examples. In this work we focus on two-layer neural networks trained using data which lie on a low dimensional linear subspace. We show that standard gradient methods lead to non-robust neural networks, namely, networks which have large gradients in directions orthogonal to the data subspace, and are susceptible to small adversarial $L_2$-perturbations in these directions. Moreover, we show that decreasing the initialization scale of the training algorithm, or adding $L_2$ regularization, can make the trained network more robust to adversarial perturbations orthogonal to the data.
• Abstract（参考訳）: 大量の研究にもかかわらず、トレーニングされたニューラルネットワークが敵の例に非常に弱い理由はまだよく理解されていない。 本研究では,低次元線形部分空間上のデータを用いて学習した2層ニューラルネットワークに着目した。 標準勾配法は、非ロバストニューラルネットワーク、すなわち、データ部分空間に直交する方向に大きな勾配を持ち、これらの方向の小さな逆数$l_2$-摂動の影響を受けやすいネットワークに繋がることを示す。 さらに,トレーニングアルゴリズムの初期化スケールの縮小,あるいは$l_2$正規化の追加により,データに直交する逆摂動に対して,トレーニングネットワークがより堅牢になることを示す。

関連論文リスト

• ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
  この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。 我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
  論文  参考訳（メタデータ） (2023-05-24T22:10:12Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Reduced Order Modeling using Shallow ReLU Networks with Grassmann Layers [0.0]
  本稿では,構造化ニューラルネットワークを用いた方程式系の非線形モデル低減法を提案する。 本稿では,ニューラルネットワークの近似に適さないデータスカース方式の科学的問題に対して,本手法が適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-12-17T21:35:06Z)
• Align, then memorise: the dynamics of learning with feedback alignment [12.587037358391418]
  直接フィードバックアライメント(DFA)は、ディープニューラルネットワークのトレーニングのためのユビキタスバックプロパゲーションアルゴリズムの効率的な代替手段である。 DFAはTransformersのような最先端モデルのトレーニングに成功したが、畳み込みネットワークのトレーニングには失敗している。 本稿では,DFAの成功に関する理論を提案する。
  論文  参考訳（メタデータ） (2020-11-24T22:21:27Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)
• Avoiding Spurious Local Minima in Deep Quadratic Networks [0.0]
  ニューラルアクティベーション機能を持つネットワークにおける平均2乗非線形誤差の景観を特徴付ける。 2次アクティベーションを持つ深層ニューラルネットワークは、類似した景観特性の恩恵を受けることが証明された。
  論文  参考訳（メタデータ） (2019-12-31T22:31:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。