論文の概要: Gradient Methods Provably Converge to Non-Robust Networks
- arxiv url: http://arxiv.org/abs/2202.04347v1
- Date: Wed, 9 Feb 2022 08:58:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-10 15:39:08.787835
- Title: Gradient Methods Provably Converge to Non-Robust Networks
- Title（参考訳）: 非ロバストネットワークへの勾配収束法
- Authors: Gal Vardi, Gilad Yehudai, Ohad Shamir
- Abstract要約: 逆数ネットワークでは、2LU$ Reperturbible gradient network は明らかに非ローバストである。
我々は、よく知られたマージンに対する暗黙の偏見が、非ロバストネットワークに対する偏見を引き起こすことを示した。
- 参考スコア（独自算出の注目度）: 40.83290846983707
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite a great deal of research, it is still unclear why neural networks are
so susceptible to adversarial examples. In this work, we identify natural
settings where depth-$2$ ReLU networks trained with gradient flow are provably
non-robust (susceptible to small adversarial $\ell_2$-perturbations), even when
robust networks that classify the training dataset correctly exist. Perhaps
surprisingly, we show that the well-known implicit bias towards margin
maximization induces bias towards non-robust networks, by proving that every
network which satisfies the KKT conditions of the max-margin problem is
non-robust.
- Abstract（参考訳）: 膨大な研究にもかかわらず、なぜニューラルネットワークが敵の例の影響を受けやすいのかは不明だ。
本研究では,学習用データセットを正しく分類するロバストなネットワークが存在する場合でも,勾配流を訓練した深さ2$のreluネットワークが非ロバスト(小さな敵である$\ell_2$-perturbation)であることを保証する。
おそらく驚くべきことに、マージン最大化に対するよく知られた暗黙の偏見は、最大マージン問題のKKT条件を満たす全てのネットワークが非ロバストであることを証明することによって、非ロバストネットワークに対する偏見を引き起こす。
関連論文リスト
- The Double-Edged Sword of Implicit Bias: Generalization vs. Robustness
in ReLU Networks [64.12052498909105]
本稿では,ReLUネットワークにおける勾配流の暗黙的バイアスが一般化と対角的ロバスト性に与える影響について検討する。
2層ReLUネットワークでは、勾配流は一般化された解に偏りがあるが、敵の例には非常に弱い。
論文 参考訳（メタデータ） (2023-03-02T18:14:35Z) - Adversarial Examples Exist in Two-Layer ReLU Networks for Low
Dimensional Linear Subspaces [24.43191276129614]
標準手法が非ロバストニューラルネットワークに繋がることを示す。
トレーニングアルゴリズムのスケールを縮小させるか、あるいは$L$正規化を加えることで、トレーニングされたネットワークが敵の摂動に対してより堅牢になることを示す。
論文 参考訳（メタデータ） (2023-03-01T19:10:05Z) - Computational Complexity of Learning Neural Networks: Smoothness and
Degeneracy [52.40331776572531]
ガウス入力分布下での学習深度3$ReLUネットワークはスムーズな解析フレームワークにおいても困難であることを示す。
この結果は, 局所擬似乱数発生器の存在についてよく研究されている。
論文 参考訳（メタデータ） (2023-02-15T02:00:26Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - The Unreasonable Effectiveness of Random Pruning: Return of the Most
Naive Baseline for Sparse Training [111.15069968583042]
ランダムプルーニングは、ニューラルネットワークのスパーシティを実現する最も単純な方法であることは間違いないが、トレーニング後のプルーニングやスパーストレーニングでは非競争的であると見なされている。
我々は、スクラッチからランダムに切断されたネットワークをスクラッチからスクラッチ的に訓練することで、その密度の高い等価性の性能に一致することを実証的に実証した。
以上の結果から,大規模なスパーストレーニングを行う余地はより大きいことが示唆され,スポーシティのメリットは慎重に設計されたプルーニングを超えて普遍的である可能性が示唆された。
論文 参考訳（メタデータ） (2022-02-05T21:19:41Z) - Robustness Certificates for Implicit Neural Networks: A Mixed Monotone
Contractive Approach [60.67748036747221]
暗黙のニューラルネットワークは、競合性能とメモリ消費の削減を提供する。
入力逆流の摂動に関して、それらは不安定なままである。
本稿では,暗黙的ニューラルネットワークのロバスト性検証のための理論的および計算的枠組みを提案する。
論文 参考訳（メタデータ） (2021-12-10T03:08:55Z) - Directional convergence and alignment in deep learning [38.73942298289583]
交差エントロピーと関連する分類損失の最小化は無限大であるが, ネットワーク重みは勾配流により方向収束することを示した。
この証明は、ReLU、最大プール、線形および畳み込み層を許容する深い均質ネットワークに対して成り立つ。
論文 参考訳（メタデータ） (2020-06-11T17:50:11Z) - Adversarial Robustness Guarantees for Random Deep Neural Networks [15.68430580530443]
逆の例は、正しく分類された入力に非常に近い誤った分類された入力です。
任意の$pge1$に対して、分類境界からの任意の入力の$ellp$距離は、入力の$ellp$ノルムの入力時間の次元の平方根の1つとしてスケールする。
この結果は、敵の例を理論的に理解する上での基本的な進歩であり、ネットワークアーキテクチャと敵の摂動に対する頑健性との関係を理論的に解明する道を開くものである。
論文 参考訳（メタデータ） (2020-04-13T13:07:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。