Fugu-MT 論文翻訳(概要): Most ReLU Networks Suffer from $\ell^2$ Adversarial Perturbations

論文の概要: Most ReLU Networks Suffer from $\ell^2$ Adversarial Perturbations

arxiv url: http://arxiv.org/abs/2010.14927v1
Date: Wed, 28 Oct 2020 12:42:22 GMT
ステータス: 処理完了
システム内更新日: 2022-10-02 05:02:38.223079
Title: Most ReLU Networks Suffer from $\ell^2$ Adversarial Perturbations
Title（参考訳）: ほとんどのReLUネットワークは$\ell^2$の逆摂動から生じる
Authors: Amit Daniely and Hadas Schacham
Abstract要約: 本稿では,各層で寸法が減少するランダム重み付きReLUネットワークについて考察する。ほとんどの例では、ユークリッド距離が$Oleft(frac|x|sqrtdright)$で、$d$は入力次元である。
参考スコア（独自算出の注目度）: 27.374589803147025
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We consider ReLU networks with random weights, in which the dimension decreases at each layer. We show that for most such networks, most examples $x$ admit an adversarial perturbation at an Euclidean distance of $O\left(\frac{\|x\|}{\sqrt{d}}\right)$, where $d$ is the input dimension. Moreover, this perturbation can be found via gradient flow, as well as gradient descent with sufficiently small steps. This result can be seen as an explanation to the abundance of adversarial examples, and to the fact that they are found via gradient descent.
Abstract（参考訳）: 本稿では,各層で寸法が減少するランダム重み付きReLUネットワークについて考察する。そのようなネットワークのほとんどにおいて、ほとんどの例では、x$ はユークリッド距離 $o\left(\frac{\|x\|}{\sqrt{d}}\right)$ で逆摂動を認め、ここで $d$ は入力次元である。さらに、この摂動は、十分に小さなステップの勾配降下と同様に、勾配流を介して見られる。この結果は、敵の例の豊富さと、それらが勾配降下によって見つかるという事実の説明と見ることができる。

関連論文リスト

Implicit Hypersurface Approximation Capacity in Deep ReLU Networks [0.0]
本稿では,ReLUアクティベーションを用いたディープフィードフォワードニューラルネットワークの幾何近似理論を開発する。幅$d+1$の深い完全連結ReLUネットワークは、そのゼロ輪郭として暗黙的に近似を構成することができることを示す。
論文参考訳（メタデータ） (2024-07-04T11:34:42Z)
Hamiltonian Mechanics of Feature Learning: Bottleneck Structure in Leaky ResNets [58.460298576330835]
我々は、ResNets(tildeLtoinfty$)とFully-Connected nets(tildeLtoinfty$)の間を補間するLeaky ResNetsを研究する。無限深度極限において、'representation geodesics'の$A_p$:continuous paths in representation space(NeuralODEsに類似)を研究する。この直感を利用して、以前の研究で見られるように、ボトルネック構造の出現を説明する。
論文参考訳（メタデータ） (2024-05-27T18:15:05Z)
How to guess a gradient [68.98681202222664]
我々は、勾配が以前考えられていたよりもより構造化されていることを示す。この構造をエクスプロイトすると、勾配のない最適化スキームが大幅に改善される。厳密な勾配の最適化と勾配の推測の間に大きなギャップを克服する上での新たな課題を強調した。
論文参考訳（メタデータ） (2023-12-07T21:40:44Z)
Geometric structure of Deep Learning networks and construction of global ${\mathcal L}^2$ minimizers [1.189367612437469]
我々は低パラメータ深層学習(DL)ネットワークにおける$mathcalL2$コスト関数の局所的および大域的最小化を明示的に決定する。
論文参考訳（メタデータ） (2023-09-19T14:20:55Z)
The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks [53.95175206863992]
本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
論文参考訳（メタデータ） (2023-06-30T09:17:39Z)
Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文参考訳（メタデータ） (2022-10-13T15:09:54Z)
Gradient Descent Optimizes Infinite-Depth ReLU Implicit Networks with Linear Widths [25.237054775800164]
本稿では非線形ReLU活性化暗黙ネットワークにおける勾配流と勾配勾配の収束について検討する。 GF と GD のどちらも,暗黙的ネットワークの幅$m$ が標本サイズでテキストリニアであれば,線形速度で大域最小値に収束することが証明される。
論文参考訳（メタデータ） (2022-05-16T06:07:56Z)
Implicit Regularization Towards Rank Minimization in ReLU Networks [34.41953136999683]
ニューラルネットワークにおける暗黙の正規化とランク最小化の関係について検討する。我々は非線形ReLUネットワークに焦点をあて、いくつかの新しい正および負の結果を提供する。
論文参考訳（メタデータ） (2022-01-30T09:15:44Z)
On the Proof of Global Convergence of Gradient Descent for Deep ReLU Networks with Linear Widths [9.42944841156154]
我々は、すべての隠れた層の幅が少なくとも$Omega(N8)$$$(N$はトレーニングサンプルの数)である場合、勾配勾配が大域的最適に収束することを示した。
論文参考訳（メタデータ） (2021-01-24T00:29:19Z)
Beyond Lazy Training for Over-parameterized Tensor Decomposition [69.4699995828506]
過度なパラメータ化対象の勾配勾配は遅延学習体制を超え、データ中の特定の低ランク構造を利用する可能性があることを示す。以上の結果から,過パラメータ化対象の勾配勾配は遅延学習体制を超え,データ中の特定の低ランク構造を利用する可能性が示唆された。
論文参考訳（メタデータ） (2020-10-22T00:32:12Z)
A deep network construction that adapts to intrinsic dimensionality beyond the domain [79.23797234241471]
本稿では,ReLUを活性化したディープネットワークを用いて,2層合成の近似を$f(x) = g(phi(x))$で検討する。例えば、低次元埋め込み部分多様体への射影と、低次元集合の集合への距離である。
論文参考訳（メタデータ） (2020-08-06T09:50:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。