論文の概要: Adversarial Examples in Multi-Layer Random ReLU Networks
- arxiv url: http://arxiv.org/abs/2106.12611v1
- Date: Wed, 23 Jun 2021 18:16:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-25 15:21:28.082329
- Title: Adversarial Examples in Multi-Layer Random ReLU Networks
- Title（参考訳）: 多層ランダムreluネットワークにおける逆例
- Authors: Peter L. Bartlett, S\'ebastien Bubeck and Yeshwanth Cherapanamjeri
- Abstract要約: 逆例は独立したガウスパラメータを持つReLUネットワークに現れる。
ネットワーク内のボトルネック層は重要な役割を担っている。ある時点までの最小の幅は、その時点まで計算されたマッピングのスケールと感度を決定する。
- 参考スコア（独自算出の注目度）: 39.797621513256026
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the phenomenon of adversarial examples in ReLU networks with
independent gaussian parameters. For networks of constant depth and with a
large range of widths (for instance, it suffices if the width of each layer is
polynomial in that of any other layer), small perturbations of input vectors
lead to large changes of outputs. This generalizes results of Daniely and
Schacham (2020) for networks of rapidly decreasing width and of Bubeck et al
(2021) for two-layer networks. The proof shows that adversarial examples arise
in these networks because the functions that they compute are very close to
linear. Bottleneck layers in the network play a key role: the minimal width up
to some point in the network determines scales and sensitivities of mappings
computed up to that point. The main result is for networks with constant depth,
but we also show that some constraint on depth is necessary for a result of
this kind, because there are suitably deep networks that, with constant
probability, compute a function that is close to constant.
- Abstract（参考訳）: 独立ガウスパラメータを持つReLUネットワークにおける逆例の現象を考察する。
一定の深さと広い幅のネットワーク(例えば、各層の幅が他の層の多項式であれば十分)に対して、入力ベクトルの小さな摂動は出力の大きな変化をもたらす。
これにより、急速に幅を減らしたネットワークに対する Daniely と Schacham (2020) の結果と、2層ネットワークに対する Bubeck et al (2021) の結果が一般化される。
この証明は、それらが計算する関数が線形に非常に近いため、これらのネットワークで逆例が生じることを示している。
ネットワーク内のいくつかのポイントまでの最小の幅は、そのポイントまで計算されたマッピングのスケールと感度を決定する。
主な結果は、深さが一定であるネットワークに対してであるが、この種の結果には深さの制約が必要であり、それは、一定の確率で定数に近い関数を計算する、適切なディープネットワークが存在するためである。
関連論文リスト
- Asymptotics of Learning with Deep Structured (Random) Features [9.366617422860543]
機能マップの大規模なクラスでは、読み出しレイヤの学習に伴うテストエラーの厳密な特徴付けを提供しています。
いくつかのケースでは、勾配降下下で訓練された深部有限幅ニューラルネットワークによって学習された特徴写像をキャプチャできる。
論文 参考訳（メタデータ） (2024-02-21T18:35:27Z) - Network Degeneracy as an Indicator of Training Performance: Comparing
Finite and Infinite Width Angle Predictions [3.04585143845864]
ネットワークの深層化が進むにつれ、ネットワークは縮退しやすくなっている。
完全に接続されたReLUネットワークアーキテクチャのデジェネリシーのレベルを正確に予測できる単純なアルゴリズムを用いる。
論文 参考訳（メタデータ） (2023-06-02T13:02:52Z) - Feature-Learning Networks Are Consistent Across Widths At Realistic
Scales [72.27228085606147]
様々なアーキテクチャやデータセットにわたる特徴学習ニューラルネットワークのダイナミクスに対する幅の影響について検討する。
トレーニングの初期、オンラインデータでトレーニングされた広範なニューラルネットワークは、損失曲線が同じであるだけでなく、トレーニング全体を通じてポイントワイドなテスト予測に一致している。
しかし、より狭いネットワークのアンサンブルは、単一のワイドネットワークよりも性能が劣っている。
論文 参考訳（メタデータ） (2023-05-28T17:09:32Z) - Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。
線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。
また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文 参考訳（メタデータ） (2022-12-29T20:57:46Z) - The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich
Regimes [75.59720049837459]
無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。
有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
論文 参考訳（メタデータ） (2022-12-23T04:48:04Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - Width is Less Important than Depth in ReLU Neural Networks [40.83290846983707]
我々は,$mathbbRd$の入力を持つ任意のターゲットネットワークを,幅$O(d)$ネットワークで近似できることを示す。
結果は、有界重み付きネットワークの構築や、最大で$d+2$の幅を持つネットワークの構築に拡張される。
論文 参考訳（メタデータ） (2022-02-08T13:07:22Z) - Doubly infinite residual neural networks: a diffusion process approach [8.642603456626393]
ディープResNetは望ましくないフォワードプロパゲーション特性に悩まされないことを示す。
我々は2つの無限完全接続 ResNet に焦点を当て、i.i.d を考える。
我々の結果は、未スケールのネットワークのパラメータが i.d. であり、残余ブロックが浅い場合、ResNetの2倍の表現力に制限があることを示している。
論文 参考訳（メタデータ） (2020-07-07T07:45:34Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z) - Quasi-Equivalence of Width and Depth of Neural Networks [10.365556153676538]
人工ニューラルネットワークの設計が指向性を持つかどうかを検討する。
De Morgan法に触発されて、ReLUネットワークの幅と深さの間に準等価性を確立する。
以上の結果から,深層ネットワークは任意に小さな誤差を被る広い等価性を有することがわかった。
論文 参考訳（メタデータ） (2020-02-06T21:17:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。