論文の概要: Width is Less Important than Depth in ReLU Neural Networks

• arxiv url: http://arxiv.org/abs/2202.03841v1
• Date: Tue, 8 Feb 2022 13:07:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-09 15:04:05.939982
• Title: Width is Less Important than Depth in ReLU Neural Networks
• Title（参考訳）: reluニューラルネットワークの幅は深さよりも重要ではない
• Authors: Gal Vardi, Gilad Yehudai, Ohad Shamir
• Abstract要約: 我々は,$mathbbRd$の入力を持つ任意のターゲットネットワークを,幅$O(d)$ネットワークで近似できることを示す。 結果は、有界重み付きネットワークの構築や、最大で$d+2$の幅を持つネットワークの構築に拡張される。
• 参考スコア（独自算出の注目度）: 40.83290846983707
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We solve an open question from Lu et al. (2017), by showing that any target network with inputs in $\mathbb{R}^d$ can be approximated by a width $O(d)$ network (independent of the target network's architecture), whose number of parameters is essentially larger only by a linear factor. In light of previous depth separation theorems, which imply that a similar result cannot hold when the roles of width and depth are interchanged, it follows that depth plays a more significant role than width in the expressive power of neural networks. We extend our results to constructing networks with bounded weights, and to constructing networks with width at most $d+2$, which is close to the minimal possible width due to previous lower bounds. Both of these constructions cause an extra polynomial factor in the number of parameters over the target network. We also show an exact representation of wide and shallow networks using deep and narrow networks which, in certain cases, does not increase the number of parameters over the target network.
• Abstract（参考訳）: Lu et al. (2017) は、$\mathbb{R}^d$ の入力を持つ任意の対象ネットワークを、(対象ネットワークのアーキテクチャに依存しない)幅$O(d)$ネットワークで近似できることを示した。 従来の深さ分離定理は、幅と深さの役割が入れ替わるときに同様の結果が得られないことを示しており、ニューラルネットワークの表現力において、深さが幅よりも重要な役割を果たすことが従う。 その結果は,境界重み付きネットワークの構築,最大幅が$d+2$のネットワークの構築に拡張される。 これら2つの構成は、ターゲットネットワーク上のパラメータ数に余分な多項式因子を引き起こす。 また、深いネットワークと狭いネットワークを用いて、対象ネットワーク上のパラメータ数が増加しないような、幅の広いネットワークと浅いネットワークの正確な表現を示す。

関連論文リスト

• Expressivity and Approximation Properties of Deep Neural Networks with ReLU$^k$ Activation [2.3020018305241337]
  本稿では、ReLU$k$Activation Function for $k geq 2$を用いたディープネットワークの表現性と近似特性について検討する。 ディープ ReLU$k$ ネットワークは効率的に近似できるが、ディープ ReLU$k$ ネットワークは高次を正確に表現することができる。
  論文  参考訳（メタデータ） (2023-12-27T09:11:14Z)
• Depthwise Hyperparameter Transfer in Residual Networks: Dynamics and Scaling Limit [48.291961660957384]
  我々は,畳み込み型ResNetやVision Transformersなどの残余アーキテクチャが,幅と深さにまたがる最適なハイパーパラメータの転送を示すことを示す実験を行った。 ニューラルネットワーク学習力学の動的平均場理論(DMFT)記述の最近の発展から、このResNetsのパラメータ化は、無限幅および無限深度制限で明確に定義された特徴学習を許容することを示す。
  論文  参考訳（メタデータ） (2023-09-28T17:20:50Z)
• Feature-Learning Networks Are Consistent Across Widths At Realistic Scales [72.27228085606147]
  様々なアーキテクチャやデータセットにわたる特徴学習ニューラルネットワークのダイナミクスに対する幅の影響について検討する。 トレーニングの初期、オンラインデータでトレーニングされた広範なニューラルネットワークは、損失曲線が同じであるだけでなく、トレーニング全体を通じてポイントワイドなテスト予測に一致している。 しかし、より狭いネットワークのアンサンブルは、単一のワイドネットワークよりも性能が劣っている。
  論文  参考訳（メタデータ） (2023-05-28T17:09:32Z)
• Width and Depth Limits Commute in Residual Networks [26.97391529844503]
  接続をスキップするディープニューラルネットワークにおいて、幅と深さを無限大にすると、その制限がどう取られるかに関わらず、同じ共分散構造が得られることを示す。 このことは、標準無限幅奥行きアプローチが、幅と同じ順序の深さのネットワークに対しても実用的な洞察を与える理由を説明する。 理論的な結果と良好な一致を示す広範囲なシミュレーションを行う。
  論文  参考訳（メタデータ） (2023-02-01T13:57:32Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich Regimes [75.59720049837459]
  無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。 有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
  論文  参考訳（メタデータ） (2022-12-23T04:48:04Z)
• Adversarial Examples in Multi-Layer Random ReLU Networks [39.797621513256026]
  逆例は独立したガウスパラメータを持つReLUネットワークに現れる。 ネットワーク内のボトルネック層は重要な役割を担っている。ある時点までの最小の幅は、その時点まで計算されたマッピングのスケールと感度を決定する。
  論文  参考訳（メタデータ） (2021-06-23T18:16:34Z)
• Size and Depth Separation in Approximating Natural Functions with Neural Networks [52.73592689730044]
  本稿では,ReLUネットワークを用いた自然関数の近似におけるサイズと深さの利点を示す。 我々は、そのような結果が$O(d)$を超えることを証明するための複雑性理論上の障壁を示す。 また、サイズ$O(d)$のネットワークで近似できる明示的な自然関数も示している。
  論文  参考訳（メタデータ） (2021-01-30T21:30:11Z)
• Neural Networks with Small Weights and Depth-Separation Barriers [40.66211670342284]
  一定の深さでは、既存の結果が2ドルと3ドルに制限され、より深い深さで結果を達成することが重要な問題となっている。 我々はフィードフォワードのReLUネットワークに注力し、その効果を4ドル以上の金額で証明する上での基本的な障壁を証明している。
  論文  参考訳（メタデータ） (2020-05-31T21:56:17Z)
• Quasi-Equivalence of Width and Depth of Neural Networks [10.365556153676538]
  人工ニューラルネットワークの設計が指向性を持つかどうかを検討する。 De Morgan法に触発されて、ReLUネットワークの幅と深さの間に準等価性を確立する。 以上の結果から,深層ネットワークは任意に小さな誤差を被る広い等価性を有することがわかった。
  論文  参考訳（メタデータ） (2020-02-06T21:17:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。