論文の概要: Expressivity of Shallow and Deep Neural Networks for Polynomial
Approximation
- arxiv url: http://arxiv.org/abs/2303.03544v2
- Date: Tue, 16 May 2023 08:52:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-17 18:37:38.518028
- Title: Expressivity of Shallow and Deep Neural Networks for Polynomial
Approximation
- Title(参考訳): 多項式近似のための浅層および深層ニューラルネットワークの表現性
- Authors: Itai Shapira
- Abstract要約: 一般コンパクト領域上の積関数を近似する浅層ネットワークの複雑さの指数的下界を確立する。
また、この下界は単位立方体上の正規化リプシッツ単項数には適用されないことを示した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This study explores the number of neurons required for a Rectified Linear
Unit (ReLU) neural network to approximate multivariate monomials. We establish
an exponential lower bound on the complexity of any shallow network
approximating the product function over a general compact domain. We also
demonstrate this lower bound doesn't apply to normalized Lipschitz monomials
over the unit cube. These findings suggest that shallow ReLU networks
experience the curse of dimensionality when expressing functions with a
Lipschitz parameter scaling with the dimension of the input, and that the
expressive power of neural networks is more dependent on their depth rather
than overall complexity.
- Abstract(参考訳): 本研究では,Rectified Linear Unit (ReLU) ニューラルネットワークに必要なニューロン数について検討した。
我々は、一般コンパクト領域上の積関数を近似する任意の浅層ネットワークの複雑性の指数的下界を確立する。
また、この下界は単位立方体上の正規化リプシッツ単体には適用されないことを示した。
これらの結果から, 浅部ReLUネットワークは, リプシッツパラメータのスケーリングによる関数表現時の次元性の呪いを経験し, ニューラルネットワークの表現力は全体的な複雑さよりも深度に依存することが示唆された。
関連論文リスト
- Asymptotics of Learning with Deep Structured (Random) Features [8.593775080183708]
機能マップの大規模なクラスでは、読み出しレイヤの学習に伴うテストエラーの厳密な特徴付けを提供しています。
いくつかのケースでは、勾配降下下で訓練された深部有限幅ニューラルネットワークによって学習された特徴写像をキャプチャできる。
論文 参考訳(メタデータ) (2024-02-21T18:35:27Z) - Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。
その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。
トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
論文 参考訳(メタデータ) (2023-05-25T14:17:15Z) - Exploring the Approximation Capabilities of Multiplicative Neural
Networks for Smooth Functions [9.936974568429173]
対象関数のクラスは、一般化帯域制限関数とソボレフ型球である。
以上の結果から、乗法ニューラルネットワークは、これらの関数をはるかに少ない層とニューロンで近似できることを示した。
これらの結果は、乗法ゲートが標準フィードフォワード層より優れ、ニューラルネットワーク設計を改善する可能性があることを示唆している。
論文 参考訳(メタデータ) (2023-01-11T17:57:33Z) - Simultaneous approximation of a smooth function and its derivatives by
deep neural networks with piecewise-polynomial activations [2.15145758970292]
我々は、H'olderノルムの所定の近似誤差まで、任意のH'older滑らかな関数を近似するために、ディープニューラルネットワークに必要な深さ、幅、間隔を導出する。
後者の機能は、多くの統計および機械学習アプリケーションにおける一般化エラーを制御するために不可欠である。
論文 参考訳(メタデータ) (2022-06-20T01:18:29Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳(メタデータ) (2022-05-18T16:57:10Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳(メタデータ) (2021-07-31T10:25:26Z) - Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。
最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文 参考訳(メタデータ) (2021-06-07T10:18:54Z) - The Representation Power of Neural Networks: Breaking the Curse of
Dimensionality [0.0]
浅層および深層ニューラルネットワークの量に対する上限を証明します。
我々はさらに、これらの境界がコロボフ函数を近似するために必要となる連続関数近似器の最小パラメータ数にほぼ一致することを証明した。
論文 参考訳(メタデータ) (2020-12-10T04:44:07Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳(メタデータ) (2020-06-16T21:56:22Z) - Measuring Model Complexity of Neural Networks with Curve Activation
Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。
ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。
我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文 参考訳(メタデータ) (2020-06-16T07:38:06Z) - Approximation in shift-invariant spaces with deep ReLU neural networks [7.7084107194202875]
拡張シフト不変空間における近似関数に対する深部ReLUニューラルネットワークの表現力について検討する。
近似誤差境界は、ニューラルネットワークの幅と深さに対して推定される。
論文 参考訳(メタデータ) (2020-05-25T07:23:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。