論文の概要: Expressivity of Shallow and Deep Neural Networks for Polynomial
Approximation
- arxiv url: http://arxiv.org/abs/2303.03544v1
- Date: Mon, 6 Mar 2023 23:01:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-08 17:02:40.844630
- Title: Expressivity of Shallow and Deep Neural Networks for Polynomial
Approximation
- Title(参考訳): 多項式近似のための浅層および深層ニューラルネットワークの表現性
- Authors: Itai Shapira
- Abstract要約: 一般コンパクト領域上の積関数 $vecx から prod_i=1d x_i$ に近似する任意の浅いネットワークの複雑さに対する指数的下界を確立する。
これらの結果から, 浅部ReLUネットワークは, リプシッツパラメータのスケーリングと入力の次元を表わす関数を表現する際に, 次元性の呪いに悩まされていることが示唆された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We analyze the number of neurons that a ReLU neural network needs to
approximate multivariate monomials. We establish an exponential lower bound for
the complexity of any shallow network that approximates the product function
$\vec{x} \to \prod_{i=1}^d x_i$ on a general compact domain. Furthermore, we
prove that this lower bound does not hold for normalized O(1)-Lipschitz
monomials (or equivalently, by restricting to the unit cube). These results
suggest shallow ReLU networks suffer from the curse of dimensionality when
expressing functions with a Lipschitz parameter scaling with the dimension of
the input, and that the expressive power of neural networks lies in their depth
rather than the overall complexity.
- Abstract(参考訳): reluニューラルネットワークが多変量モノミアルを近似する必要があるニューロンの数を分析する。
一般コンパクト領域上の積函数 $\vec{x} \to \prod_{i=1}^d x_i$ を近似する任意の浅いネットワークの複雑性に対する指数的下界を確立する。
さらに、この下界が正規化された O(1)-Lipschitz 単項(または、単位立方体に制限することで)に対して成り立たないことを証明する。
これらの結果から,Lipschitzパラメータによる関数のスケーリングにおいて,浅部ReLUネットワークは次元性の呪いに悩まされ,ニューラルネットワークの表現力は全体的な複雑さよりも深部にあることが示唆された。
関連論文リスト
- Asymptotics of Learning with Deep Structured (Random) Features [8.593775080183708]
機能マップの大規模なクラスでは、読み出しレイヤの学習に伴うテストエラーの厳密な特徴付けを提供しています。
いくつかのケースでは、勾配降下下で訓練された深部有限幅ニューラルネットワークによって学習された特徴写像をキャプチャできる。
論文 参考訳(メタデータ) (2024-02-21T18:35:27Z) - Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。
その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。
トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
論文 参考訳(メタデータ) (2023-05-25T14:17:15Z) - Exploring the Approximation Capabilities of Multiplicative Neural
Networks for Smooth Functions [9.936974568429173]
対象関数のクラスは、一般化帯域制限関数とソボレフ型球である。
以上の結果から、乗法ニューラルネットワークは、これらの関数をはるかに少ない層とニューロンで近似できることを示した。
これらの結果は、乗法ゲートが標準フィードフォワード層より優れ、ニューラルネットワーク設計を改善する可能性があることを示唆している。
論文 参考訳(メタデータ) (2023-01-11T17:57:33Z) - Simultaneous approximation of a smooth function and its derivatives by
deep neural networks with piecewise-polynomial activations [2.15145758970292]
我々は、H'olderノルムの所定の近似誤差まで、任意のH'older滑らかな関数を近似するために、ディープニューラルネットワークに必要な深さ、幅、間隔を導出する。
後者の機能は、多くの統計および機械学習アプリケーションにおける一般化エラーを制御するために不可欠である。
論文 参考訳(メタデータ) (2022-06-20T01:18:29Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳(メタデータ) (2022-05-18T16:57:10Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳(メタデータ) (2021-07-31T10:25:26Z) - Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。
最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文 参考訳(メタデータ) (2021-06-07T10:18:54Z) - The Representation Power of Neural Networks: Breaking the Curse of
Dimensionality [0.0]
浅層および深層ニューラルネットワークの量に対する上限を証明します。
我々はさらに、これらの境界がコロボフ函数を近似するために必要となる連続関数近似器の最小パラメータ数にほぼ一致することを証明した。
論文 参考訳(メタデータ) (2020-12-10T04:44:07Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳(メタデータ) (2020-06-16T21:56:22Z) - Measuring Model Complexity of Neural Networks with Curve Activation
Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。
ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。
我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文 参考訳(メタデータ) (2020-06-16T07:38:06Z) - Approximation in shift-invariant spaces with deep ReLU neural networks [7.7084107194202875]
拡張シフト不変空間における近似関数に対する深部ReLUニューラルネットワークの表現力について検討する。
近似誤差境界は、ニューラルネットワークの幅と深さに対して推定される。
論文 参考訳(メタデータ) (2020-05-25T07:23:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。