論文の概要: Achieve the Minimum Width of Neural Networks for Universal Approximation
- arxiv url: http://arxiv.org/abs/2209.11395v1
- Date: Fri, 23 Sep 2022 04:03:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-26 16:58:19.609123
- Title: Achieve the Minimum Width of Neural Networks for Universal Approximation
- Title（参考訳）: Universal Approximationのためのニューラルネットワークの最小幅の実現
- Authors: Yongqiang Cai
- Abstract要約: ニューラルネットワークの普遍近似特性(UAP)について,最小幅の$w_min$について検討する。
特に、$Lp$-UAPの臨界幅$w*_min$は、漏洩ReLUネットワークによって達成できる。
- 参考スコア（独自算出の注目度）: 1.52292571922932
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The universal approximation property (UAP) of neural networks is fundamental
for deep learning, and it is well known that wide neural networks are universal
approximators of continuous functions within both the $L^p$ norm and the
continuous/uniform norm. However, the exact minimum width, $w_{\min}$, for the
UAP has not been studied thoroughly. Recently, using a
decoder-memorizer-encoder scheme, \citet{Park2021Minimum} found that $w_{\min}
= \max(d_x+1,d_y)$ for both the $L^p$-UAP of ReLU networks and the $C$-UAP of
ReLU+STEP networks, where $d_x,d_y$ are the input and output dimensions,
respectively. In this paper, we consider neural networks with an arbitrary set
of activation functions. We prove that both $C$-UAP and $L^p$-UAP for functions
on compact domains share a universal lower bound of the minimal width; that is,
$w^*_{\min} = \max(d_x,d_y)$. In particular, the critical width, $w^*_{\min}$,
for $L^p$-UAP can be achieved by leaky-ReLU networks, provided that the input
or output dimension is larger than one. Our construction is based on the
approximation power of neural ordinary differential equations and the ability
to approximate flow maps by neural networks. The nonmonotone or discontinuous
activation functions case and the one-dimensional case are also discussed.
- Abstract（参考訳）: ニューラルネットワークの普遍近似特性(UAP)はディープラーニングの基本であり、広範ニューラルネットワークが$L^p$ノルムと連続/一様ノルムの両方の連続関数の普遍近似であることはよく知られている。
しかし、UAPの正確な最小幅である$w_{\min}$は、十分に研究されていない。
近年、デコーダ-記憶器-エンコーダスキームを用いて、$w_{\min} = \max(d_x+1,d_y)$がReLUネットワークの$L^p$-UAPと、$d_x,d_y$が入力次元および出力次元であるReLU+STEPネットワークの$C$-UAPの両方について発見された。
本稿では,任意の活性化関数を持つニューラルネットワークについて考察する。
コンパクト領域上の函数に対する$C$-UAP と $L^p$-UAP は、最小幅の普遍的下界を共有すること、すなわち$w^*_{\min} = \max(d_x,d_y)$ である。
特に、臨界幅である$w^*_{\min}$, for $L^p$-UAPは、入力または出力の寸法が1より大きい場合、漏洩ReLUネットワークによって達成できる。
本手法は, ニューラル常微分方程式の近似力と, ニューラルネットワークによるフローマップの近似能力に基づいている。
非単調または不連続活性化関数の場合と1次元の場合についても論じる。
関連論文リスト
- New advances in universal approximation with neural networks of minimal width [4.424170214926035]
リークReLUアクティベーションを持つオートエンコーダは$Lp$関数の普遍近似器であることを示す。
我々は,滑らかな可逆ニューラルネットワークが$Lp(mathbbRd,mathbbRd)$をコンパクト化できることを示す。
論文 参考訳（メタデータ） (2024-11-13T16:17:16Z) - Deep Neural Networks: Multi-Classification and Universal Approximation [0.0]
我々は,幅2ドル,深さ2N+4M-1$のReLUディープニューラルネットワークが,$N$要素からなる任意のデータセットに対して有限標本記憶を達成できることを実証した。
また、$W1,p$関数を近似するための深さ推定と$Lp(Omega;mathbbRm)$ for $mgeq1$を近似するための幅推定も提供する。
論文 参考訳（メタデータ） (2024-09-10T14:31:21Z) - Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。
次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。
この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
論文 参考訳（メタデータ） (2023-11-23T02:19:32Z) - Rates of Approximation by ReLU Shallow Neural Networks [8.22379888383833]
隠れたニューロンが$m$のReLU浅部ニューラルネットワークは、H"古い空間からの関数を均一に近似できることを示す。
そのようなレートは$O(m-fracrd)$に非常に近いが、$fracd+2d+4d+4$は、$d$が大きければ1ドルに近いという意味では$O(m-fracrd)$である。
論文 参考訳（メタデータ） (2023-07-24T00:16:50Z) - Minimum Width of Leaky-ReLU Neural Networks for Uniform Universal
Approximation [10.249623880822055]
本稿では,関数クラス $C(K,mathbbRd_y)$ に対する統一 UAP について検討する。
リーク-ReLU NNの正確な最小幅は$w_min=max(d_x,d_y)+Delta (d_x,d_y)$である。
論文 参考訳（メタデータ） (2023-05-29T06:51:16Z) - The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich
Regimes [75.59720049837459]
無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。
有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
論文 参考訳（メタデータ） (2022-12-23T04:48:04Z) - Shallow neural network representation of polynomials [91.3755431537592]
d+1+sum_r=2Rbinomr+d-1d-1[binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1]
論文 参考訳（メタデータ） (2022-08-17T08:14:52Z) - Nonclosedness of Sets of Neural Networks in Sobolev Spaces [0.0]
実現されたニューラルネットワークは順序で閉じていないことを示す--(m-1)$ソボレフ空間$Wm-1,p$ for $p in [1,infty]$。
実解析的アクティベーション関数に対して、実現されたニューラルネットワークの集合は、mathbbN$の任意の$kに対して$Wk,p$で閉じていないことを示す。
論文 参考訳（メタデータ） (2020-07-23T00:57:25Z) - Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。
過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
論文 参考訳（メタデータ） (2020-07-09T07:09:28Z) - Minimum Width for Universal Approximation [91.02689252671291]
我々は、$Lp$関数の普遍近似に必要な最小幅がちょうど$maxd_x+1,d_y$であることを証明する。
また、同じ結論がReLUと一様近似に当てはまるのではなく、追加のしきい値アクティベーション関数で成り立つことを証明している。
論文 参考訳（メタデータ） (2020-06-16T01:24:21Z) - On the Modularity of Hypernetworks [103.1147622394852]
構造化対象関数の場合、ハイパーネットワークにおけるトレーニング可能なパラメータの総数は、標準ニューラルネットワークのトレーニング可能なパラメータの数や埋め込み法よりも桁違いに小さいことを示す。
論文 参考訳（メタデータ） (2020-02-23T22:51:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。