論文の概要: Minimum width for universal approximation using ReLU networks on compact
domain
- arxiv url: http://arxiv.org/abs/2309.10402v2
- Date: Tue, 5 Mar 2024 06:55:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 02:41:22.434435
- Title: Minimum width for universal approximation using ReLU networks on compact
domain
- Title（参考訳）: コンパクト領域上のreluネットワークを用いたユニバーサル近似の最小幅
- Authors: Namjun Kim, Chanho Min, Sejun Park
- Abstract要約: 活性化関数が ReLU-like (ReLU, GELU, Softplus) であれば、$Lp$関数の近似の最小幅は正確に$maxd_x,d_y,2$であることを示す。
ReLUネットワークの既知の結果と比較すると、$w_min=maxd_x+1,d_y$ ドメインが $smashmathbb Rd_x$ の場合、まず、コンパクトなドメインでの近似はそれよりも小さい幅を必要とすることを示す。
- 参考スコア（独自算出の注目度）: 8.839687029212673
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It has been shown that deep neural networks of a large enough width are
universal approximators but they are not if the width is too small. There were
several attempts to characterize the minimum width $w_{\min}$ enabling the
universal approximation property; however, only a few of them found the exact
values. In this work, we show that the minimum width for $L^p$ approximation of
$L^p$ functions from $[0,1]^{d_x}$ to $\mathbb R^{d_y}$ is exactly
$\max\{d_x,d_y,2\}$ if an activation function is ReLU-Like (e.g., ReLU, GELU,
Softplus). Compared to the known result for ReLU networks,
$w_{\min}=\max\{d_x+1,d_y\}$ when the domain is $\smash{\mathbb R^{d_x}}$, our
result first shows that approximation on a compact domain requires smaller
width than on $\smash{\mathbb R^{d_x}}$. We next prove a lower bound on
$w_{\min}$ for uniform approximation using general activation functions
including ReLU: $w_{\min}\ge d_y+1$ if $d_x<d_y\le2d_x$. Together with our
first result, this shows a dichotomy between $L^p$ and uniform approximations
for general activation functions and input/output dimensions.
- Abstract（参考訳）: 十分な幅の深いニューラルネットワークが普遍近似器であることは示されているが、幅が小さすぎる場合ではない。
普遍近似特性を許容する最小幅$w_{\min}$を特徴づけようとする試みはいくつかあったが、正確な値を発見したのはわずかであった。
本稿では、$[0,1]^{d_x}$から$\mathbb r^{d_y}$までの$l^p$関数の最小幅が、活性化関数がreluライクな場合(例えば、relu, gelu, softplus)にちょうど$\max\{d_x,d_y,2\}$であることを示す。
ReLU ネットワークの既知の結果と比較して、$w_{\min}=\max\{d_x+1,d_y\}$ が$\smash{\mathbb R^{d_x}}$ であるとき、まず、コンパクト領域上の近似は$\smash{\mathbb R^{d_x}}$ よりも小さい幅を必要とすることを示す。
次に、ReLUを含む一般的なアクティベーション関数を用いた一様近似に対して$w_{\min}$の低い境界を証明します。
最初の結果とともに、一般活性化関数に対する$L^p$と一様近似と入出力次元との二分法を示す。
関連論文リスト
- New advances in universal approximation with neural networks of minimal width [4.424170214926035]
リークReLUアクティベーションを持つオートエンコーダは$Lp$関数の普遍近似器であることを示す。
我々は,滑らかな可逆ニューラルネットワークが$Lp(mathbbRd,mathbbRd)$をコンパクト化できることを示す。
論文 参考訳（メタデータ） (2024-11-13T16:17:16Z) - Minimum Width of Leaky-ReLU Neural Networks for Uniform Universal
Approximation [10.249623880822055]
本稿では,関数クラス $C(K,mathbbRd_y)$ に対する統一 UAP について検討する。
リーク-ReLU NNの正確な最小幅は$w_min=max(d_x,d_y)+Delta (d_x,d_y)$である。
論文 参考訳（メタデータ） (2023-05-29T06:51:16Z) - Achieve the Minimum Width of Neural Networks for Universal Approximation [1.52292571922932]
ニューラルネットワークの普遍近似特性(UAP)について,最小幅の$w_min$について検討する。
特に、$Lp$-UAPの臨界幅$w*_min$は、漏洩ReLUネットワークによって達成できる。
論文 参考訳（メタデータ） (2022-09-23T04:03:50Z) - Learning a Single Neuron with Adversarial Label Noise via Gradient
Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。
学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文 参考訳（メタデータ） (2022-06-17T17:55:43Z) - TURF: A Two-factor, Universal, Robust, Fast Distribution Learning
Algorithm [64.13217062232874]
最も強力で成功したモダリティの1つは、全ての分布を$ell$距離に近似し、基本的に最も近い$t$-piece次数-$d_$の少なくとも1倍大きい。
本稿では,この数値をほぼ最適に推定する手法を提案する。
論文 参考訳（メタデータ） (2022-02-15T03:49:28Z) - Active Sampling for Linear Regression Beyond the $\ell_2$ Norm [70.49273459706546]
対象ベクトルの少数のエントリのみを問合せすることを目的とした線形回帰のためのアクティブサンプリングアルゴリズムについて検討する。
我々はこの$d$への依存が対数的要因まで最適であることを示す。
また、損失関数に対して最初の全感度上界$O(dmax1,p/2log2 n)$を提供し、最大で$p$成長する。
論文 参考訳（メタデータ） (2021-11-09T00:20:01Z) - Optimal Approximation Rate of ReLU Networks in terms of Width and Depth [5.37133760455631]
本稿では,深部フィードフォワードニューラルネットワークの幅と深さの近似力に着目した。
幅$mathcalObig(maxdlfloor N1/drfloor,, N+2big)$と深さ$mathcalO(L)$のReLUネットワークは、近似レート$mathcalObig(lambdasqrtd (N2L2ln)で$[0,1]d$のH"古い連続関数を近似できる。
論文 参考訳（メタデータ） (2021-02-28T13:15:55Z) - Nearly Minimax Optimal Reinforcement Learning for Linear Mixture Markov
Decision Processes [91.38793800392108]
本稿では,マルコフ決定過程(MDP)の遷移確率核が線形混合モデルである線形関数近似による強化学習について検討する。
上記の線形混合 MDP に対して$textUCRL-VTR+$ という線形関数近似を用いた計算効率の良い新しいアルゴリズムを提案する。
我々の知る限り、これらは線形関数近似を持つRLのための計算効率が良く、ほぼ最小のアルゴリズムである。
論文 参考訳（メタデータ） (2020-12-15T18:56:46Z) - Deep Network with Approximation Error Being Reciprocal of Width to Power
of Square Root of Depth [4.468952886990851]
超近似パワーを持つ新しいネットワークが導入された。
このネットワークは、各ニューロン内のFloor(lfloor xrfloor$)またはReLU(max0,x$)アクティベーション関数で構築されている。
論文 参考訳（メタデータ） (2020-06-22T13:27:33Z) - Minimum Width for Universal Approximation [91.02689252671291]
我々は、$Lp$関数の普遍近似に必要な最小幅がちょうど$maxd_x+1,d_y$であることを証明する。
また、同じ結論がReLUと一様近似に当てはまるのではなく、追加のしきい値アクティベーション関数で成り立つことを証明している。
論文 参考訳（メタデータ） (2020-06-16T01:24:21Z) - On the Complexity of Minimizing Convex Finite Sums Without Using the
Indices of the Individual Functions [62.01594253618911]
有限和の有限ノイズ構造を利用して、大域オラクルモデルの下での一致する$O(n2)$-upper境界を導出する。
同様のアプローチを踏襲したSVRGの新規な適応法を提案し、これはオラクルと互換性があり、$tildeO(n2+nsqrtL/mu)log (1/epsilon)$と$O(nsqrtL/epsilon)$, for $mu>0$と$mu=0$の複雑さ境界を実現する。
論文 参考訳（メタデータ） (2020-02-09T03:39:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。