論文の概要: Minimum Width of Leaky-ReLU Neural Networks for Uniform Universal
Approximation
- arxiv url: http://arxiv.org/abs/2305.18460v1
- Date: Mon, 29 May 2023 06:51:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 20:46:53.810468
- Title: Minimum Width of Leaky-ReLU Neural Networks for Uniform Universal
Approximation
- Title（参考訳）: 一様普遍近似のための漏洩ReLUニューラルネットワークの最小幅
- Authors: Li'ang Li, Yifei Duan, Guanghua Ji, Yongqiang Cai
- Abstract要約: この臨界幅を持つリーク型ReLU NNは、コンパクトドメインの$K$上の$Lp$関数に対してUAPが得られることを示す。
本稿では,関数クラス $C(K,mathbbRd_y)$ に対する統一 UAP について検討し,リーク-ReLU NN の正確な最小幅を $w_min=max(d_x+1,d_y)+1_d_y=d_x+1$ とする。
- 参考スコア（独自算出の注目度）: 6.4395686398659135
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The study of universal approximation properties (UAP) for neural networks
(NN) has a long history. When the network width is unlimited, only a single
hidden layer is sufficient for UAP. In contrast, when the depth is unlimited,
the width for UAP needs to be not less than the critical width
$w^*_{\min}=\max(d_x,d_y)$, where $d_x$ and $d_y$ are the dimensions of the
input and output, respectively. Recently, \cite{cai2022achieve} shows that a
leaky-ReLU NN with this critical width can achieve UAP for $L^p$ functions on a
compact domain $K$, \emph{i.e.,} the UAP for $L^p(K,\mathbb{R}^{d_y})$. This
paper examines a uniform UAP for the function class $C(K,\mathbb{R}^{d_y})$ and
gives the exact minimum width of the leaky-ReLU NN as
$w_{\min}=\max(d_x+1,d_y)+1_{d_y=d_x+1}$, which involves the effects of the
output dimensions. To obtain this result, we propose a novel
lift-flow-discretization approach that shows that the uniform UAP has a deep
connection with topological theory.
- Abstract（参考訳）: ニューラルネットワーク(NN)のための普遍近似特性(UAP)の研究には長い歴史がある。
ネットワーク幅が無制限の場合、UAPには単一の隠蔽層のみが十分である。
対照的に、深さが無制限の場合、UAPの幅は臨界幅$w^*_{\min}=\max(d_x,d_y)$より小さく、$d_x$と$d_y$はそれぞれ入力と出力の寸法である。
最近 \cite{cai2022achieve} は、この臨界幅を持つリークReLU NN が、コンパクト領域 $K$, \emph{i.e.,} 上の$L^p(K,\mathbb{R}^{d_y})$の UAP に対して$L^p$ の UAP を達成することができることを示した。
本稿では、関数クラス $C(K,\mathbb{R}^{d_y})$ に対する統一 UAP を検証し、出力次元の影響を伴って、リーク-ReLU NN の正確な最小幅を $w_{\min}=\max(d_x+1,d_y)+1_{d_y=d_x+1}$ とする。
この結果を得るために,一様UAPが位相理論と深い関係を持つことを示す,新しいリフトフロー分散手法を提案する。
関連論文リスト
- New advances in universal approximation with neural networks of minimal width [4.424170214926035]
リークReLUアクティベーションを持つオートエンコーダは$Lp$関数の普遍近似器であることを示す。
我々は,滑らかな可逆ニューラルネットワークが$Lp(mathbbRd,mathbbRd)$をコンパクト化できることを示す。
論文 参考訳（メタデータ） (2024-11-13T16:17:16Z) - A Minimal Control Family of Dynamical Syetem for Universal Approximation [6.164223149261533]
制御族は任意のコンパクト領域上で$mathbbRd$の微分同相を近似できるフロー写像を生成することができることを示す。
この結果から,ニューラルネットワークと制御系の近似パワーの基盤となる関係が明らかとなった。
論文 参考訳（メタデータ） (2023-12-20T10:36:55Z) - Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。
次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。
この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
論文 参考訳（メタデータ） (2023-11-23T02:19:32Z) - Minimum width for universal approximation using ReLU networks on compact
domain [8.839687029212673]
活性化関数が ReLU-like (ReLU, GELU, Softplus) であれば、$Lp$関数の近似の最小幅は正確に$maxd_x,d_y,2$であることを示す。
ReLUネットワークの既知の結果と比較すると、$w_min=maxd_x+1,d_y$ ドメインが $smashmathbb Rd_x$ の場合、まず、コンパクトなドメインでの近似はそれよりも小さい幅を必要とすることを示す。
論文 参考訳（メタデータ） (2023-09-19T08:04:48Z) - Polynomial Width is Sufficient for Set Representation with
High-dimensional Features [69.65698500919869]
DeepSetsは集合表現のための最も広く使われているニューラルネットワークアーキテクチャである。
a) 線形 + パワーアクティベーション (LP) と (b) 線形 + 指数的アクティベーション (LE) の2つの集合要素埋め込み層を示す。
論文 参考訳（メタデータ） (2023-07-08T16:00:59Z) - Depth Dependence of $\mu$P Learning Rates in ReLU MLPs [72.14317069090407]
我々は、最大更新(mu$P)学習率の$n$と$L$に依存することを研究する。
我々は、$L3/2.$のように、$L$の非自明な依存があることを発見した。
論文 参考訳（メタデータ） (2023-05-13T01:10:49Z) - Achieve the Minimum Width of Neural Networks for Universal Approximation [1.52292571922932]
ニューラルネットワークの普遍近似特性(UAP)について,最小幅の$w_min$について検討する。
特に、$Lp$-UAPの臨界幅$w*_min$は、漏洩ReLUネットワークによって達成できる。
論文 参考訳（メタデータ） (2022-09-23T04:03:50Z) - A deep network construction that adapts to intrinsic dimensionality
beyond the domain [79.23797234241471]
本稿では,ReLUを活性化したディープネットワークを用いて,2層合成の近似を$f(x) = g(phi(x))$で検討する。
例えば、低次元埋め込み部分多様体への射影と、低次元集合の集合への距離である。
論文 参考訳（メタデータ） (2020-08-06T09:50:29Z) - Minimum Width for Universal Approximation [91.02689252671291]
我々は、$Lp$関数の普遍近似に必要な最小幅がちょうど$maxd_x+1,d_y$であることを証明する。
また、同じ結論がReLUと一様近似に当てはまるのではなく、追加のしきい値アクティベーション関数で成り立つことを証明している。
論文 参考訳（メタデータ） (2020-06-16T01:24:21Z) - On the Modularity of Hypernetworks [103.1147622394852]
構造化対象関数の場合、ハイパーネットワークにおけるトレーニング可能なパラメータの総数は、標準ニューラルネットワークのトレーニング可能なパラメータの数や埋め込み法よりも桁違いに小さいことを示す。
論文 参考訳（メタデータ） (2020-02-23T22:51:52Z) - A closer look at the approximation capabilities of neural networks [6.09170287691728]
1つの隠れた層を持つフィードフォワードニューラルネットワークは、任意の連続関数$f$を任意の近似しきい値$varepsilon$に近似することができる。
この均一な近似特性は、重量に強い条件が課せられているにもかかわらず、依然として維持されていることを示す。
論文 参考訳（メタデータ） (2020-02-16T04:58:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。