論文の概要: The necessity of depth for artificial neural networks to approximate
certain classes of smooth and bounded functions without the curse of
dimensionality
- arxiv url: http://arxiv.org/abs/2301.08284v1
- Date: Thu, 19 Jan 2023 19:52:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-23 14:15:24.218082
- Title: The necessity of depth for artificial neural networks to approximate
certain classes of smooth and bounded functions without the curse of
dimensionality
- Title（参考訳）: 次元の呪いを伴わない滑らかで有界な関数のクラスを近似する人工ニューラルネットワークの深さの必要性
- Authors: Lukas Gonon and Robin Graeber and Arnulf Jentzen
- Abstract要約: 直列線形ユニット(ReLU)を活性化した浅部および深部ニューラルネットワーク(ANN)の高次元近似能力について検討した。
特に、この研究の重要な貢献は、すべての$a,binmathbbR$に対して$b-ageq 7$に対して、 $[a,b]dni x=(x_1,dots,x_d)mapstoprod_i=1d x_iinmathbbR$ for $d という関数があることを明らかにすることである。
- 参考スコア（独自算出の注目度）: 4.425982186154401
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this article we study high-dimensional approximation capacities of shallow
and deep artificial neural networks (ANNs) with the rectified linear unit
(ReLU) activation. In particular, it is a key contribution of this work to
reveal that for all $a,b\in\mathbb{R}$ with $b-a\geq 7$ we have that the
functions $[a,b]^d\ni x=(x_1,\dots,x_d)\mapsto\prod_{i=1}^d x_i\in\mathbb{R}$
for $d\in\mathbb{N}$ as well as the functions $[a,b]^d\ni x =(x_1,\dots,
x_d)\mapsto\sin(\prod_{i=1}^d x_i) \in \mathbb{R} $ for $ d \in \mathbb{N} $
can neither be approximated without the curse of dimensionality by means of
shallow ANNs nor insufficiently deep ANNs with ReLU activation but can be
approximated without the curse of dimensionality by sufficiently deep ANNs with
ReLU activation. We show that the product functions and the sine of the product
functions are polynomially tractable approximation problems among the
approximating class of deep ReLU ANNs with the number of hidden layers being
allowed to grow in the dimension $ d \in \mathbb{N} $. We establish the above
outlined statements not only for the product functions and the sine of the
product functions but also for other classes of target functions, in
particular, for classes of uniformly globally bounded $ C^{ \infty }
$-functions with compact support on any $[a,b]^d$ with $a\in\mathbb{R}$,
$b\in(a,\infty)$. Roughly speaking, in this work we lay open that simple
approximation problems such as approximating the sine or cosine of products
cannot be solved in standard implementation frameworks by shallow or
insufficiently deep ANNs with ReLU activation in polynomial time, but can be
approximated by sufficiently deep ReLU ANNs with the number of parameters
growing at most polynomially.
- Abstract（参考訳）: 本稿では,直列線形ユニット(ReLU)を活性化した浅部および深部ニューラルネットワーク(ANN)の高次元近似能力について検討する。
In particular, it is a key contribution of this work to reveal that for all $a,b\in\mathbb{R}$ with $b-a\geq 7$ we have that the functions $[a,b]^d\ni x=(x_1,\dots,x_d)\mapsto\prod_{i=1}^d x_i\in\mathbb{R}$ for $d\in\mathbb{N}$ as well as the functions $[a,b]^d\ni x =(x_1,\dots, x_d)\mapsto\sin(\prod_{i=1}^d x_i) \in \mathbb{R} $ for $ d \in \mathbb{N} $ can neither be approximated without the curse of dimensionality by means of shallow ANNs nor insufficiently deep ANNs with ReLU activation but can be approximated without the curse of dimensionality by sufficiently deep ANNs with ReLU activation.
積関数と積関数の正弦関数は、深部ReLU ANNの近似クラスの中で多項式的に抽出可能な近似問題であり、その次元が$ d \in \mathbb{N} $ であることを示す。
上記の概説は、積関数と積関数の正弦だけでなく、対象関数の他のクラス、特に、任意の $[a,b]^d$ with $a\in\mathbb{r}$, $b\in(a,\infty)$ に対してコンパクトなサポートを持つ一様に大域的に有界な $ c^{ \infty } $-関数のクラスについても成立する。
大まかに言えば、この研究では、多項式時間でReLUを活性化する浅いあるいは不十分な深いANNによって標準実装フレームワークでは、正弦や積の余弦を近似するといった単純な近似問題を解くことはできないが、多項式数が最大で増加するような十分深いReLU ANNによって近似することができる。
関連論文リスト
- New advances in universal approximation with neural networks of minimal width [4.424170214926035]
リークReLUアクティベーションを持つオートエンコーダは$Lp$関数の普遍近似器であることを示す。
我々は,滑らかな可逆ニューラルネットワークが$Lp(mathbbRd,mathbbRd)$をコンパクト化できることを示す。
論文 参考訳（メタデータ） (2024-11-13T16:17:16Z) - Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の等方的ガウスデータの下で勾配降下学習の問題を考察する。
SGDアルゴリズムで最適化された2層ニューラルネットワークは、サンプル付き任意のリンク関数の$f_*$を学習し、実行時の複雑さは$n asymp T asymp C(q) cdot dであることを示す。
論文 参考訳（メタデータ） (2024-06-03T17:56:58Z) - Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。
次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。
この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
論文 参考訳（メタデータ） (2023-11-23T02:19:32Z) - Deep neural networks with ReLU, leaky ReLU, and softplus activation
provably overcome the curse of dimensionality for Kolmogorov partial
differential equations with Lipschitz nonlinearities in the $L^p$-sense [3.3123773366516645]
我々は、ディープニューラルネットワーク(DNN)が、次元の呪い(COD)を伴わずにPDE解を近似する表現力を持っていることを示す。
この成果を一般化するためにこの研究の重要な貢献は、$pin(0,infty)$で$Lp$-senseでこのステートメントを確立することである。
論文 参考訳（メタデータ） (2023-09-24T18:58:18Z) - Geometric structure of shallow neural networks and constructive ${\mathcal L}^2$ cost minimization [1.189367612437469]
隠れた1つの層を持つ浅層ニューラルネットワーク、ReLUアクティベーション関数、$mathcal L2$ Schattenクラス(Hilbert-Schmidt)のコスト関数を考える。
我々は、$O(delta_P)$のコスト関数の最小値に対して、$delta_P$の信号とトレーニング入力のノイズ比を測る上限を証明した。
特別の場合、$M=Q$ において、コスト関数の正確な退化局所極小を明示的に決定し、そのシャープ値が a の$Qleq M$ に対して得られる上限値と異なることを示す。
論文 参考訳（メタデータ） (2023-09-19T07:12:41Z) - Tractability of approximation by general shallow networks [0.0]
xmapsto sum_k=1n a_kG(x, y_k)$, $ xinmathbbX$, by $G$-networks of the form $ xmapsto sum_k=1n a_kG(x, y_k)$。
独立次元境界を$n$で近似の度合いで取得し、関連する定数もすべて次元に依存する。
論文 参考訳（メタデータ） (2023-08-07T00:14:46Z) - Optimal Approximation Rates for Deep ReLU Neural Networks on Sobolev and Besov Spaces [2.7195102129095003]
ReLU活性化関数を持つディープニューラルネットワークは、ソボレフ空間$Ws(L_q(Omega))$とBesov空間$Bs_r(L_q(Omega))$の関数を近似することができる。
この問題は、様々な分野におけるニューラルネットワークの適用を研究する際に重要である。
論文 参考訳（メタデータ） (2022-11-25T23:32:26Z) - Learning a Single Neuron with Adversarial Label Noise via Gradient
Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。
学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文 参考訳（メタデータ） (2022-06-17T17:55:43Z) - Small Covers for Near-Zero Sets of Polynomials and Learning Latent
Variable Models [56.98280399449707]
我々は、s$ of cardinality $m = (k/epsilon)o_d(k1/d)$ に対して $epsilon$-cover が存在することを示す。
構造的結果に基づいて,いくつかの基本的高次元確率モデル隠れ変数の学習アルゴリズムを改良した。
論文 参考訳（メタデータ） (2020-12-14T18:14:08Z) - On Function Approximation in Reinforcement Learning: Optimism in the
Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。
特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。
私たちの後悔の限界はエピソードの数とは無関係です。
論文 参考訳（メタデータ） (2020-11-09T18:32:22Z) - A deep network construction that adapts to intrinsic dimensionality
beyond the domain [79.23797234241471]
本稿では,ReLUを活性化したディープネットワークを用いて,2層合成の近似を$f(x) = g(phi(x))$で検討する。
例えば、低次元埋め込み部分多様体への射影と、低次元集合の集合への距離である。
論文 参考訳（メタデータ） (2020-08-06T09:50:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。