論文の概要: Approximation of Analytic Functions by ReLU Neural Networks with Adjustable Depth and Width
- arxiv url: http://arxiv.org/abs/2607.10589v1
- Date: Sun, 12 Jul 2026 05:59:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.474539
- Title: Approximation of Analytic Functions by ReLU Neural Networks with Adjustable Depth and Width
- Title（参考訳）: 調整可能な深さと幅を持つReLUニューラルネットワークによる解析関数の近似
- Abstract要約: citeshen 2020deepは幅パラメータ$N$と深さパラメータ$Lの結合関数として近似率の特性を開拓した。
解析関数近似の文脈では,深さが幅よりも重要な役割を担っていることが明らかとなった。
- 参考スコア（独自算出の注目度）: 10.609056138359751
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In contrast to most studies on neural network approximation theory that characterize results through a single parameter, such as the total number of network parameters, \cite{shen2020deep} pioneered the characterization of approximation rates as a joint function of the width parameter $N$ and the depth parameter $L$, thereby granting greater architectural flexibility. Existing works using the $(N,L)$-characterization focus on function classes with finite smoothness $s$, establishing a typical approximation rate of $\mathcal{O}\left(N^{-2s/d}L^{-2s/d}\right)$ with $d$ denoting the input dimension, which indicates that network depth and width play symmetric roles for these classes. In contrast, this paper establishes upper bounds for the approximation of analytic functions, which possess infinite smoothness, via ReLU networks under the $(N,L)$-characterization. Specifically, we derive approximation rates of $\mathcal{O}\left(N^{-C L^τ}\right)$, where $C>0$ is some constant and $τ>0$ is a parameter influenced by the relation between $L$ and $N$. In particular, $τ=1$ if $N$ scales roughly as $L^d$. Our findings reveal that depth plays a more critical role than width in the context of analytic function approximation. The main technical difficulty of obtaining such upper bounds lies in the trade-off between the smoothness parameters and the approximation accuracy. To overcome this difficulty, we employ refined constructions of several ReLU networks to approximate power functions, multivariate multiplication, and polynomials, which may be of independent interest.
- Abstract（参考訳）: ネットワークパラメータの総数などの単一パラメータで結果を特徴づけるニューラルネットワーク近似理論に関するほとんどの研究とは対照的に、 \cite{shen2020deep} は幅パラメータ $N$ と深さパラメータ $L$ の結合関数として近似率の特徴づけを開拓し、より高いアーキテクチャ的柔軟性を与えた。
既存の$(N,L)$-キャラクタリゼーションは、有限滑らか度$s$の関数クラスに焦点をあて、典型的な近似速度を$\mathcal{O}\left(N^{-2s/d}L^{-2s/d}\right)$に設定し、入力次元を$d$で記述することで、ネットワークの深さと幅がこれらのクラスで対称な役割を演じることを示す。
これとは対照的に、解析関数の近似の上限は、$(N,L)$-キャラクタリゼーションの下でReLUネットワークを介して無限の滑らかさを持つ。
具体的には、$\mathcal{O}\left(N^{-C L^τ}\right)$, ここで$C>0$は定数であり、$τ>0$は$L$と$N$の関係に影響されるパラメータである。
特に$τ=1$ if$N$はおよそ$L^d$となる。
解析関数近似の文脈では,深さが幅よりも重要な役割を担っていることが明らかとなった。
このような上限を得ることの主な技術的困難は、滑らかさパラメータと近似精度のトレードオフにある。
この難しさを克服するために、パワー関数、多変量乗算、多項式を近似するために、いくつかのReLUネットワークの洗練された構成を用いる。
関連論文リスト
- On Explicit Super-Expressive Approximation for Neural Networks [14.904203072235434]
パラメータ境界と基本活性化を用いた固定構造ニューラルネットワーク近似について検討する。
以前の研究では、固定サイズネットワークを用いた超表現的近似が示されていたが、近似誤差に関するパラメータの量的および非漸近的な特徴が欠如していた。
論文 参考訳（メタデータ） (2026-07-07T20:21:57Z) - Constructive Universal Approximation and Finite Sample Memorization by Narrow Deep ReLU Networks [0.0]
我々は$N$の異なる点を持つデータセットが$mathbbRd$と$M$の出力クラスを正確に分類できることを示した。
また、任意の有界領域に対して$Lp(Omega; mathbbRm)$の普遍近似定理も証明する。
我々の結果は、深層ニューラルネットワークにおける制御性、表現性、およびトレーニングのダイナミクスを接続する統一的で解釈可能なフレームワークを提供する。
論文 参考訳（メタデータ） (2024-09-10T14:31:21Z) - Optimal Neural Network Approximation for High-Dimensional Continuous Functions [5.748690310135373]
我々は、その近似において任意の精度を達成するために、少なくとも幅$d$、従って少なくとも$d$のニューロンやパラメータを必要とする連続関数の族を示す。
これは、パラメータが$d$で指数関数的に成長するいくつかの近似方法とは異なり、入力次元$d$で線形に成長するという意味では、非ゼロパラメータの数が最適であることを示している。
論文 参考訳（メタデータ） (2024-09-04T01:18:55Z) - Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の勾配勾配勾配学習問題について検討する。
SGDに基づくアルゴリズムにより最適化された2層ニューラルネットワークは、情報指数に支配されない複雑さで$f_*$を学習する。
論文 参考訳（メタデータ） (2024-06-03T17:56:58Z) - Understanding Deep Neural Function Approximation in Reinforcement
Learning via $\epsilon$-Greedy Exploration [53.90873926758026]
本稿では、強化学習(RL)における深部神経機能近似の理論的研究について述べる。
我々は、Besov(およびBarron)関数空間によって与えられるディープ(および2層)ニューラルネットワークによる$epsilon$-greedy探索により、バリューベースのアルゴリズムに焦点を当てる。
我々の解析は、ある平均測度$mu$の上の$L2(mathrmdmu)$-integrable空間における時間差誤差を再構成し、非イド設定の下で一般化問題に変換する。
論文 参考訳（メタデータ） (2022-09-15T15:42:47Z) - Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ
我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文 参考訳（メタデータ） (2021-04-05T18:02:04Z) - Function approximation by deep neural networks with parameters $\{0,\pm
\frac{1}{2}, \pm 1, 2\}$ [91.3755431537592]
C_beta$-smooth関数は、パラメータ$0,pm frac12, pm 1, 2$のニューラルネットワークによって近似できることが示されている。
構築されたネットワークの深さ、幅、およびアクティブパラメータの数は、対数係数まで、$[-1,1]$のパラメータを持つネットワークと同じ近似誤差に依存します。
論文 参考訳（メタデータ） (2021-03-15T19:10:02Z) - Size and Depth Separation in Approximating Natural Functions with Neural
Networks [52.73592689730044]
本稿では,ReLUネットワークを用いた自然関数の近似におけるサイズと深さの利点を示す。
我々は、そのような結果が$O(d)$を超えることを証明するための複雑性理論上の障壁を示す。
また、サイズ$O(d)$のネットワークで近似できる明示的な自然関数も示している。
論文 参考訳（メタデータ） (2021-01-30T21:30:11Z) - On the Modularity of Hypernetworks [103.1147622394852]
構造化対象関数の場合、ハイパーネットワークにおけるトレーニング可能なパラメータの総数は、標準ニューラルネットワークのトレーニング可能なパラメータの数や埋め込み法よりも桁違いに小さいことを示す。
論文 参考訳（メタデータ） (2020-02-23T22:51:52Z) - Deep Network Approximation for Smooth Functions [9.305095040004156]
幅$mathcalO(Nln N)$と深さ$mathcalO(L L)$の深いReLUネットワークは、ほぼ最適近似誤差で$fin Cs([0,1]d)$を近似できることを示す。
我々の推定は、それぞれ$NinmathbbN+$と$LinmathbbN+$で指定された任意の幅と深さに対して有効であるという意味では漸近的ではない。
論文 参考訳（メタデータ） (2020-01-09T15:06:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。