論文の概要: Optimal Neural Network Approximation for High-Dimensional Continuous Functions
- arxiv url: http://arxiv.org/abs/2409.02363v1
- Date: Wed, 4 Sep 2024 01:18:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-05 20:41:08.428370
- Title: Optimal Neural Network Approximation for High-Dimensional Continuous Functions
- Title（参考訳）: 高次元連続関数に対する最適ニューラルネットワーク近似
- Authors: Ayan Maiti, Michelle Michelle, Haizhao Yang,
- Abstract要約: 我々は、その近似において任意の精度を達成するために、少なくとも幅$d$、従って少なくとも$d$固有のニューロンを必要とする連続関数の族を示す。
これは、$mathcalO(d)$内在ニューロンの要求が、入力次元$d$と線形に成長するという意味で最適であることを示している。
- 参考スコア（独自算出の注目度）: 5.748690310135373
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, the authors of Shen Yang Zhang (JMLR, 2022) developed a neural network with width $36d(2d + 1)$ and depth $11$, which utilizes a special activation function called the elementary universal activation function, to achieve the super approximation property for functions in $C([a,b]^d)$. That is, the constructed network only requires a fixed number of neurons to approximate a $d$-variate continuous function on a $d$-dimensional hypercube with arbitrary accuracy. Their network uses $\mathcal{O}(d^2)$ fixed neurons. One natural question to address is whether we can reduce the number of these neurons in such a network. By leveraging a variant of the Kolmogorov Superposition Theorem, our analysis shows that there is a neural network generated by the elementary universal activation function with only $366d +365$ fixed, intrinsic (non-repeated) neurons that attains this super approximation property. Furthermore, we present a family of continuous functions that requires at least width $d$, and therefore at least $d$ intrinsic neurons, to achieve arbitrary accuracy in its approximation. This shows that the requirement of $\mathcal{O}(d)$ intrinsic neurons is optimal in the sense that it grows linearly with the input dimension $d$, unlike some approximation methods where parameters may grow exponentially with $d$.
- Abstract（参考訳）: 近年、Shen Yang Zhang (JMLR, 2022) の著者らは、C([a,b]^d)$の関数に対する超近似特性を達成するために、初等普遍活性化関数と呼ばれる特別な活性化関数を利用する、幅3,6d(2d + 1)$と深さ1,11$のニューラルネットワークを開発した。
すなわち、構築されたネットワークは、任意の精度で$d$-次元ハイパーキューブ上の$d$-変数連続関数を近似するために、固定数のニューロンしか必要としない。
ネットワークは$\mathcal{O}(d^2)$固定ニューロンを使用する。
対処すべき自然な疑問は、そのようなネットワーク内でこれらのニューロンの数を減らすことができるかどうかである。
コルモゴロフ重畳定理の変種を利用して、この超近似特性を達成できる366d +365$の固定内在性(非反復性)ニューロンを持つ基本普遍活性化関数によって生成されたニューラルネットワークが存在することを示す。
さらに、その近似において任意の精度を達成するために、少なくとも幅$d$、従って少なくとも$d$固有のニューロンを必要とする連続関数の族を示す。
このことは、$\mathcal{O}(d)$内在ニューロンの要求が入力次元$d$で線形に成長するという意味で最適であることを示し、パラメータが$d$で指数関数的に成長するいくつかの近似法とは対照的である。
関連論文リスト
- Dimension-independent learning rates for high-dimensional classification
problems [53.622581586464634]
各RBV2$関数は、重みが有界なニューラルネットワークによって近似可能であることを示す。
次に、分類関数を近似した有界重みを持つニューラルネットワークの存在を証明する。
論文 参考訳（メタデータ） (2024-09-26T16:02:13Z) - Interpolation with deep neural networks with non-polynomial activations: necessary and sufficient numbers of neurons [0.0]
我々は、活性化関数が点ではなく点において実数である限り、$Theta(sqrtnd')$ニューロンは十分であることを示す。
これは、パワーを失うことなく、アクティベーション関数を問題依存的に自由に選択できることを意味する。
論文 参考訳（メタデータ） (2024-05-22T15:29:45Z) - Multi-layer random features and the approximation power of neural networks [4.178980693837599]
再現カーネルヒルベルト空間はアーキテクチャによって近似できる関数のみを含むことを証明している。
NNGPの積分作用素の固有値が$k-n-frac23$よりも遅く、$k$が固有値の順序である場合、我々の定理はバロンの定理よりも簡潔なニューラルネットワーク近似を保証する。
論文 参考訳（メタデータ） (2024-04-26T14:57:56Z) - Should Under-parameterized Student Networks Copy or Average Teacher
Weights? [7.777410338143785]
例えば、$f*$自体が1つの隠れた層と$k$のニューロンを持つニューラルネットワークである場合を考える。
学生のニューロンは教師より少ないため、各学生のニューロンが教師のニューロンの1つをコピーすべきか、むしろ教師のニューロンのグループを平均すべきかは不明である。
フロー勾配が最適コピー平均臨界点に収束するerfアクティベーション関数や、各学生ニューロンが異なる教師ニューロンを概略コピーする他の点に収束するerfアクティベーション関数を求める。
論文 参考訳（メタデータ） (2023-11-03T00:21:36Z) - Deep Network Approximation: Achieving Arbitrary Accuracy with Fixed
Number of Neurons [5.37133760455631]
一定数のニューロンを持つ全ての連続関数に対する普遍近似特性を実現するフィードフォワードニューラルネットワークを開発した。
例えば、$sigma$-activated networks with width $36d(2d+1)$ and depth $111$ can almost any continuous function on a $d$-dimensioanl hypercube in an arbitrarilyly small error。
論文 参考訳（メタデータ） (2021-07-06T05:24:30Z) - Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ
我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文 参考訳（メタデータ） (2021-04-05T18:02:04Z) - Size and Depth Separation in Approximating Natural Functions with Neural
Networks [52.73592689730044]
本稿では,ReLUネットワークを用いた自然関数の近似におけるサイズと深さの利点を示す。
我々は、そのような結果が$O(d)$を超えることを証明するための複雑性理論上の障壁を示す。
また、サイズ$O(d)$のネットワークで近似できる明示的な自然関数も示している。
論文 参考訳（メタデータ） (2021-01-30T21:30:11Z) - Finding Global Minima via Kernel Approximations [90.42048080064849]
関数評価のみに基づく滑らかな関数のグローバル最小化を考える。
本稿では,近似関数を共同でモデル化し,大域的最小値を求める手法を検討する。
論文 参考訳（メタデータ） (2020-12-22T12:59:30Z) - Nonclosedness of Sets of Neural Networks in Sobolev Spaces [0.0]
実現されたニューラルネットワークは順序で閉じていないことを示す--(m-1)$ソボレフ空間$Wm-1,p$ for $p in [1,infty]$。
実解析的アクティベーション関数に対して、実現されたニューラルネットワークの集合は、mathbbN$の任意の$kに対して$Wk,p$で閉じていないことを示す。
論文 参考訳（メタデータ） (2020-07-23T00:57:25Z) - Interval Universal Approximation for Neural Networks [47.767793120249095]
区間普遍近似(IUA)定理を導入する。
IUAは、ニューラルネットワークが何十年にもわたって知られているような、あらゆる連続関数の$f$を近似できることを示している。
本稿では,精度の高い区間解析が可能なニューラルネットワークを構築する際の計算複雑性について検討する。
論文 参考訳（メタデータ） (2020-07-12T20:43:56Z) - Deep Polynomial Neural Networks [77.70761658507507]
$Pi$Netsは拡張に基づいた関数近似の新しいクラスである。
$Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
論文 参考訳（メタデータ） (2020-06-20T16:23:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。