論文の概要: Optimal Neural Network Approximation for High-Dimensional Continuous Functions

• arxiv url: http://arxiv.org/abs/2409.02363v3
• Date: Thu, 06 Feb 2025 22:37:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:54:30.815682
• Title: Optimal Neural Network Approximation for High-Dimensional Continuous Functions
• Title（参考訳）: 高次元連続関数に対する最適ニューラルネットワーク近似
• Authors: Ayan Maiti, Michelle Michelle, Haizhao Yang,
• Abstract要約: 我々は、その近似において任意の精度を達成するために、少なくとも幅$d$、従って少なくとも$d$のニューロンやパラメータを必要とする連続関数の族を示す。 これは、パラメータが$d$で指数関数的に成長するいくつかの近似方法とは異なり、入力次元$d$で線形に成長するという意味で、ユニークな非ゼロパラメータの数が最適であることを示している。
• 参考スコア（独自算出の注目度）: 5.748690310135373
• License:
• Abstract: Recently, the authors of Shen Yang Zhang (JMLR, 2022) developed a neural network with width $36d(2d + 1)$ and depth $11$, which utilizes a special activation function called the elementary universal activation function, to achieve the super approximation property for functions in $C([a,b]^d)$. That is, the constructed network only requires a fixed number of neurons (and thus parameters) to approximate a $d$-variate continuous function on a $d$-dimensional hypercube with arbitrary accuracy. More specifically, only $\mathcal{O}(d^2)$ neurons or parameters are used. One natural question is whether we can reduce the number of these neurons or parameters in such a network. By leveraging a variant of the Kolmogorov Superposition Theorem, our analysis shows that there is a neural network generated by the elementary universal activation function with at most $10889d+10887$ unique nonzero parameters such that this super approximation property is attained. Furthermore, we present a family of continuous functions that requires at least width $d$, and thus at least $d$ neurons or parameters, to achieve arbitrary accuracy in its approximation. This suggests that the number of unique nonzero parameters is optimal in the sense that it grows linearly with the input dimension $d$, unlike some approximation methods where parameters may grow exponentially with $d$.
• Abstract（参考訳）: 近年、Shen Yang Zhang (JMLR, 2022) の著者らは、C([a,b]^d)$の関数に対する超近似特性を達成するために、初等普遍活性化関数と呼ばれる特別な活性化関数を利用する、幅3,6d(2d + 1)$と深さ1,11$のニューラルネットワークを開発した。 すなわち、構築されたネットワークは、任意の精度で$d$次元ハイパーキューブ上の$d$変数連続関数を近似するために、固定数のニューロン(およびパラメータ)しか必要としない。 具体的には、$\mathcal{O}(d^2)$ ニューロンまたはパラメータのみを使用する。 1つの自然な疑問は、そのようなネットワークにおけるこれらのニューロンやパラメータの数を減らすことができるかどうかである。 コルモゴロフ重畳定理の変則を利用して、この超近似特性が達成されるような、少なくとも10889d+10887$のユニークな非ゼロパラメータを持つ基本普遍活性化関数によって生成されたニューラルネットワークが存在することを示す。 さらに、その近似において任意の精度を達成するために、少なくとも幅$d$、従って少なくとも$d$のニューロンやパラメータを必要とする連続関数の族を示す。 これは、パラメータが$d$で指数関数的に成長するいくつかの近似方法とは異なり、入力次元$d$で線形に成長するという意味で、ユニークな非ゼロパラメータの数が最適であることを示している。

関連論文リスト

• Interpolation with deep neural networks with non-polynomial activations: necessary and sufficient numbers of neurons [0.0]
  我々は、活性化関数が点ではなく点において実数である限り、$Theta(sqrtnd')$ニューロンは十分であることを示す。 これは、パワーを失うことなく、アクティベーション関数を問題依存的に自由に選択できることを意味する。
  論文  参考訳（メタデータ） (2024-05-22T15:29:45Z)
• Optimal approximation using complex-valued neural networks [0.0]
  複雑評価ニューラルネットワーク(CVNN)は最近、有望な経験的成功を示している。 CVNNの表現性を近似特性を用いて解析する。
  論文  参考訳（メタデータ） (2023-03-29T15:56:43Z)
• Shallow neural network representation of polynomials [91.3755431537592]
  d+1+sum_r=2Rbinomr+d-1d-1[binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1]
  論文  参考訳（メタデータ） (2022-08-17T08:14:52Z)
• Deep Network Approximation: Achieving Arbitrary Accuracy with Fixed Number of Neurons [5.37133760455631]
  一定数のニューロンを持つ全ての連続関数に対する普遍近似特性を実現するフィードフォワードニューラルネットワークを開発した。 例えば、$sigma$-activated networks with width $36d(2d+1)$ and depth $111$ can almost any continuous function on a $d$-dimensioanl hypercube in an arbitrarilyly small error。
  論文  参考訳（メタデータ） (2021-07-06T05:24:30Z)
• Deep neural network approximation of analytic functions [91.3755431537592]
  ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ 我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
  論文  参考訳（メタデータ） (2021-04-05T18:02:04Z)
• Function approximation by deep neural networks with parameters $\{0,\pm \frac{1}{2}, \pm 1, 2\}$ [91.3755431537592]
  C_beta$-smooth関数は、パラメータ$0,pm frac12, pm 1, 2$のニューラルネットワークによって近似できることが示されている。 構築されたネットワークの深さ、幅、およびアクティブパラメータの数は、対数係数まで、$[-1,1]$のパラメータを持つネットワークと同じ近似誤差に依存します。
  論文  参考訳（メタデータ） (2021-03-15T19:10:02Z)
• Size and Depth Separation in Approximating Natural Functions with Neural Networks [52.73592689730044]
  本稿では,ReLUネットワークを用いた自然関数の近似におけるサイズと深さの利点を示す。 我々は、そのような結果が$O(d)$を超えることを証明するための複雑性理論上の障壁を示す。 また、サイズ$O(d)$のネットワークで近似できる明示的な自然関数も示している。
  論文  参考訳（メタデータ） (2021-01-30T21:30:11Z)
• Finding Global Minima via Kernel Approximations [90.42048080064849]
  関数評価のみに基づく滑らかな関数のグローバル最小化を考える。 本稿では,近似関数を共同でモデル化し,大域的最小値を求める手法を検討する。
  論文  参考訳（メタデータ） (2020-12-22T12:59:30Z)
• Nonclosedness of Sets of Neural Networks in Sobolev Spaces [0.0]
  実現されたニューラルネットワークは順序で閉じていないことを示す--(m-1)$ソボレフ空間$Wm-1,p$ for $p in [1,infty]$。 実解析的アクティベーション関数に対して、実現されたニューラルネットワークの集合は、mathbbN$の任意の$kに対して$Wk,p$で閉じていないことを示す。
  論文  参考訳（メタデータ） (2020-07-23T00:57:25Z)
• Interval Universal Approximation for Neural Networks [47.767793120249095]
  区間普遍近似(IUA)定理を導入する。 IUAは、ニューラルネットワークが何十年にもわたって知られているような、あらゆる連続関数の$f$を近似できることを示している。 本稿では,精度の高い区間解析が可能なニューラルネットワークを構築する際の計算複雑性について検討する。
  論文  参考訳（メタデータ） (2020-07-12T20:43:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。