論文の概要: On the optimal approximation of Sobolev and Besov functions using deep ReLU neural networks

• arxiv url: http://arxiv.org/abs/2409.00901v1
• Date: Mon, 2 Sep 2024 02:26:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 08:30:49.484135
• Title: On the optimal approximation of Sobolev and Besov functions using deep ReLU neural networks
• Title（参考訳）: 深部ReLUニューラルネットワークを用いたソボレフとベソフ関数の最適近似について
• Authors: Yunfei Yang,
• Abstract要約: 我々は、$mathcalO((WL)-2s/d)$が実際にソボレフ埋め込み条件の下で成り立つことを示す。 我々の証明の鍵となるツールは、幅と深さの異なる深部ReLUニューラルネットワークを用いてスパースベクトルを符号化することである。
• 参考スコア（独自算出の注目度）: 2.4112990554464235
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies the problem of how efficiently functions in the Sobolev spaces $\mathcal{W}^{s,q}([0,1]^d)$ and Besov spaces $\mathcal{B}^s_{q,r}([0,1]^d)$ can be approximated by deep ReLU neural networks with width $W$ and depth $L$, when the error is measured in the $L^p([0,1]^d)$ norm. This problem has been studied by several recent works, which obtained the approximation rate $\mathcal{O}((WL)^{-2s/d})$ up to logarithmic factors when $p=q=\infty$, and the rate $\mathcal{O}(L^{-2s/d})$ for networks with fixed width when the Sobolev embedding condition $1/q -1/p<s/d$ holds. We generalize these results by showing that the rate $\mathcal{O}((WL)^{-2s/d})$ indeed holds under the Sobolev embedding condition. It is known that this rate is optimal up to logarithmic factors. The key tool in our proof is a novel encoding of sparse vectors by using deep ReLU neural networks with varied width and depth, which may be of independent interest.
• Abstract（参考訳）: 本稿では, ソボレフ空間 $\mathcal{W}^{s,q}([0,1]^d)$ および Besov 空間 $\mathcal{B}^s_{q,r}([0,1]^d)$ において, 誤差が$L^p([0,1]^d)$ノルムで測定された場合, 幅が$W$ で深さが$L$ の深いReLUニューラルネットワークによって近似できる問題について検討する。 この問題はいくつかの最近の研究によって研究され、ソボレフ埋め込み条件が 1/q −1/p<s/d$ であるときに、$p=q=\infty$ のときの対数係数への近似率 $\mathcal{O}((WL)^{-2s/d})$ と、固定幅のネットワークに対する $\mathcal{O}(L^{-2s/d})$ が成立するときに得られる。 これらの結果を一般化するために、$\mathcal{O}((WL)^{-2s/d})$が実際にソボレフ埋め込み条件の下で成り立つことを示す。 この値は対数因子に最適であることが知られている。 我々の証明の鍵となるツールは、幅と深さの異なる深部ReLUニューラルネットワークを用いてスパースベクトルを符号化することである。

関連論文リスト

• Approximation Rates for Shallow ReLU$^k$ Neural Networks on Sobolev Spaces via the Radon Transform [4.096453902709292]
  我々は,ReLU$k$アクティベーション関数がソボレフ空間からの関数をいかに効率的に近似できるかという問題を考察する。 例えば、$qleq p$, $pgeq 2$, $s leq k + (d+1)/2$ などである。
  論文  参考訳（メタデータ） (2024-08-20T16:43:45Z)
• Nearly Optimal Regret for Decentralized Online Convex Optimization [53.433398074919]
  分散オンライン凸最適化(D-OCO)は,局所計算と通信のみを用いて,グローバルな損失関数の列を最小化することを目的としている。 我々は凸関数と強い凸関数の残差をそれぞれ低減できる新しいD-OCOアルゴリズムを開発した。 我々のアルゴリズムは、$T$、$n$、$rho$の点でほぼ最適です。
  論文  参考訳（メタデータ） (2024-02-14T13:44:16Z)
• Optimal Approximation Rates for Deep ReLU Neural Networks on Sobolev and Besov Spaces [2.7195102129095003]
  ReLU活性化関数を持つディープニューラルネットワークは、ソボレフ空間$Ws(L_q(Omega))$とBesov空間$Bs_r(L_q(Omega))$の関数を近似することができる。 この問題は、様々な分野におけるニューラルネットワークの適用を研究する際に重要である。
  論文  参考訳（メタデータ） (2022-11-25T23:32:26Z)
• Understanding Deep Neural Function Approximation in Reinforcement Learning via $\epsilon$-Greedy Exploration [53.90873926758026]
  本稿では、強化学習(RL)における深部神経機能近似の理論的研究について述べる。 我々は、Besov(およびBarron)関数空間によって与えられるディープ(および2層)ニューラルネットワークによる$epsilon$-greedy探索により、バリューベースのアルゴリズムに焦点を当てる。 我々の解析は、ある平均測度$mu$の上の$L2(mathrmdmu)$-integrable空間における時間差誤差を再構成し、非イド設定の下で一般化問題に変換する。
  論文  参考訳（メタデータ） (2022-09-15T15:42:47Z)
• Shallow neural network representation of polynomials [91.3755431537592]
  d+1+sum_r=2Rbinomr+d-1d-1[binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1]
  論文  参考訳（メタデータ） (2022-08-17T08:14:52Z)
• Expressive power of binary and ternary neural networks [91.3755431537592]
  3次重みを持つ深いスパースReLUネットワークと2次重みを持つ深いReLUネットワークは、[0,1]d$上の$beta$-H"古い関数を近似できることを示す。
  論文  参考訳（メタデータ） (2022-06-27T13:16:08Z)
• A Law of Robustness beyond Isoperimetry [84.33752026418045]
  我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。 次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。 我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
  論文  参考訳（メタデータ） (2022-02-23T16:10:23Z)
• Active Sampling for Linear Regression Beyond the $\ell_2$ Norm [70.49273459706546]
  対象ベクトルの少数のエントリのみを問合せすることを目的とした線形回帰のためのアクティブサンプリングアルゴリズムについて検討する。 我々はこの$d$への依存が対数的要因まで最適であることを示す。 また、損失関数に対して最初の全感度上界$O(dmax1,p/2log2 n)$を提供し、最大で$p$成長する。
  論文  参考訳（メタデータ） (2021-11-09T00:20:01Z)
• Optimal Approximation Rate of ReLU Networks in terms of Width and Depth [5.37133760455631]
  本稿では,深部フィードフォワードニューラルネットワークの幅と深さの近似力に着目した。 幅$mathcalObig(maxdlfloor N1/drfloor,, N+2big)$と深さ$mathcalO(L)$のReLUネットワークは、近似レート$mathcalObig(lambdasqrtd (N2L2ln)で$[0,1]d$のH"古い連続関数を近似できる。
  論文  参考訳（メタデータ） (2021-02-28T13:15:55Z)
• Deep Network with Approximation Error Being Reciprocal of Width to Power of Square Root of Depth [4.468952886990851]
  超近似パワーを持つ新しいネットワークが導入された。 このネットワークは、各ニューロン内のFloor(lfloor xrfloor$)またはReLU(max0,x$)アクティベーション関数で構築されている。
  論文  参考訳（メタデータ） (2020-06-22T13:27:33Z)
• Deep Network Approximation for Smooth Functions [9.305095040004156]
  幅$mathcalO(Nln N)$と深さ$mathcalO(L L)$の深いReLUネットワークは、ほぼ最適近似誤差で$fin Cs([0,1]d)$を近似できることを示す。 我々の推定は、それぞれ$NinmathbbN+$と$LinmathbbN+$で指定された任意の幅と深さに対して有効であるという意味では漸近的ではない。
  論文  参考訳（メタデータ） (2020-01-09T15:06:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。