論文の概要: Shallow ReLU$^s$ Networks in $L^p$-Type and Sobolev Spaces: Approximation and Path-Norm Controlled Generalization

• arxiv url: http://arxiv.org/abs/2605.18468v3
• Date: Fri, 22 May 2026 07:04:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 14:44:53.689825
• Title: Shallow ReLU$^s$ Networks in $L^p$-Type and Sobolev Spaces: Approximation and Path-Norm Controlled Generalization
• Title（参考訳）: L^p$型およびソボレフ空間におけるShallow ReLU$^s$ネットワーク:近似とパスノルム制御一般化
• Authors: Weizhao Li, Fanghui Liu, Lei Shi,
• Abstract要約: 特に、$_d$が均一測度で$1le p2$のとき、近似率は$O!left(m-fracp(2s+2d+1)-2d2dpright)$ for $1le p*$と$O!left(m-fracp(4s+3d-1)-2d+24dpright)$ for $p*p2$である。 non (複数形 nons)
• 参考スコア（独自算出の注目度）: 12.871748162999062
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies approximation by shallow ReLU$^s$ networks, $σ_s(t)=\max\{0,t\}^s$, together with their generalization behavior under $\ell_1$ path-norm control. For the $L^p$-type integral spaces $\widetilde{\mathcal{F}}_{p,τ_d,s}$, $1\le p\le2$, spherical harmonic analysis yields approximation bounds for shallow networks. In particular, when $τ_d$ is the uniform measure and $1\le p<2$, the approximation rate is $O\!\left(m^{-\frac{p(2s+2d+1)-2d}{2dp}}\right)$ for $1\le p\le p^*$ and $O\!\left(m^{-\frac{p(4s+3d-1)-2d+2}{4dp}}\right)$ for $p^*<p<2$, where $p^*=\frac{2d+2}{d+3}$. Approximation bounds for Sobolev spaces $W^{α,p}$, $1\le p<2$, are obtained through embeddings into spectral Barron spaces. For nonparametric regression with sub-Gaussian noise, path-norm-regularized shallow ReLU$^s$ networks achieve minimax-optimal rates $O\!\left(n^{-\frac{d+2s+1}{2d+2s+1}}\log n\right)$ over $\mathscr{B}_s$ and $O\!\left(n^{-\frac{2α}{2α+d}}\log n\right)$ over $W^{α,\infty}$, with matching lower bounds up to logarithmic factors.
• Abstract（参考訳）: 本稿では、浅い ReLU$^s$ ネットワーク、$σ_s(t)=\max\{0,t\}^s$ による近似と、$\ell_1$ パスノルム制御の下での一般化挙動を考察する。 L^p$-型積分空間 $\widetilde{\mathcal{F}}_{p,τ_d,s}$, $1\le p\le2$ に対して、球面調和解析は浅いネットワークに対して近似境界をもたらす。 特に$τ_d$が一様測度で$1\le p<2$の場合、近似率は$O\! m^{-\frac{p(2s+2d+1)-2d}{2dp}}\right)$ for $1\le p\le p^*$ and $O\! m^{-\frac{p(4s+3d-1)-2d+2}{4dp}}\right)$ for $p^*<p<2$, where $p^*=\frac{2d+2}{d+3}$.\left(m^{-\frac{p(4s+3d-1)-2d+2}{4dp}}\right)$ ソボレフ空間の近似境界$W^{α,p}$, $1\le p<2$, はスペクトルバロン空間への埋め込みによって得られる。 準ガウス雑音による非パラメトリック回帰の場合、パスノルム規則化された浅部ReLU$s$ネットワークは最小値最適化レート$O\! \left(n^{-\frac{d+2s+1}{2d+2s+1}}\log n\right)$ over $\mathscr{B}_s$ and $O\! \left(n^{-\frac{2α}{2α+d}}\log n\right)$ over W^{α,\infty}$, with matching lower bounds to logarithmic factors。

関連論文リスト

• Near-Optimal Convergence of Accelerated Gradient Methods under Generalized and $(L_0, L_1)$-Smoothness [57.93371273485736]
  我々は、最近提案された$ell$-smoothness条件$|nabla2f(x)|| le ellleft(||nabla f(x)||right),$$$L$-smoothnessと$(L_0,L_1)$-smoothnessを一般化する関数を持つ凸最適化問題の一階法について検討する。
  論文  参考訳（メタデータ） (2025-08-09T08:28:06Z)
• Near-optimal estimates for the $\ell^p$-Lipschitz constants of deep random ReLU neural networks [3.684988521329369]
  ネットワークの幅が対数的であり,その深さが線形である要因によって,最大で異なる広帯域ネットワークに対して,高い確率上・下界を導出する。 注目すべきは、$ellp$-Lipschitz定数の振舞いは、 [1,2) $ と $p in [2,infty] $ の間に大きく異なることである。
  論文  参考訳（メタデータ） (2025-06-24T15:02:16Z)
• On the optimal approximation of Sobolev and Besov functions using deep ReLU neural networks [2.4112990554464235]
  我々は、$mathcalO((WL)-2s/d)$が実際にソボレフ埋め込み条件の下で成り立つことを示す。 我々の証明の鍵となるツールは、幅と深さの異なる深部ReLUニューラルネットワークを用いてスパースベクトルを符号化することである。
  論文  参考訳（メタデータ） (2024-09-02T02:26:01Z)
• Approximation Rates for Shallow ReLU$^k$ Neural Networks on Sobolev Spaces via the Radon Transform [12.171849953316192]
  我々は,ReLU$k$アクティベーション関数がソボレフ空間からの関数をいかに効率的に近似できるかという問題を考察する。 例えば、$qleq p$, $pgeq 2$, $s leq k + (d+1)/2$ などである。
  論文  参考訳（メタデータ） (2024-08-20T16:43:45Z)
• On the $O(\frac{\sqrt{d}}{T^{1/4}})$ Convergence Rate of RMSProp and Its Momentum Extension Measured by $\ell_1$ Norm [54.28350823319057]
  本稿では、RMSPropとその運動量拡張を考察し、$frac1Tsum_k=1Tの収束速度を確立する。 我々の収束率は、次元$d$を除くすべての係数に関して下界と一致する。 収束率は$frac1Tsum_k=1Tと類似していると考えられる。
  論文  参考訳（メタデータ） (2024-02-01T07:21:32Z)
• Private Stochastic Convex Optimization: Optimal Rates in $\ell_1$ Geometry [69.24618367447101]
  対数要因まで $(varepsilon,delta)$-differently private の最適過剰人口損失は $sqrtlog(d)/n + sqrtd/varepsilon n.$ です。 損失関数がさらなる滑らかさの仮定を満たすとき、余剰損失は$sqrtlog(d)/n + (log(d)/varepsilon n)2/3で上界(対数因子まで)であることが示される。
  論文  参考訳（メタデータ） (2021-03-02T06:53:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。