論文の概要: Shallow ReLU$^s$ Networks in $L^p$-Type and Sobolev Spaces: Approximation and Path-Norm Controlled Generalization
- arxiv url: http://arxiv.org/abs/2605.18468v2
- Date: Thu, 21 May 2026 16:40:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-22 16:35:41.884785
- Title: Shallow ReLU$^s$ Networks in $L^p$-Type and Sobolev Spaces: Approximation and Path-Norm Controlled Generalization
- Title（参考訳）: L^p$型およびソボレフ空間におけるShallow ReLU$^s$ネットワーク:近似とパスノルム制御一般化
- Authors: Weizhao Li, Fanghui Liu, Lei Shi,
- Abstract要約: バロン空間とソボレフ空間上のパスノルム正規化浅いReLU$s$ネットワークに対する極小最大最適化境界を証明した。
また、スペクトルバロン空間に埋め込むことで、ソボレフ空間の近似レートを1le p2$の範囲で$W,p$とする。
- 参考スコア（独自算出の注目度）: 12.871748162999062
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study approximation by shallow ReLU$^s$ networks, $σ_s(t)=\max{0,t}^s$, and the generalization behavior of such networks under $\ell_1$ path-norm control. For the $L^p$-type integral spaces $\widetilde{\mathcal{F}}_{p,τ_d,s}$, $1\le p\le2$, we establish approximation bounds for shallow networks using spherical harmonic analysis. In particular, when the parameter measure is the uniform measure $τ_d$ and $p<p^*=(2d+2)/(d+3)$, we obtain the rate $O(m^{-1/2-d(2-p)/(2d(2-p)+2p(2s+d+1))}\log^{3/2}m)$, which improves the corresponding random-feature rate. We also derive approximation rates for Sobolev spaces $W^{α,p}$ in the range $1\le p<2$ by embedding them into spectral Barron spaces. Finally, for nonparametric regression with sub-Gaussian noise, we prove minimax-optimal generalization bounds for path-norm-regularized shallow ReLU$^s$ networks over Barron and Sobolev spaces, with matching lower bounds up to logarithmic factors.
- Abstract（参考訳）: 浅いReLU$^s$ネットワーク,$σ_s(t)=\max{0,t}^s$,および$\ell_1$パスノルム制御の下でのそのようなネットワークの一般化挙動について検討する。
L^p$-型積分空間 $\widetilde{\mathcal{F}}_{p,τ_d,s}$, $1\le p\le2$ に対して、球面調和解析を用いて浅いネットワークに対する近似境界を確立する。
特に、パラメータ測度が一様測度 $τ_d$ と $p<p^*=(2d+2)/(d+3)$ であるとき、$O(m^{-1/2-d(2-p)/(2d(2-p)+2p(2s+d+1))}\log^{3/2}m)$ を得る。
また、スペクトルバロン空間に埋め込むことにより、ソボレフ空間の近似レートを$W^{α,p}$の範囲で導出する。
最後に、準ガウス雑音を伴う非パラメトリック回帰に対して、経路ノルム正規化浅部ReLU$^s$ネットワークに対する最小最大最適一般化境界をバロンおよびソボレフ空間上で証明する。
関連論文リスト
- Near-Optimal Convergence of Accelerated Gradient Methods under Generalized and $(L_0, L_1)$-Smoothness [57.93371273485736]
我々は、最近提案された$ell$-smoothness条件$|nabla2f(x)|| le ellleft(||nabla f(x)||right),$$$L$-smoothnessと$(L_0,L_1)$-smoothnessを一般化する関数を持つ凸最適化問題の一階法について検討する。
論文 参考訳（メタデータ） (2025-08-09T08:28:06Z) - Near-optimal estimates for the $\ell^p$-Lipschitz constants of deep random ReLU neural networks [3.684988521329369]
ネットワークの幅が対数的であり,その深さが線形である要因によって,最大で異なる広帯域ネットワークに対して,高い確率上・下界を導出する。
注目すべきは、$ellp$-Lipschitz定数の振舞いは、 [1,2) $ と $p in [2,infty] $ の間に大きく異なることである。
論文 参考訳（メタデータ） (2025-06-24T15:02:16Z) - On the optimal approximation of Sobolev and Besov functions using deep ReLU neural networks [2.4112990554464235]
我々は、$mathcalO((WL)-2s/d)$が実際にソボレフ埋め込み条件の下で成り立つことを示す。
我々の証明の鍵となるツールは、幅と深さの異なる深部ReLUニューラルネットワークを用いてスパースベクトルを符号化することである。
論文 参考訳（メタデータ） (2024-09-02T02:26:01Z) - Approximation Rates for Shallow ReLU$^k$ Neural Networks on Sobolev Spaces via the Radon Transform [12.171849953316192]
我々は,ReLU$k$アクティベーション関数がソボレフ空間からの関数をいかに効率的に近似できるかという問題を考察する。
例えば、$qleq p$, $pgeq 2$, $s leq k + (d+1)/2$ などである。
論文 参考訳（メタデータ） (2024-08-20T16:43:45Z) - On the $O(\frac{\sqrt{d}}{T^{1/4}})$ Convergence Rate of RMSProp and Its Momentum Extension Measured by $\ell_1$ Norm [54.28350823319057]
本稿では、RMSPropとその運動量拡張を考察し、$frac1Tsum_k=1Tの収束速度を確立する。
我々の収束率は、次元$d$を除くすべての係数に関して下界と一致する。
収束率は$frac1Tsum_k=1Tと類似していると考えられる。
論文 参考訳（メタデータ） (2024-02-01T07:21:32Z) - Private Stochastic Convex Optimization: Optimal Rates in $\ell_1$
Geometry [69.24618367447101]
対数要因まで $(varepsilon,delta)$-differently private の最適過剰人口損失は $sqrtlog(d)/n + sqrtd/varepsilon n.$ です。
損失関数がさらなる滑らかさの仮定を満たすとき、余剰損失は$sqrtlog(d)/n + (log(d)/varepsilon n)2/3で上界(対数因子まで)であることが示される。
論文 参考訳（メタデータ） (2021-03-02T06:53:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。