論文の概要: Sobolev Approximation of Deep ReLU Network in Log-weighted Barron Space

• arxiv url: http://arxiv.org/abs/2601.01295v1
• Date: Sat, 03 Jan 2026 22:03:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-06 16:25:22.173746
• Title: Sobolev Approximation of Deep ReLU Network in Log-weighted Barron Space
• Title（参考訳）: 対数重み付きバロン空間における深部ReLUネットワークのソボレフ近似
• Authors: Changhoon Song, Seungchan Ko, Youngjoon Hong,
• Abstract要約: 対数重み付きBarron 空間 $mathscrBlog$ を導入する。 我々は、$mathscrBlog$の関数が明示的な深さ依存性を持つ深部ReLUネットワークによって近似できることを証明した。
• 参考スコア（独自算出の注目度）: 8.36932842016193
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Universal approximation theorems show that neural networks can approximate any continuous function; however, the number of parameters may grow exponentially with the ambient dimension, so these results do not fully explain the practical success of deep models on high-dimensional data. Barron space theory addresses this: if a target function belongs to a Barron space, a two-layer network with $n$ parameters achieves an $O(n^{-1/2})$ approximation error in $L^2$. Yet classical Barron spaces $\mathscr{B}^{s+1}$ still require stronger regularity than Sobolev spaces $H^s$, and existing depth-sensitive results often assume constraints such as $sL \le 1/2$. In this paper, we introduce a log-weighted Barron space $\mathscr{B}^{\log}$, which requires a strictly weaker assumption than $\mathscr{B}^s$ for any $s>0$. For this new function space, we first study embedding properties and carry out a statistical analysis via the Rademacher complexity. Then we prove that functions in $\mathscr{B}^{\log}$ can be approximated by deep ReLU networks with explicit depth dependence. We then define a family $\mathscr{B}^{s,\log}$, establish approximation bounds in the $H^1$ norm, and identify maximal depth scales under which these rates are preserved. Our results clarify how depth reduces regularity requirements for efficient representation, offering a more precise explanation for the performance of deep architectures beyond the classical Barron setting, and for their stable use in high-dimensional problems used today.
• Abstract（参考訳）: 普遍近似定理は、ニューラルネットワークが任意の連続関数を近似できることを示しているが、パラメータの数は周囲次元と指数関数的に増加する可能性があるため、これらの結果は高次元データ上での深層モデルの実用的成功を完全に説明できない。 ターゲット関数がバロン空間に属するなら、$n$パラメータを持つ2層ネットワークは$L^2$の近似誤差を達成できる。 しかし、古典的バロン空間 $\mathscr{B}^{s+1}$ はいまだソボレフ空間 $H^s$ よりも強い正則性を必要としており、既存の深度に敏感な結果は $sL \le 1/2$ のような制約を仮定することが多い。 本稿では、対数重み付きバロン空間$\mathscr{B}^{\log}$を導入し、任意の$s>0$に対して$\mathscr{B}^s$よりも厳密な仮定を必要とする。 この新しい関数空間に対して、埋め込み特性を最初に研究し、Rademacher複雑性を用いて統計的解析を行う。 すると、$\mathscr{B}^{\log}$ の関数は、明示的な深さ依存性を持つディープ ReLU ネットワークによって近似できることを示す。 次に、ファミリ $\mathscr{B}^{s,\log}$ を定義し、$H^1$ノルムで近似境界を確立し、これらのレートが保存される際の最大深さスケールを特定する。 この結果から,従来のバロン・セッティングを超越した深層建築の性能と,現在使われている高次元問題への安定的利用について,より正確な説明が可能となった。

関連論文リスト

• On the optimal approximation of Sobolev and Besov functions using deep ReLU neural networks [2.4112990554464235]
  我々は、$mathcalO((WL)-2s/d)$が実際にソボレフ埋め込み条件の下で成り立つことを示す。 我々の証明の鍵となるツールは、幅と深さの異なる深部ReLUニューラルネットワークを用いてスパースベクトルを符号化することである。
  論文  参考訳（メタデータ） (2024-09-02T02:26:01Z)
• Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
  単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の勾配勾配勾配学習問題について検討する。 SGDに基づくアルゴリズムにより最適化された2層ニューラルネットワークは、情報指数に支配されない複雑さで$f_*$を学習する。
  論文  参考訳（メタデータ） (2024-06-03T17:56:58Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Optimal Approximation Rates for Deep ReLU Neural Networks on Sobolev and Besov Spaces [2.7195102129095003]
  ReLU活性化関数を持つディープニューラルネットワークは、ソボレフ空間$Ws(L_q(Omega))$とBesov空間$Bs_r(L_q(Omega))$の関数を近似することができる。 この問題は、様々な分野におけるニューラルネットワークの適用を研究する際に重要である。
  論文  参考訳（メタデータ） (2022-11-25T23:32:26Z)
• Understanding Deep Neural Function Approximation in Reinforcement Learning via $\epsilon$-Greedy Exploration [53.90873926758026]
  本稿では、強化学習(RL)における深部神経機能近似の理論的研究について述べる。 我々は、Besov(およびBarron)関数空間によって与えられるディープ(および2層)ニューラルネットワークによる$epsilon$-greedy探索により、バリューベースのアルゴリズムに焦点を当てる。 我々の解析は、ある平均測度$mu$の上の$L2(mathrmdmu)$-integrable空間における時間差誤差を再構成し、非イド設定の下で一般化問題に変換する。
  論文  参考訳（メタデータ） (2022-09-15T15:42:47Z)
• Low-degree learning and the metric entropy of polynomials [44.99833362998488]
  少なくとも$Omega(sqrtvarepsilon)2dlog n leq log mathsfM(mathscrF_n,d,|cdot|_L,varepsilon)は2辺の推定値$c(1-varepsilon)2dlogを満たす。
  論文  参考訳（メタデータ） (2022-03-17T23:52:08Z)
• Optimal Approximation Rates and Metric Entropy of ReLU$^k$ and Cosine Networks [0.0]
  対応する浅層ニューラルネットワークによって効率的に近似できる関数の最大のバナッハ空間は、集合 $pmsigma(omegacdot x + b)$ の閉凸包のゲージによってノルムが与えられる空間であることを示す。 これらのゲージ空間の単位球の$L2$-metricエントロピーの精度を確立し、その結果、浅いReLU$k$ネットワークに対する最適近似速度を導出する。
  論文  参考訳（メタデータ） (2021-01-29T02:29:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。