論文の概要: Depth Separation for Neural Networks under Gaussian Measure

• arxiv url: http://arxiv.org/abs/2610.28800v1
• Date: Tue, 20 Oct 2026 18:24:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.120843
• Title: Depth Separation for Neural Networks under Gaussian Measure
• Title（参考訳）: ガウス測定によるニューラルネットワークの深さ分離
• Abstract要約: 標準ガウス測度の下では、半径関数が$L2$であり、Deep-3 ReLUニューラルネットワークによって十分小さな$L2$誤差に近似できることを示す。 放射関数がHermite展開の高周波数でかなりの質量を持つ場合、小さな幅と有界な重みを持つ深さ2ニューラルネットでは十分に近似できないことを示す。
• 参考スコア（独自算出の注目度）: 0.659529078336196
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We revisit the problem of depth separation for neural networks, as studied by Eldan and Shamir, Daniely, and others. Specifically, we consider the natural setting of $L^2$ approximation of radial functions under the standard Gaussian measure in $d$ dimensions. We show that there is a radial function in $L^2$ under the standard Gaussian measure that can be approximated to a fixed sufficiently small $L^2$ error by a depth-3 ReLU neural network of polynomial size in $d$ but can only be approximated by depth-2 networks with subexponentially bounded weights if their size is at least exponential in $d$. For that, we prove a general result showing that if a radial function has substantial mass in the high frequencies of its Hermite expansion, then it cannot be well approximated by a depth-2 neural network with small width and bounded weights. All theorems, lemmas, propositions, and corollaries are verified in Lean~4.
• Abstract（参考訳）: 我々は、エルダンやシャミール、ダニーなどによって研究されたニューラルネットワークの深さ分離の問題を再考する。 具体的には、標準ガウス測度の下での$d$次元のラジアル関数の近似の自然な設定を考える。 標準ガウス測度の下では、半径関数が$L^2$で、深さ3で十分小さい$L^2$の誤差に近似できるが、その大きさが$d$で少なくとも指数関数的であれば、深さ2でのみ近似できる。 そのため, 半径関数がHermite展開の高周波にかなりの質量を持つ場合, 幅と重みが小さいディープ2ニューラルネットワークではよく近似できないことを示す。 定理、補題、命題、結論はLean~4で検証される。

関連論文リスト

• Error bounds in Sobolev norms for approximations with norm constrained ReLU neural networks [1.6265206020315703]
  We analyze how sobolev function in $Wn,p$ can be almostd by neural network with width $W$, depth $L$ and path norm bounded by $K$。 深層ネットワークの場合、幅$W$と深さ$L$が十分大きい場合、その近似値$mathcalO(K-(n-1)/(d+d/p+1))$が成り立つことを示し、滑らかさの制限を除去する。
  論文  参考訳（メタデータ） (2026-09-17T09:10:24Z)
• Finite-Dimensional Gaussian Approximation for Deep Neural Networks: Universality in Random Weights [15.424946932398713]
  有限次モーメントを持つ無作為重みを持つディープニューラルネットワークの有限次元分布(FDD)について検討する。 我々は、FDDとガウス極限の間のワッサーシュタイン-1$ノルムにガウス近似境界を確立する。 すべての幅が共通のスケールパラメータ$n$に比例し、隠された層が$L-1$である特別な場合、任意の$epsilon > 0$に対して$n-(1/6)L-1 + epsilon$の収束率を得る。
  論文  参考訳（メタデータ） (2025-07-16T23:41:09Z)
• Bayesian Inference with Deep Weakly Nonlinear Networks [57.95116787699412]
  我々は,完全連結ニューラルネットワークによるベイズ推定が解けることを示す物理レベルの厳密さを示す。 我々はモデルエビデンスを計算し、任意の温度で1/N$で任意の順序に後続する手法を提供する。
  論文  参考訳（メタデータ） (2024-05-26T17:08:04Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Depth Separations in Neural Networks: Separating the Dimension from the Accuracy [9.783697404304027]
  我々は、(実入力で)深度2と深度3ニューラルネットの指数的なサイズ分離を証明した。 対象関数が深度3ネットワークを用いて効率的に表現できる場合であっても,次元の呪いは深さ2の近似で現れることを示す。
  論文  参考訳（メタデータ） (2024-02-11T17:27:26Z)
• How Many Neurons Does it Take to Approximate the Maximum? [10.995895410470279]
  我々は、$d$入力以上の最大関数を近似するために必要なニューラルネットワークのサイズについて検討する。 様々な深さにまたがる近似に必要な幅について, 新たな下限と上限を提供する。
  論文  参考訳（メタデータ） (2023-07-18T12:47:35Z)
• Effective Minkowski Dimension of Deep Nonparametric Regression: Function Approximation and Statistical Theories [70.90012822736988]
  ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。 本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
  論文  参考訳（メタデータ） (2023-06-26T17:13:31Z)
• Understanding Deep Neural Function Approximation in Reinforcement Learning via $\epsilon$-Greedy Exploration [53.90873926758026]
  本稿では、強化学習(RL)における深部神経機能近似の理論的研究について述べる。 我々は、Besov(およびBarron)関数空間によって与えられるディープ(および2層)ニューラルネットワークによる$epsilon$-greedy探索により、バリューベースのアルゴリズムに焦点を当てる。 我々の解析は、ある平均測度$mu$の上の$L2(mathrmdmu)$-integrable空間における時間差誤差を再構成し、非イド設定の下で一般化問題に変換する。
  論文  参考訳（メタデータ） (2022-09-15T15:42:47Z)
• Size and Depth Separation in Approximating Natural Functions with Neural Networks [52.73592689730044]
  本稿では,ReLUネットワークを用いた自然関数の近似におけるサイズと深さの利点を示す。 我々は、そのような結果が$O(d)$を超えることを証明するための複雑性理論上の障壁を示す。 また、サイズ$O(d)$のネットワークで近似できる明示的な自然関数も示している。
  論文  参考訳（メタデータ） (2021-01-30T21:30:11Z)
• A Universal Approximation Theorem of Deep Neural Networks for Expressing Probability Distributions [12.100913944042972]
  ReLU 活性化を伴う深層ニューラルネットワーク $g:mathbbRdrightarrow mathbbR$ が存在することを示す。 ニューラルネットワークのサイズは、1ドルのワッサーシュタイン距離が相違点として使用される場合、$d$で指数関数的に成長することができる。
  論文  参考訳（メタデータ） (2020-04-19T14:45:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。