論文の概要: Every Layer Counts: An Exponential $L_2$ Depth Hierarchy for ReLU Networks

• arxiv url: http://arxiv.org/abs/2608.23877v2
• Date: Sun, 30 Aug 2026 12:24:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.684803
• Title: Every Layer Counts: An Exponential $L_2$ Depth Hierarchy for ReLU Networks
• Title（参考訳）: すべてのレイヤカウント:ReLUネットワークの指数$L_2$depth階層
• Abstract要約: 我々は、ReLUニューラルネットワークに対して、任意のReLU層が指数関数的に多くのニューロンを保存できる深さ階層を証明した。 我々はまた、より正規なターゲットに対して正確な分離を証明し、これはグローバルに$[0,1]$-valued と $mathcalO(sqrt d)$-cubeschitz である。
• 参考スコア（独自算出の注目度）: 3.0120086446979877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We prove a depth hierarchy for ReLU neural networks in which every additional ReLU layer can save exponentially many neurons. For all $k\geq2$, we construct a globally $[0,1]$-valued, $1$-Lipschitz function realized by a depth-$(k+1)$ network of width $\mathcal{O}(d^4)$, whereas any depth-$k$ network with unrestricted weights and width at most $\frac{2^d}{2d(k-1)}$ has squared $L_2$ error at least $1/24$ under an absolutely continuous distribution supported at exponential distance from the origin. To the best of our knowledge, this is the first exponential hierarchy across all adjacent fixed depths, and the first exponential separation for ReLU networks between two fixed depths whose shallower network has depth at least $3$. The lower bound also immediately yields the corresponding hierarchy for exact computation. Moreover, the case $k=2$ gives a compactly supported separation between depths $3$ and $2$ with unrestricted shallow-network weights, answering a question raised by Safran, Eldan, and Shamir (2019). The distribution used in our construction nevertheless has all its mass at exponential radius, placing the hierarchy outside the regularity regime in which such a separation would imply major threshold-circuit lower bounds. We also prove an exact separation for a more regular target, which is globally $[0,1]$-valued and $\mathcal{O}(\sqrt d)$-Lipschitz and maps the unit hypercube onto $[0,1]$. It is computed by a polynomial-width depth-$4$ network, whereas any depth-$3$ network agreeing with it on the unit hypercube requires exponentially many first-layer neurons, even with unrestricted weights.
• Abstract（参考訳）: 我々は、ReLUニューラルネットワークに対して、任意のReLU層が指数関数的に多くのニューロンを保存できる深さ階層を証明した。 すべての$k\geq2$に対して、深さ-(k+1)$幅$\mathcal{O}(d^4)$のネットワークによって実現される大域的な$[0,1]$値の1ドルLipschitz関数を構築し、一方、制限されていない重みと幅が最大で$\frac{2^d}{2d(k-1)}$の深さ-$k$ネットワークは、原点から指数的距離で支えられる絶対連続分布の下で少なくとも1/24$の誤差を2乗した。 我々の知る限り、これは隣接するすべての固定深度にまたがる最初の指数的階層であり、より浅いネットワークが少なくとも3ドル以上の深さを持つ2つの固定深度の間のReLUネットワークに対する最初の指数的分離である。 下位境界もまた、正確な計算のための対応する階層を即座に得る。 さらに、$k=2$の場合、サフラン、エルダン、シャミール (2019) によって提起された質問に答えて、制限のない浅層ネットワーク重みを持つ深さの3ドルと2ドルをコンパクトに支持できる分離を与える。 それにもかかわらず、我々の建設で用いられる分布は、全質量を指数半径で表し、そのような分離が大きなしきい値回路下界を示唆する規則性体制の外側に階層を置く。 さらに、より正規なターゲットに対して正確な分離を証明し、これは大域的に$[0,1]$-valued と $\mathcal{O}(\sqrt d)$-Lipschitz であり、単位ハイパーキューブを $[0,1]$ にマッピングする。 これは多項式幅の深さ4$ネットワークで計算されるが、単位ハイパーキューブ上の3$ネットワークは、制限のない重みを持つ場合でも指数関数的に多くの第一層ニューロンを必要とする。

関連論文リスト

• The Value of Depth in Message Passing on Sparse Graphs: A Kesten-Stigum Dichotomy [0.0]
  グラフニューラルネットワークがスパースグラフにどの程度の深さを持つ必要があるかを研究する。 深さの値は、Kesten-Stigum比$=2$である。 任意の深さの局所分類器は、孤立根によって設定された普遍床 $e-(-)$ を破ることはない。
  論文  参考訳（メタデータ） (2026-07-18T07:11:45Z)
• A law of robustness for two-layer neural networks with arbitrary weights [0.0]
  Bubeck、Li、Nagarajは、一般的なデータでは、ノイズラベルに適合する$m$のニューロンを持つ任意の2層ニューラルネットワークは、リプシッツ定数を持つ必要があると推測した。 予想法則を1つの対数係数まで証明し、特にReLUネットワークにおいて連続的な片方向線形活性化を行う。
  論文  参考訳（メタデータ） (2026-07-08T17:44:15Z)
• Geometric Layer-wise Approximation Rates for Deep Networks [13.496991650323038]
  我々は,精密なスケール依存解釈を実現する枠組みを開発する。 我々のネットワーク設計は、深度が進歩的な改善メカニズムとして機能するマルチグレードのディープラーニングにインスパイアされている。
  論文  参考訳（メタデータ） (2026-04-22T06:09:20Z)
• Constructive Universal Approximation and Finite Sample Memorization by Narrow Deep ReLU Networks [0.0]
  我々は$N$の異なる点を持つデータセットが$mathbbRd$と$M$の出力クラスを正確に分類できることを示した。 また、任意の有界領域に対して$Lp(Omega; mathbbRm)$の普遍近似定理も証明する。 我々の結果は、深層ニューラルネットワークにおける制御性、表現性、およびトレーニングのダイナミクスを接続する統一的で解釈可能なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-09-10T14:31:21Z)
• Implicit Hypersurface Approximation Capacity in Deep ReLU Networks [0.0]
  本稿では,ReLUアクティベーションを用いたディープフィードフォワードニューラルネットワークの幾何近似理論を開発する。 幅$d+1$の深い完全連結ReLUネットワークは、そのゼロ輪郭として暗黙的に近似を構成することができることを示す。
  論文  参考訳（メタデータ） (2024-07-04T11:34:42Z)
• Bayesian Inference with Deep Weakly Nonlinear Networks [57.95116787699412]
  我々は,完全連結ニューラルネットワークによるベイズ推定が解けることを示す物理レベルの厳密さを示す。 我々はモデルエビデンスを計算し、任意の温度で1/N$で任意の順序に後続する手法を提供する。
  論文  参考訳（メタデータ） (2024-05-26T17:08:04Z)
• Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
  3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。 次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。 この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
  論文  参考訳（メタデータ） (2023-11-23T02:19:32Z)
• On Expressivity of Height in Neural Networks [29.49793694185358]
  私たちは、幅、深さ、高さが特徴のニューラルネットワークを3Dネットワークと呼んでいる。 我々は、同じ数のニューロンとパラメータを与えられた場合、幅$W$、深さ$K$、高さ$H$の3D ReLUネットワークは、幅$Htimes W$および深さ$K$の2Dネットワークよりも表現力が高いことを示す。
  論文  参考訳（メタデータ） (2023-05-11T11:54:36Z)
• Understanding Deep Neural Function Approximation in Reinforcement Learning via $\epsilon$-Greedy Exploration [53.90873926758026]
  本稿では、強化学習(RL)における深部神経機能近似の理論的研究について述べる。 我々は、Besov(およびBarron)関数空間によって与えられるディープ(および2層)ニューラルネットワークによる$epsilon$-greedy探索により、バリューベースのアルゴリズムに焦点を当てる。 我々の解析は、ある平均測度$mu$の上の$L2(mathrmdmu)$-integrable空間における時間差誤差を再構成し、非イド設定の下で一般化問題に変換する。
  論文  参考訳（メタデータ） (2022-09-15T15:42:47Z)
• Shallow neural network representation of polynomials [91.3755431537592]
  d+1+sum_r=2Rbinomr+d-1d-1[binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1]
  論文  参考訳（メタデータ） (2022-08-17T08:14:52Z)
• Expressive power of binary and ternary neural networks [91.3755431537592]
  3次重みを持つ深いスパースReLUネットワークと2次重みを持つ深いReLUネットワークは、[0,1]d$上の$beta$-H"古い関数を近似できることを示す。
  論文  参考訳（メタデータ） (2022-06-27T13:16:08Z)
• On minimal representations of shallow ReLU networks [0.0]
  f$の最小表現は$n$、$n+1$または$n+2$のどちらかを使用する。 特に入力層が一次元の場合、最小表現は常に少なくとも$n+1$のニューロンで使用されるが、高次元設定では$n+2$のニューロンを必要とする関数が存在する。
  論文  参考訳（メタデータ） (2021-08-12T10:22:24Z)
• Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
  2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。 過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
  論文  参考訳（メタデータ） (2020-07-09T07:09:28Z)
• Sharp Representation Theorems for ReLU Networks with Precise Dependence on Depth [26.87238691716307]
  D$ReLU層を持つニューラルネットワークに対して,2乗損失下でのシャープな表現結果を証明した。 その結果、より深いネットワークはよりスムーズな関数を表現するのに優れているという仮説が実証された。
  論文  参考訳（メタデータ） (2020-06-07T05:25:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。