論文の概要: Complexity of One-Dimensional ReLU DNNs

• arxiv url: http://arxiv.org/abs/2512.08091v1
• Date: Mon, 08 Dec 2025 23:01:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-10 22:28:07.748478
• Title: Complexity of One-Dimensional ReLU DNNs
• Title（参考訳）: 1次元ReLU DNNの複雑さ
• Authors: Jonathan Kogan, Hayden Jananthan, Jeremy Kepner,
• Abstract要約: 線形領域のレンズを用いた1次元(1次元)ReLU深部ニューラルネットワークの表現性について検討した。 本稿では,ネットワークが使用する期待領域を,固定許容範囲内でターゲットを近似するのに必要となる最小数と比較する,関数適応型疎結合の概念を提案する。
• 参考スコア（独自算出の注目度）: 0.1475753959416278
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the expressivity of one-dimensional (1D) ReLU deep neural networks through the lens of their linear regions. For randomly initialized, fully connected 1D ReLU networks (He scaling with nonzero bias) in the infinite-width limit, we prove that the expected number of linear regions grows as $\sum_{i = 1}^L n_i + \mathop{o}\left(\sum_{i = 1}^L{n_i}\right) + 1$, where $n_\ell$ denotes the number of neurons in the $\ell$-th hidden layer. We also propose a function-adaptive notion of sparsity that compares the expected regions used by the network to the minimal number needed to approximate a target within a fixed tolerance.
• Abstract（参考訳）: 線形領域のレンズを用いた1次元(1次元)ReLU深部ニューラルネットワークの表現性について検討した。 無限幅極限におけるランダムに初期化され、完全連結な1D ReLUネットワーク(彼は非ゼロバイアスでスケーリングする)に対して、期待される線形領域の数は $\sum_{i = 1}^L n_i + \mathop{o}\left(\sum_{i = 1}^L{n_i}\right) + 1$ となり、$n_\ell$ は $\ell$-th hidden layer 内のニューロンの数を表す。 また,ネットワークが使用する期待領域を,固定許容範囲内でターゲットを近似するのに必要となる最小数と比較する,関数適応型疎結合の概念を提案する。

関連論文リスト

• Constructive Universal Approximation and Finite Sample Memorization by Narrow Deep ReLU Networks [0.0]
  我々は$N$の異なる点を持つデータセットが$mathbbRd$と$M$の出力クラスを正確に分類できることを示した。 また、任意の有界領域に対して$Lp(Omega; mathbbRm)$の普遍近似定理も証明する。 我々の結果は、深層ニューラルネットワークにおける制御性、表現性、およびトレーニングのダイナミクスを接続する統一的で解釈可能なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-09-10T14:31:21Z)
• Rates of Approximation by ReLU Shallow Neural Networks [8.22379888383833]
  隠れたニューロンが$m$のReLU浅部ニューラルネットワークは、H"古い空間からの関数を均一に近似できることを示す。 そのようなレートは$O(m-fracrd)$に非常に近いが、$fracd+2d+4d+4$は、$d$が大きければ1ドルに近いという意味では$O(m-fracrd)$である。
  論文  参考訳（メタデータ） (2023-07-24T00:16:50Z)
• The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich Regimes [75.59720049837459]
  無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。 有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
  論文  参考訳（メタデータ） (2022-12-23T04:48:04Z)
• Shallow neural network representation of polynomials [91.3755431537592]
  d+1+sum_r=2Rbinomr+d-1d-1[binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1]
  論文  参考訳（メタデータ） (2022-08-17T08:14:52Z)
• Feature Learning in $L_{2}$-regularized DNNs: Attraction/Repulsion and Sparsity [9.077741848403791]
  パラメータの損失は、トレーニングセットの層単位でのアクティベーション$Z_ell$の損失に再計算可能であることを示す。 この改革は、機能学習の背景にあるダイナミクスを明らかにします。
  論文  参考訳（メタデータ） (2022-05-31T14:10:15Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Deep neural network approximation of analytic functions [91.3755431537592]
  ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ 我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
  論文  参考訳（メタデータ） (2021-04-05T18:02:04Z)
• Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
  2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。 過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
  論文  参考訳（メタデータ） (2020-07-09T07:09:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。