論文の概要: On the Expressiveness of Rational ReLU Neural Networks With Bounded Depth

• arxiv url: http://arxiv.org/abs/2502.06283v2
• Date: Sat, 15 Feb 2025 13:21:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:03:09.817998
• Title: On the Expressiveness of Rational ReLU Neural Networks With Bounded Depth
• Title（参考訳）: 境界深さを持つRLUニューラルネットワークの表現性について
• Authors: Gennadiy Averkov, Christopher Hojny, Maximilian Merkert,
• Abstract要約: 重みが十進分数であるReLUネットワークにおいて、$F_n$は少なくとも$lceillog_3 (n+1)rceil隠蔽層を持つネットワークでしか表現できないことを示す。 実用的に関係のあるReLUネットワークの深さの非定常下界を初めて提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: To confirm that the expressive power of ReLU neural networks grows with their depth, the function $F_n = \max \{0,x_1,\ldots,x_n\}$ has been considered in the literature. A conjecture by Hertrich, Basu, Di Summa, and Skutella [NeurIPS 2021] states that any ReLU network that exactly represents $F_n$ has at least $\lceil\log_2 (n+1)\rceil$ hidden layers. The conjecture has recently been confirmed for networks with integer weights by Haase, Hertrich, and Loho [ICLR 2023]. We follow up on this line of research and show that, within ReLU networks whose weights are decimal fractions, $F_n$ can only be represented by networks with at least $\lceil\log_3 (n+1)\rceil$ hidden layers. Moreover, if all weights are $N$-ary fractions, then $F_n$ can only be represented by networks with at least $\Omega( \frac{\ln n}{\ln \ln N})$ layers. These results are a partial confirmation of the above conjecture for rational ReLU networks, and provide the first non-constant lower bound on the depth of practically relevant ReLU networks.
• Abstract（参考訳）: ReLUニューラルネットワークの表現力はその深さとともに増大することを示すため、文献では$F_n = \max \{0,x_1,\ldots,x_n\}$という関数が検討されている。 Hertrich, Basu, Di Summa, Skutella [NeurIPS 2021] による予想では、$F_n$を正確に表すReLUネットワークは、少なくとも$\lceil\log_2 (n+1)\rceil$隠された層を持つ。 この予想は最近、Haase, Hertrich, Loho [ICLR 2023] による整数重み付きネットワークについて確認されている。 この研究の行に続いて、重みが十進分数であるReLUネットワークにおいて、$F_n$は少なくとも$\lceil\log_3 (n+1)\rceil$隠された層を持つネットワークでしか表現できないことを示す。 さらに、全ての重みが$N$-ary分数であれば、$F_n$は少なくとも$Omega( \frac{\ln n}{\ln \ln N})$層を持つネットワークでしか表現できない。 これらの結果は、有理ReLUネットワークに対する上記の予想を部分的に確認し、実用的に関係のあるReLUネットワークの深さにおける最初の非定常下界を与える。

関連論文リスト

• Deep Neural Networks: Multi-Classification and Universal Approximation [0.0]
  我々は,幅2ドル,深さ2N+4M-1$のReLUディープニューラルネットワークが,$N$要素からなる任意のデータセットに対して有限標本記憶を達成できることを実証した。 また、$W1,p$関数を近似するための深さ推定と$Lp(Omega;mathbbRm)$ for $mgeq1$を近似するための幅推定も提供する。
  論文  参考訳（メタデータ） (2024-09-10T14:31:21Z)
• Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
  3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。 次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。 この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
  論文  参考訳（メタデータ） (2023-11-23T02:19:32Z)
• Rates of Approximation by ReLU Shallow Neural Networks [8.22379888383833]
  隠れたニューロンが$m$のReLU浅部ニューラルネットワークは、H"古い空間からの関数を均一に近似できることを示す。 そのようなレートは$O(m-fracrd)$に非常に近いが、$fracd+2d+4d+4$は、$d$が大きければ1ドルに近いという意味では$O(m-fracrd)$である。
  論文  参考訳（メタデータ） (2023-07-24T00:16:50Z)
• Shallow neural network representation of polynomials [91.3755431537592]
  d+1+sum_r=2Rbinomr+d-1d-1[binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1]
  論文  参考訳（メタデータ） (2022-08-17T08:14:52Z)
• Online Lewis Weight Sampling [62.38157566916501]
  コーエンとペンはルイスの重量サンプリングを理論計算機科学コミュニティに導入した。 この重要なプリミティブを、オンラインコアセット、スライディングウィンドウ、対向ストリーミングモデルなど、他の設定に拡張した作品もいくつかある。 オンラインコアセット,スライディングウィンドウ,および逆ストリーミングモデルにおいて,すべての$pin(0,infty)$に対して,ほぼ最適に近い$ell_p$サブスペース埋め込みを設計する。
  論文  参考訳（メタデータ） (2022-07-17T19:40:51Z)
• Expressive power of binary and ternary neural networks [91.3755431537592]
  3次重みを持つ深いスパースReLUネットワークと2次重みを持つ深いReLUネットワークは、[0,1]d$上の$beta$-H"古い関数を近似できることを示す。
  論文  参考訳（メタデータ） (2022-06-27T13:16:08Z)
• On the Optimal Memorization Power of ReLU Neural Networks [53.15475693468925]
  フィードフォワードReLUニューラルネットワークは、軽度の分離可能性仮定を満たす任意のN$ポイントを記憶することができることを示す。 このような大きなビットの複雑性を持つことは、サブ線形数のパラメータを記憶するのに必要であり、十分であることを示す。
  論文  参考訳（メタデータ） (2021-10-07T05:25:23Z)
• An Exponential Improvement on the Memorization Capacity of Deep Threshold Networks [40.489350374378645]
  我々は$widetildemathcalO(e1/delta2+sqrtn)$ニューロンと$widetildemathcalO(fracddelta+n)$ウェイトが十分であることを証明した。 また、超平面を用いて球面上の$n$の点を分離する純粋に幾何学的な問題にニューラルネットワークを接続することで、新しい下界を証明した。
  論文  参考訳（メタデータ） (2021-06-14T19:42:32Z)
• Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
  2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。 過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
  論文  参考訳（メタデータ） (2020-07-09T07:09:28Z)
• Sharp Representation Theorems for ReLU Networks with Precise Dependence on Depth [26.87238691716307]
  D$ReLU層を持つニューラルネットワークに対して,2乗損失下でのシャープな表現結果を証明した。 その結果、より深いネットワークはよりスムーズな関数を表現するのに優れているという仮説が実証された。
  論文  参考訳（メタデータ） (2020-06-07T05:25:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。