論文の概要: Minimum Block Width for Universal Approximation by Residual Neural Networks with Inner Width One

• arxiv url: http://arxiv.org/abs/2607.04597v2
• Date: Mon, 13 Jul 2026 05:25:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.254419
• Title: Minimum Block Width for Universal Approximation by Residual Neural Networks with Inner Width One
• Title（参考訳）: 内部幅を有する残差ニューラルネットワークによるユニバーサル近似のための最小ブロック幅
• Authors: Qi Zhou, Xuan Zhou, Xiao-Song Yang,
• Abstract要約: 最小ブロック幅が$maxd_x,d_y$であることを示す。 任意の活性化関数族に対して、ブロック幅が$maxd_x, d_y$未満の残差ニューラルネットワークでは近似できない関数が存在することを示す。
• 参考スコア（独自算出の注目度）: 9.00733527455972
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we study the universal approximation property of residual neural networks, and obtain some new results. For input and output dimensions $d_x$ and $d_y$, and LeakyReLU, ReLU, ReLU-like activation functions, the upper and lower bounds of the minimum block width are established. To achieve $L^p$ approximation $(1\leq p <+\infty)$ on any compact domain, we show that the exact minimum block width is $\max\{d_x,d_y\}$ when each residual branch has inner width 1. Furthermore, we show that residual neural networks with block width $\min\{d_x+d_y, \max\{2d_x+1,d_y\}\}$ can achieve uniform approximation on any compact domain under the constraint that each residual branch has inner width 1. Besides, for any activation function family, we prove that there exist functions that cannot be approximated by residual neural networks with block width less than $\max\{d_x, d_y\}$, both in the $L^p$ sense and the uniform sense, regardless of inner width.
• Abstract（参考訳）: 本稿では,残差ニューラルネットワークの普遍近似特性について検討し,新しい結果を得た。 入力及び出力寸法$d_x$及び$d_y$に対して、LeakyReLU、ReLU、ReLU様活性化関数、最小ブロック幅の上下境界を確立する。 L^p$ approximation $(1\leq p <+\infty)$ を任意のコンパクト領域上で達成するために、各残枝が内幅 1 であるとき、最小ブロック幅が$\max\{d_x,d_y\}$ となることを示す。 さらに、ブロック幅$\min\{d_x+d_y, \max\{2d_x+1,d_y\}\}$の残差ニューラルネットワークは、各残差分枝が内幅1の制約の下で任意のコンパクト領域に対して均一な近似を実現できることを示す。 さらに、任意の活性化関数族に対して、ブロック幅が$\max\{d_x, d_y\}$未満の残差ニューラルネットワークでは近似できない関数が存在することを証明した。

関連論文リスト

• New advances in universal approximation with neural networks of minimal width [4.424170214926035]
  リークReLUアクティベーションを持つオートエンコーダは$Lp$関数の普遍近似器であることを示す。 我々は,滑らかな可逆ニューラルネットワークが$Lp(mathbbRd,mathbbRd)$をコンパクト化できることを示す。
  論文  参考訳（メタデータ） (2024-11-13T16:17:16Z)
• Minimum width for universal approximation using ReLU networks on compact domain [8.839687029212673]
  活性化関数が ReLU-like (ReLU, GELU, Softplus) であれば、$Lp$関数の近似の最小幅は正確に$maxd_x,d_y,2$であることを示す。 ReLUネットワークの既知の結果と比較すると、$w_min=maxd_x+1,d_y$ ドメインが $smashmathbb Rd_x$ の場合、まず、コンパクトなドメインでの近似はそれよりも小さい幅を必要とすることを示す。
  論文  参考訳（メタデータ） (2023-09-19T08:04:48Z)
• Polynomial Width is Sufficient for Set Representation with High-dimensional Features [69.65698500919869]
  DeepSetsは集合表現のための最も広く使われているニューラルネットワークアーキテクチャである。 a) 線形 + パワーアクティベーション (LP) と (b) 線形 + 指数的アクティベーション (LE) の2つの集合要素埋め込み層を示す。
  論文  参考訳（メタデータ） (2023-07-08T16:00:59Z)
• The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich Regimes [75.59720049837459]
  無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。 有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
  論文  参考訳（メタデータ） (2022-12-23T04:48:04Z)
• Achieve the Minimum Width of Neural Networks for Universal Approximation [1.52292571922932]
  ニューラルネットワークの普遍近似特性(UAP)について,最小幅の$w_min$について検討する。 特に、$Lp$-UAPの臨界幅$w*_min$は、漏洩ReLUネットワークによって達成できる。
  論文  参考訳（メタデータ） (2022-09-23T04:03:50Z)
• Shallow neural network representation of polynomials [91.3755431537592]
  d+1+sum_r=2Rbinomr+d-1d-1[binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1]
  論文  参考訳（メタデータ） (2022-08-17T08:14:52Z)
• Deep neural network approximation of analytic functions [91.3755431537592]
  ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ 我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
  論文  参考訳（メタデータ） (2021-04-05T18:02:04Z)
• Minimum Width for Universal Approximation [91.02689252671291]
  我々は、$Lp$関数の普遍近似に必要な最小幅がちょうど$maxd_x+1,d_y$であることを証明する。 また、同じ結論がReLUと一様近似に当てはまるのではなく、追加のしきい値アクティベーション関数で成り立つことを証明している。
  論文  参考訳（メタデータ） (2020-06-16T01:24:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。