論文の概要: Minimum Width of Deep Narrow Networks for Universal Approximation

• arxiv url: http://arxiv.org/abs/2511.06837v1
• Date: Mon, 10 Nov 2025 08:29:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:45.16003
• Title: Minimum Width of Deep Narrow Networks for Universal Approximation
• Title（参考訳）: ユニバーサル近似のためのディープナローネットワークの最小幅
• Authors: Xiao-Song Yang, Qi Zhou, Xuan Zhou,
• Abstract要約: 完全連結ニューラルネットワークに必要な最小幅の下限と上限について検討する。 より直感的な例を構築して、不等式 $w_minge d_y+mathbf1_d_xd_yleq2d_x$ の新たな証明を示す。
• 参考スコア（独自算出の注目度）: 9.00733527455972
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Determining the minimum width of fully connected neural networks has become a fundamental problem in recent theoretical studies of deep neural networks. In this paper, we study the lower bounds and upper bounds of the minimum width required for fully connected neural networks in order to have universal approximation capability, which is important in network design and training. We show that $w_{min}\leq\max(2d_x+1, d_y)$ for networks with ELU, SELU, and the upper bound of this inequality is attained when $d_y=2d_x$, where $d_x$, $d_y$ denote the input and output dimensions, respectively. Besides, we show that $d_x+1\leq w_{min}\leq d_x+d_y$ for networks with LeakyReLU, ELU, CELU, SELU, Softplus, by proving that ReLU can be approximated by these activation functions. In addition, in the case that the activation function is injective or can be uniformly approximated by a sequence of injective functions (e.g., ReLU), we present a new proof of the inequality $w_{min}\ge d_y+\mathbf{1}_{d_x<d_y\leq2d_x}$ by constructing a more intuitive example via a new geometric approach based on Poincar$\acute{\text{e}}$-Miranda Theorem.
• Abstract（参考訳）: 完全連結ニューラルネットワークの最小幅を決定することは、近年のディープニューラルネットワークの理論研究において、根本的な問題となっている。 本稿では,ネットワーク設計とトレーニングにおいて重要なユニバーサル近似能力を実現するために,完全連結ニューラルネットワークに必要な最小幅の下限と上限について検討する。 ELU, SELU, この不等式を持つネットワークに対して, $w_{min}\leq\max(2d_x+1, d_y)$, $d_y=2d_x$, $d_x$, $d_y$ がそれぞれ入力次元と出力次元を表すときに, この不等式の上界が得られることを示す。 さらに、LeakyReLU, ELU, ELU, CELU, SELU, Softplus のネットワークに対して $d_x+1\leq w_{min}\leq d_x+d_y$ を示す。 さらに、活性化関数が単射あるいは単射関数の列(例えば ReLU )で一様近似できる場合、Poincar$\acute{\text{e}}$-Miranda Theorem に基づいた新しい幾何学的アプローチによってより直感的な例を構築し、不等式 $w_{min}\ge d_y+\mathbf{1}_{d_x<d_y\leq2d_x}$ の新たな証明を示す。

関連論文リスト

• New advances in universal approximation with neural networks of minimal width [4.424170214926035]
  リークReLUアクティベーションを持つオートエンコーダは$Lp$関数の普遍近似器であることを示す。 我々は,滑らかな可逆ニューラルネットワークが$Lp(mathbbRd,mathbbRd)$をコンパクト化できることを示す。
  論文  参考訳（メタデータ） (2024-11-13T16:17:16Z)
• Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
  3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。 次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。 この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
  論文  参考訳（メタデータ） (2023-11-23T02:19:32Z)
• Minimum Width of Leaky-ReLU Neural Networks for Uniform Universal Approximation [10.249623880822055]
  本稿では,関数クラス $C(K,mathbbRd_y)$ に対する統一 UAP について検討する。 リーク-ReLU NNの正確な最小幅は$w_min=max(d_x,d_y)+Delta (d_x,d_y)$である。
  論文  参考訳（メタデータ） (2023-05-29T06:51:16Z)
• Achieve the Minimum Width of Neural Networks for Universal Approximation [1.52292571922932]
  ニューラルネットワークの普遍近似特性(UAP)について,最小幅の$w_min$について検討する。 特に、$Lp$-UAPの臨界幅$w*_min$は、漏洩ReLUネットワークによって達成できる。
  論文  参考訳（メタデータ） (2022-09-23T04:03:50Z)
• Shallow neural network representation of polynomials [91.3755431537592]
  d+1+sum_r=2Rbinomr+d-1d-1[binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1]
  論文  参考訳（メタデータ） (2022-08-17T08:14:52Z)
• Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
  測定から学習した線形モデルの定量化の問題を考える。 この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。 本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T02:39:04Z)
• Size and Depth Separation in Approximating Natural Functions with Neural Networks [52.73592689730044]
  本稿では,ReLUネットワークを用いた自然関数の近似におけるサイズと深さの利点を示す。 我々は、そのような結果が$O(d)$を超えることを証明するための複雑性理論上の障壁を示す。 また、サイズ$O(d)$のネットワークで近似できる明示的な自然関数も示している。
  論文  参考訳（メタデータ） (2021-01-30T21:30:11Z)
• Minimum Width for Universal Approximation [91.02689252671291]
  我々は、$Lp$関数の普遍近似に必要な最小幅がちょうど$maxd_x+1,d_y$であることを証明する。 また、同じ結論がReLUと一様近似に当てはまるのではなく、追加のしきい値アクティベーション関数で成り立つことを証明している。
  論文  参考訳（メタデータ） (2020-06-16T01:24:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。