論文の概要: Minimum width for universal approximation using squashable activation functions

• arxiv url: http://arxiv.org/abs/2504.07371v1
• Date: Thu, 10 Apr 2025 01:23:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-11 12:19:58.893780
• Title: Minimum width for universal approximation using squashable activation functions
• Title（参考訳）: スカッシュ可能なアクティベーション関数を用いた普遍近似のための最小幅
• Authors: Jonghyun Shin, Namjun Kim, Geonho Hwang, Sejun Park,
• Abstract要約: 一般活性化関数を用いたネットワークの最小幅について検討する。 スカッシュ可能なアクティベーション関数を用いて$Lp$関数を普遍的に近似するネットワークの場合、最小幅は$d_x=d_y=1$でない限り$maxd_x,d_y,2$である。
• 参考スコア（独自算出の注目度）: 9.418401219498223
• License:
• Abstract: The exact minimum width that allows for universal approximation of unbounded-depth networks is known only for ReLU and its variants. In this work, we study the minimum width of networks using general activation functions. Specifically, we focus on squashable functions that can approximate the identity function and binary step function by alternatively composing with affine transformations. We show that for networks using a squashable activation function to universally approximate $L^p$ functions from $[0,1]^{d_x}$ to $\mathbb R^{d_y}$, the minimum width is $\max\{d_x,d_y,2\}$ unless $d_x=d_y=1$; the same bound holds for $d_x=d_y=1$ if the activation function is monotone. We then provide sufficient conditions for squashability and show that all non-affine analytic functions and a class of piecewise functions are squashable, i.e., our minimum width result holds for those general classes of activation functions.
• Abstract（参考訳）: 非有界深度ネットワークの普遍近似を可能にする正確な最小幅は、ReLUとその変種についてのみ知られている。 本研究では,一般活性化関数を用いたネットワークの最小幅について検討する。 具体的には、アフィン変換を交互に構成することで、恒等関数と二段関数を近似できるスカッシュ可能な関数に焦点をあてる。 squashable activation function を用いて $L^p$ 関数を $[0,1]^{d_x}$ から $\mathbb R^{d_y}$ から $\mathbb R^{d_y}$ に普遍的に近似するネットワークの場合、最小幅は $\max\{d_x,d_y,2\}$ で、d_x=d_y=1$ は $d_x=d_y=1$ となる。 次に、スクワッシャビリティに関する十分な条件を提供し、すべての非アフィン解析関数と一括関数のクラスがスカワッシャブルであること、すなわち、活性化関数の一般的なクラスに対して最小幅の結果が成り立つことを示す。

関連論文リスト

• New advances in universal approximation with neural networks of minimal width [4.424170214926035]
  リークReLUアクティベーションを持つオートエンコーダは$Lp$関数の普遍近似器であることを示す。 我々は,滑らかな可逆ニューラルネットワークが$Lp(mathbbRd,mathbbRd)$をコンパクト化できることを示す。
  論文  参考訳（メタデータ） (2024-11-13T16:17:16Z)
• Minimum width for universal approximation using ReLU networks on compact domain [8.839687029212673]
  活性化関数が ReLU-like (ReLU, GELU, Softplus) であれば、$Lp$関数の近似の最小幅は正確に$maxd_x,d_y,2$であることを示す。 ReLUネットワークの既知の結果と比較すると、$w_min=maxd_x+1,d_y$ ドメインが $smashmathbb Rd_x$ の場合、まず、コンパクトなドメインでの近似はそれよりも小さい幅を必要とすることを示す。
  論文  参考訳（メタデータ） (2023-09-19T08:04:48Z)
• Universal approximation with complex-valued deep narrow neural networks [0.0]
  境界幅と任意の深さを持つ複素数値ニューラルネットワークの普遍性について検討する。 より狭い複素数値ネットワークは、その活性化関数が正則でもなく、反正則でもなく、$mathbbR$-affineでもない場合に限り普遍であることを示す。
  論文  参考訳（メタデータ） (2023-05-26T13:22:14Z)
• Achieve the Minimum Width of Neural Networks for Universal Approximation [1.52292571922932]
  ニューラルネットワークの普遍近似特性(UAP)について,最小幅の$w_min$について検討する。 特に、$Lp$-UAPの臨界幅$w*_min$は、漏洩ReLUネットワークによって達成できる。
  論文  参考訳（メタデータ） (2022-09-23T04:03:50Z)
• Shallow neural network representation of polynomials [91.3755431537592]
  d+1+sum_r=2Rbinomr+d-1d-1[binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1]
  論文  参考訳（メタデータ） (2022-08-17T08:14:52Z)
• Submodular + Concave [53.208470310734825]
  第一次最適化法が凹関数の最大目的値に収束できることはよく確立されている。 本研究では、滑らかな函数凸体(英語版)の行列式を$F(x) = G(x) +C(x)$で始める。 このクラスの函数は、保証がないような凹凸函数と連続DR-部分モジュラ函数の両方の拡張である。
  論文  参考訳（メタデータ） (2021-06-09T01:59:55Z)
• Size and Depth Separation in Approximating Natural Functions with Neural Networks [52.73592689730044]
  本稿では,ReLUネットワークを用いた自然関数の近似におけるサイズと深さの利点を示す。 我々は、そのような結果が$O(d)$を超えることを証明するための複雑性理論上の障壁を示す。 また、サイズ$O(d)$のネットワークで近似できる明示的な自然関数も示している。
  論文  参考訳（メタデータ） (2021-01-30T21:30:11Z)
• Finding Global Minima via Kernel Approximations [90.42048080064849]
  関数評価のみに基づく滑らかな関数のグローバル最小化を考える。 本稿では,近似関数を共同でモデル化し,大域的最小値を求める手法を検討する。
  論文  参考訳（メタデータ） (2020-12-22T12:59:30Z)
• Minimum Width for Universal Approximation [91.02689252671291]
  我々は、$Lp$関数の普遍近似に必要な最小幅がちょうど$maxd_x+1,d_y$であることを証明する。 また、同じ結論がReLUと一様近似に当てはまるのではなく、追加のしきい値アクティベーション関数で成り立つことを証明している。
  論文  参考訳（メタデータ） (2020-06-16T01:24:21Z)
• On the Modularity of Hypernetworks [103.1147622394852]
  構造化対象関数の場合、ハイパーネットワークにおけるトレーニング可能なパラメータの総数は、標準ニューラルネットワークのトレーニング可能なパラメータの数や埋め込み法よりも桁違いに小さいことを示す。
  論文  参考訳（メタデータ） (2020-02-23T22:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。