論文の概要: Universal approximation with complex-valued deep narrow neural networks

• arxiv url: http://arxiv.org/abs/2305.16910v3
• Date: Tue, 26 Nov 2024 09:39:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:32:16.370910
• Title: Universal approximation with complex-valued deep narrow neural networks
• Title（参考訳）: 複素数値深部ニューラルネットワークを用いた普遍近似
• Authors: Paul Geuchen, Thomas Jahn, Hannes Matt,
• Abstract要約: 境界幅と任意の深さを持つ複素数値ニューラルネットワークの普遍性について検討する。 より狭い複素数値ネットワークは、その活性化関数が正則でもなく、反正則でもなく、$mathbbR$-affineでもない場合に限り普遍であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We study the universality of complex-valued neural networks with bounded widths and arbitrary depths. Under mild assumptions, we give a full description of those activation functions $\varrho:\mathbb{C}\to \mathbb{C}$ that have the property that their associated networks are universal, i.e., are capable of approximating continuous functions to arbitrary accuracy on compact domains. Precisely, we show that deep narrow complex-valued networks are universal if and only if their activation function is neither holomorphic, nor antiholomorphic, nor $\mathbb{R}$-affine. This is a much larger class of functions than in the dual setting of arbitrary width and fixed depth. Unlike in the real case, the sufficient width differs significantly depending on the considered activation function. We show that a width of $2n+2m+5$ is always sufficient and that in general a width of $max\{2n,2m\}$ is necessary. We prove, however, that a width of $n+m+3$ suffices for a rich subclass of the admissible activation functions. Here, $n$ and $m$ denote the input and output dimensions of the considered networks. Moreover, for the case of smooth and non-polyharmonic activation functions, we provide a quantitative approximation bound in terms of the depth of the considered networks.
• Abstract（参考訳）: 境界幅と任意の深さを持つ複素数値ニューラルネットワークの普遍性について検討する。 穏やかな仮定の下では、それらの活性化函数 $\varrho:\mathbb{C}\to \mathbb{C}$ について完全な記述を与える。 正確には、深い狭い複素数値ネットワークが普遍であることと、それらの活性化関数が正則でないこと、正則でないこと、反正則でないこと、あるいは$\mathbb{R}$-affine であること、が示される。 これは任意の幅と固定深さの双対設定よりもはるかに大きな関数のクラスである。 実例とは異なり、十分な幅は、考慮された活性化関数によって大きく異なる。 2n+2m+5$の幅は常に十分であり、一般に$max\{2n,2m\}$の幅が必要であることを示す。 しかしながら、許容活性化関数のリッチな部分クラスに対して、幅が$n+m+3$ sufficesであることを証明する。 ここで、$n$と$m$は考慮されたネットワークの入力と出力の次元を表す。 さらに、スムーズかつ非高調波活性化関数の場合、考慮されたネットワークの深さの観点からの定量的近似を与える。

関連論文リスト

• New advances in universal approximation with neural networks of minimal width [4.424170214926035]
  リークReLUアクティベーションを持つオートエンコーダは$Lp$関数の普遍近似器であることを示す。 我々は,滑らかな可逆ニューラルネットワークが$Lp(mathbbRd,mathbbRd)$をコンパクト化できることを示す。
  論文  参考訳（メタデータ） (2024-11-13T16:17:16Z)
• Polynomial Width is Sufficient for Set Representation with High-dimensional Features [69.65698500919869]
  DeepSetsは集合表現のための最も広く使われているニューラルネットワークアーキテクチャである。 a) 線形 + パワーアクティベーション (LP) と (b) 線形 + 指数的アクティベーション (LE) の2つの集合要素埋め込み層を示す。
  論文  参考訳（メタデータ） (2023-07-08T16:00:59Z)
• The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich Regimes [75.59720049837459]
  無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。 有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
  論文  参考訳（メタデータ） (2022-12-23T04:48:04Z)
• Minimal Width for Universal Property of Deep RNN [6.744583770038476]
  リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、シーケンシャルデータを扱うために広く使われているディープラーニングネットワークである。 我々は, 深部狭いRNNの普遍性を証明し, 最大幅の上限がデータ長に依存しないことを示す。
  論文  参考訳（メタデータ） (2022-11-25T02:43:54Z)
• Achieve the Minimum Width of Neural Networks for Universal Approximation [1.52292571922932]
  ニューラルネットワークの普遍近似特性(UAP)について,最小幅の$w_min$について検討する。 特に、$Lp$-UAPの臨界幅$w*_min$は、漏洩ReLUネットワークによって達成できる。
  論文  参考訳（メタデータ） (2022-09-23T04:03:50Z)
• Deep neural network approximation of analytic functions [91.3755431537592]
  ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ 我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
  論文  参考訳（メタデータ） (2021-04-05T18:02:04Z)
• Size and Depth Separation in Approximating Natural Functions with Neural Networks [52.73592689730044]
  本稿では,ReLUネットワークを用いた自然関数の近似におけるサイズと深さの利点を示す。 我々は、そのような結果が$O(d)$を超えることを証明するための複雑性理論上の障壁を示す。 また、サイズ$O(d)$のネットワークで近似できる明示的な自然関数も示している。
  論文  参考訳（メタデータ） (2021-01-30T21:30:11Z)
• The universal approximation theorem for complex-valued neural networks [0.0]
  ニューラルネットワークの古典的普遍近似を複素数値ニューラルネットワークの場合に一般化する。 複雑な活性化関数 $sigma : mathbbC to mathbbC$ のフィードフォワードネットワークを考える。各ニューロンが mathbbCN to mathbbC, z mapto sigma(b + wT z)$ を演算し、 mathbbCN$ の重みが $w で、数学の偏りが $b である。
  論文  参考訳（メタデータ） (2020-12-06T18:51:10Z)
• A deep network construction that adapts to intrinsic dimensionality beyond the domain [79.23797234241471]
  本稿では,ReLUを活性化したディープネットワークを用いて,2層合成の近似を$f(x) = g(phi(x))$で検討する。 例えば、低次元埋め込み部分多様体への射影と、低次元集合の集合への距離である。
  論文  参考訳（メタデータ） (2020-08-06T09:50:29Z)
• Minimum Width for Universal Approximation [91.02689252671291]
  我々は、$Lp$関数の普遍近似に必要な最小幅がちょうど$maxd_x+1,d_y$であることを証明する。 また、同じ結論がReLUと一様近似に当てはまるのではなく、追加のしきい値アクティベーション関数で成り立つことを証明している。
  論文  参考訳（メタデータ） (2020-06-16T01:24:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。