論文の概要: Universal approximation with complex-valued deep narrow neural networks

• arxiv url: http://arxiv.org/abs/2305.16910v2
• Date: Mon, 29 May 2023 08:20:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 10:58:54.128404
• Title: Universal approximation with complex-valued deep narrow neural networks
• Title（参考訳）: 複素数値深部ニューラルネットワークを用いた普遍近似
• Authors: Paul Geuchen, Thomas Jahn, Hannes Matt
• Abstract要約: より狭い複素数値ネットワークは、その活性化関数が正則でもなく、反正則でもなく、$mathbbR$-affineでもない場合に限り普遍であることを示す。 しかしながら、許容活性化関数の豊富な部分クラスに対して、幅が$n+m+4$ sufficesであることを証明する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the universality of complex-valued neural networks with bounded widths and arbitrary depths. Under mild assumptions, we give a full description of those activation functions $\varrho:\mathbb{C}\to \mathbb{C}$ that have the property that their associated networks are universal, i.e., are capable of approximating continuous functions to arbitrary accuracy on compact domains. Precisely, we show that deep narrow complex-valued networks are universal if and only if their activation function is neither holomorphic, nor antiholomorphic, nor $\mathbb{R}$-affine. This is a much larger class of functions than in the dual setting of arbitrary width and fixed depth. Unlike in the real case, the sufficient width differs significantly depending on the considered activation function. We show that a width of $2n+2m+5$ is always sufficient and that in general a width of $\max\{2n,2m\}$ is necessary. We prove, however, that a width of $n+m+4$ suffices for a rich subclass of the admissible activation functions. Here, $n$ and $m$ denote the input and output dimensions of the considered networks.
• Abstract（参考訳）: 有界幅と任意の深さを持つ複素値ニューラルネットワークの普遍性について検討する。 穏やかな仮定の下で、これらの活性化関数の完全な説明を、それらの関連ネットワークが普遍的であること、すなわち、コンパクトな領域において任意の精度で連続関数を近似することができるという性質を持つ、$\varrho:\mathbb{c}\to \mathbb{c}$ を与える。 正確には、深い狭い複素数値ネットワークが普遍であることと、それらの活性化関数が正則でないこと、正則でないこと、反正則でないこと、あるいは$\mathbb{R}$-affine であることを示せる。 これは任意の幅と固定深さの双対設定よりもはるかに大きな関数のクラスである。 実際の場合とは異なり、十分な幅は考慮された活性化関数によって大きく異なる。 2n+2m+5$の幅は常に十分であり、一般に$\max\{2n,2m\}$の幅が必要である。 しかし、許容アクティベーション関数のリッチなサブクラスに対して、n+m+4$の幅が十分であることを証明します。 ここで、$n$と$m$は考慮されたネットワークの入力と出力の次元を表す。

関連論文リスト

• Tractability of approximation by general shallow networks [0.0]
  xmapsto sum_k=1n a_kG(x, y_k)$, $ xinmathbbX$, by $G$-networks of the form $ xmapsto sum_k=1n a_kG(x, y_k)$。 独立次元境界を$n$で近似の度合いで取得し、関連する定数もすべて次元に依存する。
  論文  参考訳（メタデータ） (2023-08-07T00:14:46Z)
• Polynomial Width is Sufficient for Set Representation with High-dimensional Features [69.65698500919869]
  DeepSetsは集合表現のための最も広く使われているニューラルネットワークアーキテクチャである。 a) 線形 + パワーアクティベーション (LP) と (b) 線形 + 指数的アクティベーション (LE) の2つの集合要素埋め込み層を示す。
  論文  参考訳（メタデータ） (2023-07-08T16:00:59Z)
• The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich Regimes [75.59720049837459]
  無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。 有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
  論文  参考訳（メタデータ） (2022-12-23T04:48:04Z)
• Minimal Width for Universal Property of Deep RNN [6.744583770038476]
  リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、シーケンシャルデータを扱うために広く使われているディープラーニングネットワークである。 我々は, 深部狭いRNNの普遍性を証明し, 最大幅の上限がデータ長に依存しないことを示す。
  論文  参考訳（メタデータ） (2022-11-25T02:43:54Z)
• Achieve the Minimum Width of Neural Networks for Universal Approximation [1.52292571922932]
  ニューラルネットワークの普遍近似特性(UAP)について,最小幅の$w_min$について検討する。 特に、$Lp$-UAPの臨界幅$w*_min$は、漏洩ReLUネットワークによって達成できる。
  論文  参考訳（メタデータ） (2022-09-23T04:03:50Z)
• Size and Depth Separation in Approximating Natural Functions with Neural Networks [52.73592689730044]
  本稿では,ReLUネットワークを用いた自然関数の近似におけるサイズと深さの利点を示す。 我々は、そのような結果が$O(d)$を超えることを証明するための複雑性理論上の障壁を示す。 また、サイズ$O(d)$のネットワークで近似できる明示的な自然関数も示している。
  論文  参考訳（メタデータ） (2021-01-30T21:30:11Z)
• The universal approximation theorem for complex-valued neural networks [0.0]
  ニューラルネットワークの古典的普遍近似を複素数値ニューラルネットワークの場合に一般化する。 複雑な活性化関数 $sigma : mathbbC to mathbbC$ のフィードフォワードネットワークを考える。各ニューロンが mathbbCN to mathbbC, z mapto sigma(b + wT z)$ を演算し、 mathbbCN$ の重みが $w で、数学の偏りが $b である。
  論文  参考訳（メタデータ） (2020-12-06T18:51:10Z)
• A deep network construction that adapts to intrinsic dimensionality beyond the domain [79.23797234241471]
  本稿では,ReLUを活性化したディープネットワークを用いて,2層合成の近似を$f(x) = g(phi(x))$で検討する。 例えば、低次元埋め込み部分多様体への射影と、低次元集合の集合への距離である。
  論文  参考訳（メタデータ） (2020-08-06T09:50:29Z)
• Minimum Width for Universal Approximation [91.02689252671291]
  我々は、$Lp$関数の普遍近似に必要な最小幅がちょうど$maxd_x+1,d_y$であることを証明する。 また、同じ結論がReLUと一様近似に当てはまるのではなく、追加のしきい値アクティベーション関数で成り立つことを証明している。
  論文  参考訳（メタデータ） (2020-06-16T01:24:21Z)
• On the Modularity of Hypernetworks [103.1147622394852]
  構造化対象関数の場合、ハイパーネットワークにおけるトレーニング可能なパラメータの総数は、標準ニューラルネットワークのトレーニング可能なパラメータの数や埋め込み法よりも桁違いに小さいことを示す。
  論文  参考訳（メタデータ） (2020-02-23T22:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。