論文の概要: The universal approximation theorem for complex-valued neural networks
- arxiv url: http://arxiv.org/abs/2012.03351v1
- Date: Sun, 6 Dec 2020 18:51:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-21 13:59:53.319368
- Title: The universal approximation theorem for complex-valued neural networks
- Title（参考訳）: 複素数値ニューラルネットワークに対する普遍近似定理
- Authors: Felix Voigtlaender
- Abstract要約: ニューラルネットワークの古典的普遍近似を複素数値ニューラルネットワークの場合に一般化する。
複雑な活性化関数 $sigma : mathbbC to mathbbC$ のフィードフォワードネットワークを考える。各ニューロンが mathbbCN to mathbbC, z mapto sigma(b + wT z)$ を演算し、 mathbbCN$ の重みが $w で、数学の偏りが $b である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We generalize the classical universal approximation theorem for neural
networks to the case of complex-valued neural networks. Precisely, we consider
feedforward networks with a complex activation function $\sigma : \mathbb{C}
\to \mathbb{C}$ in which each neuron performs the operation $\mathbb{C}^N \to
\mathbb{C}, z \mapsto \sigma(b + w^T z)$ with weights $w \in \mathbb{C}^N$ and
a bias $b \in \mathbb{C}$, and with $\sigma$ applied componentwise. We
completely characterize those activation functions $\sigma$ for which the
associated complex networks have the universal approximation property, meaning
that they can uniformly approximate any continuous function on any compact
subset of $\mathbb{C}^d$ arbitrarily well.
Unlike the classical case of real networks, the set of "good activation
functions" which give rise to networks with the universal approximation
property differs significantly depending on whether one considers deep networks
or shallow networks: For deep networks with at least two hidden layers, the
universal approximation property holds as long as $\sigma$ is neither a
polynomial, a holomorphic function, or an antiholomorphic function. Shallow
networks, on the other hand, are universal if and only if the real part or the
imaginary part of $\sigma$ is not a polyharmonic function.
- Abstract（参考訳）: ニューラルネットワークの古典的普遍近似定理を複素値ニューラルネットワークの場合には一般化する。
正確には、複素活性化関数 $\sigma : \mathbb{C} \to \mathbb{C}$ の各ニューロンが演算 $\mathbb{C}^N \to \mathbb{C}, z \mapsto \sigma(b + w^T z)$ を演算し、重み $w \in \mathbb{C}^N$ とバイアス $b \in \mathbb{C}$ と $\sigma$ を成分的に適用するフィードフォワードネットワークを考える。
それらの活性化関数 $\sigma$ は、関連する複素ネットワークが普遍近似特性を持つので、$\mathbb{C}^d$ の任意のコンパクト部分集合上の任意の連続函数を任意に近似することができる。
古典的な実ネットワークの場合とは異なり、普遍近似特性を持つネットワークを生じさせる「良い活性化関数」の集合は、深いネットワークや浅いネットワークを考えるかどうかによって大きく異なる: 少なくとも2つの隠れた層を持つディープネットワークの場合、普遍近似特性は多項式、正則関数、あるいは反正則関数ではない限り保持される。
一方、浅層ネットワークが普遍的であるのは、実部分や$\sigma$ の虚部が多調和関数でないときのみである。
関連論文リスト
- Structure of universal formulas [13.794391803767617]
本稿では,大域近似特性と無限VC次元の弱い性質を結合するクラス階層を導入する。
活性化するニューロンの層が1つ以上ある固定サイズニューラルネットワークは任意の有限集合上の関数を近似できないことを示す。
任意の有限集合上の関数を近似する2層ニューラルネットワークを含む関数族を例に挙げるが、定義領域全体においてそれを行うことができない。
論文 参考訳（メタデータ） (2023-11-07T11:50:25Z) - Universal approximation with complex-valued deep narrow neural networks [0.0]
より狭い複素数値ネットワークは、その活性化関数が正則でもなく、反正則でもなく、$mathbbR$-affineでもない場合に限り普遍であることを示す。
しかしながら、許容活性化関数の豊富な部分クラスに対して、幅が$n+m+4$ sufficesであることを証明する。
論文 参考訳（メタデータ） (2023-05-26T13:22:14Z) - Neural Network Approximation of Continuous Functions in High Dimensions
with Applications to Inverse Problems [6.84380898679299]
現在の理論では、ネットワークは問題の次元で指数関数的にスケールすべきだと予測されている。
ニューラルネットワークがH"より古い(あるいは一様)連続関数を近似するのに要する複雑性を境界付ける一般的な方法を提案する。
論文 参考訳（メタデータ） (2022-08-28T22:44:07Z) - Theory of Deep Convolutional Neural Networks III: Approximating Radial
Functions [7.943024117353317]
我々は、2つの畳み込み層、ダウン演算子、完全に接続された層からなるディープニューラルネットワークのファミリーを考える。
ネットワーク構造は、畳み込み層の数と完全に連結された層の幅を決定する2つの構造パラメータに依存する。
論文 参考訳（メタデータ） (2021-07-02T08:22:12Z) - Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ
我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文 参考訳（メタデータ） (2021-04-05T18:02:04Z) - Quantitative approximation results for complex-valued neural networks [0.0]
モフレル活性化関数 $sigma(z) = mathrmrelu(|z|) を持つ複素値ニューラルネットワークは、$mathbbcd$ のコンパクト部分集合上で正則性の複素値関数 $cn$ を均一に近似し、近似速度の明示的な境界を与える。
論文 参考訳（メタデータ） (2021-02-25T18:57:58Z) - On Function Approximation in Reinforcement Learning: Optimism in the
Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。
特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。
私たちの後悔の限界はエピソードの数とは無関係です。
論文 参考訳（メタデータ） (2020-11-09T18:32:22Z) - A deep network construction that adapts to intrinsic dimensionality
beyond the domain [79.23797234241471]
本稿では,ReLUを活性化したディープネットワークを用いて,2層合成の近似を$f(x) = g(phi(x))$で検討する。
例えば、低次元埋め込み部分多様体への射影と、低次元集合の集合への距離である。
論文 参考訳（メタデータ） (2020-08-06T09:50:29Z) - Interval Universal Approximation for Neural Networks [47.767793120249095]
区間普遍近似(IUA)定理を導入する。
IUAは、ニューラルネットワークが何十年にもわたって知られているような、あらゆる連続関数の$f$を近似できることを示している。
本稿では,精度の高い区間解析が可能なニューラルネットワークを構築する際の計算複雑性について検討する。
論文 参考訳（メタデータ） (2020-07-12T20:43:56Z) - Coupling-based Invertible Neural Networks Are Universal Diffeomorphism
Approximators [72.62940905965267]
結合フロー(CF-INN)に基づく可逆ニューラルネットワークは、画像合成や表現学習など、さまざまな機械学習応用を有する。
CF-INNは可逆関数に対する普遍近似器か?
我々は、ある微分同相類に対する普遍性の同値性を示す一般的な定理を証明する。
論文 参考訳（メタデータ） (2020-06-20T02:07:37Z) - Minimum Width for Universal Approximation [91.02689252671291]
我々は、$Lp$関数の普遍近似に必要な最小幅がちょうど$maxd_x+1,d_y$であることを証明する。
また、同じ結論がReLUと一様近似に当てはまるのではなく、追加のしきい値アクティベーション関数で成り立つことを証明している。
論文 参考訳（メタデータ） (2020-06-16T01:24:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。