Fugu-MT 論文翻訳(概要): Minimal Width for Universal Property of Deep RNN

論文の概要: Minimal Width for Universal Property of Deep RNN

arxiv url: http://arxiv.org/abs/2211.13866v2
Date: Wed, 29 Mar 2023 02:25:24 GMT
ステータス: 処理完了
システム内更新日: 2023-03-30 18:15:18.115361
Title: Minimal Width for Universal Property of Deep RNN
Title（参考訳）: 深部RNNの普遍性のための最小幅
Authors: Chang hoon Song, Geonho Hwang, Jun ho Lee, Myungjoo Kang
Abstract要約: リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、シーケンシャルデータを扱うために広く使われているディープラーニングネットワークである。我々は, 深部狭いRNNの普遍性を証明し, 最大幅の上限がデータ長に依存しないことを示す。
参考スコア（独自算出の注目度）: 6.744583770038476
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: A recurrent neural network (RNN) is a widely used deep-learning network for dealing with sequential data. Imitating a dynamical system, an infinite-width RNN can approximate any open dynamical system in a compact domain. In general, deep networks with bounded widths are more effective than wide networks in practice; however, the universal approximation theorem for deep narrow structures has yet to be extensively studied. In this study, we prove the universality of deep narrow RNNs and show that the upper bound of the minimum width for universality can be independent of the length of the data. Specifically, we show that a deep RNN with ReLU activation can approximate any continuous function or $L^p$ function with the widths $d_x+d_y+2$ and $\max\{d_x+1,d_y\}$, respectively, where the target function maps a finite sequence of vectors in $\mathbb{R}^{d_x}$ to a finite sequence of vectors in $\mathbb{R}^{d_y}$. We also compute the additional width required if the activation function is $\tanh$ or more. In addition, we prove the universality of other recurrent networks, such as bidirectional RNNs. Bridging a multi-layer perceptron and an RNN, our theory and proof technique can be an initial step toward further research on deep RNNs.
Abstract（参考訳）: リカレントニューラルネットワーク(RNN)は、シーケンシャルデータを扱うために広く使われているディープラーニングネットワークである。力学系をイミットすると、無限幅 RNN はコンパクト領域内の任意の開力学系を近似することができる。一般に、境界幅の深いネットワークは、実際には広帯域ネットワークよりも効果的であるが、深い狭義構造に対する普遍近似定理はまだ広く研究されていない。本研究では,細密なrnnの普遍性を証明し,普遍性に対する最小幅の上限がデータの長さに依存しないことを示す。具体的には、ReLU を活性化した深い RNN が、それぞれ$d_x+d_y+2$ と $\max\{d_x+1,d_y\}$ の幅を持つ任意の連続関数や$L^p$ 関数を近似できることを示し、ターゲット関数は $\mathbb{R}^{d_x}$ のベクトルの有限列を $\mathbb{R}^{d_y}$ のベクトルの有限列にマッピングする。また、アクティベーション関数が$\tanh$以上の場合に必要な追加の幅を計算する。さらに、双方向RNNなどの他のリカレントネットワークの普遍性を証明する。多層パーセプトロンとRNNを組み合わせることで、我々の理論と証明技術は深層RNNのさらなる研究に向けた最初のステップとなる。

関連論文リスト

New advances in universal approximation with neural networks of minimal width [4.424170214926035]
リークReLUアクティベーションを持つオートエンコーダは$Lp$関数の普遍近似器であることを示す。我々は,滑らかな可逆ニューラルネットワークが$Lp(mathbbRd,mathbbRd)$をコンパクト化できることを示す。
論文参考訳（メタデータ） (2024-11-13T16:17:16Z)
Deep Neural Networks: Multi-Classification and Universal Approximation [0.0]
我々は,幅2ドル,深さ2N+4M-1$のReLUディープニューラルネットワークが,$N$要素からなる任意のデータセットに対して有限標本記憶を達成できることを実証した。また、$W1,p$関数を近似するための深さ推定と$Lp(Omega;mathbbRm)$ for $mgeq1$を近似するための幅推定も提供する。
論文参考訳（メタデータ） (2024-09-10T14:31:21Z)
Polynomial Width is Sufficient for Set Representation with High-dimensional Features [69.65698500919869]
DeepSetsは集合表現のための最も広く使われているニューラルネットワークアーキテクチャである。 a) 線形 + パワーアクティベーション (LP) と (b) 線形 + 指数的アクティベーション (LE) の2つの集合要素埋め込み層を示す。
論文参考訳（メタデータ） (2023-07-08T16:00:59Z)
Universal approximation with complex-valued deep narrow neural networks [0.0]
境界幅と任意の深さを持つ複素数値ニューラルネットワークの普遍性について検討する。より狭い複素数値ネットワークは、その活性化関数が正則でもなく、反正則でもなく、$mathbbR$-affineでもない場合に限り普遍であることを示す。
論文参考訳（メタデータ） (2023-05-26T13:22:14Z)
The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich Regimes [75.59720049837459]
無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
論文参考訳（メタデータ） (2022-12-23T04:48:04Z)
Achieve the Minimum Width of Neural Networks for Universal Approximation [1.52292571922932]
ニューラルネットワークの普遍近似特性(UAP)について,最小幅の$w_min$について検討する。特に、$Lp$-UAPの臨界幅$w*_min$は、漏洩ReLUネットワークによって達成できる。
論文参考訳（メタデータ） (2022-09-23T04:03:50Z)
Understanding Deep Neural Function Approximation in Reinforcement Learning via $\epsilon$-Greedy Exploration [53.90873926758026]
本稿では、強化学習(RL)における深部神経機能近似の理論的研究について述べる。我々は、Besov(およびBarron)関数空間によって与えられるディープ(および2層)ニューラルネットワークによる$epsilon$-greedy探索により、バリューベースのアルゴリズムに焦点を当てる。我々の解析は、ある平均測度$mu$の上の$L2(mathrmdmu)$-integrable空間における時間差誤差を再構成し、非イド設定の下で一般化問題に変換する。
論文参考訳（メタデータ） (2022-09-15T15:42:47Z)
Neural Network Approximation of Continuous Functions in High Dimensions with Applications to Inverse Problems [6.84380898679299]
現在の理論では、ネットワークは問題の次元で指数関数的にスケールすべきだと予測されている。ニューラルネットワークがH"より古い(あるいは一様)連続関数を近似するのに要する複雑性を境界付ける一般的な方法を提案する。
論文参考訳（メタデータ） (2022-08-28T22:44:07Z)
A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文参考訳（メタデータ） (2021-01-12T00:40:45Z)
Interval Universal Approximation for Neural Networks [47.767793120249095]
区間普遍近似(IUA)定理を導入する。 IUAは、ニューラルネットワークが何十年にもわたって知られているような、あらゆる連続関数の$f$を近似できることを示している。本稿では,精度の高い区間解析が可能なニューラルネットワークを構築する際の計算複雑性について検討する。
論文参考訳（メタデータ） (2020-07-12T20:43:56Z)
Minimum Width for Universal Approximation [91.02689252671291]
我々は、$Lp$関数の普遍近似に必要な最小幅がちょうど$maxd_x+1,d_y$であることを証明する。また、同じ結論がReLUと一様近似に当てはまるのではなく、追加のしきい値アクティベーション関数で成り立つことを証明している。
論文参考訳（メタデータ） (2020-06-16T01:24:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。