論文の概要: Kernel Limit of Recurrent Neural Networks Trained on Ergodic Data
Sequences
- arxiv url: http://arxiv.org/abs/2308.14555v1
- Date: Mon, 28 Aug 2023 13:17:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 13:55:02.826257
- Title: Kernel Limit of Recurrent Neural Networks Trained on Ergodic Data
Sequences
- Title(参考訳): エルゴードデータ列で学習したリカレントニューラルネットワークのカーネル限界
- Authors: Samuel Chun-Hei Lam, Justin Sirignano, and Konstantinos Spiliopoulos
- Abstract要約: 我々は、リカレントニューラルネットワーク(RNN)の接点を、隠されたユニットの数、シーケンス内のデータサンプル、隠された状態更新、トレーニングステップを同時に無限に成長させるものとして特徴づける。
これらの手法は、データサンプルの数とニューラルネットワークのサイズが無限に増加するにつれて、データシーケンスに基づいてトレーニングされたRNNのニューラルネットワーク(NTK)制限を引き起こす。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mathematical methods are developed to characterize the asymptotics of
recurrent neural networks (RNN) as the number of hidden units, data samples in
the sequence, hidden state updates, and training steps simultaneously grow to
infinity. In the case of an RNN with a simplified weight matrix, we prove the
convergence of the RNN to the solution of an infinite-dimensional ODE coupled
with the fixed point of a random algebraic equation. The analysis requires
addressing several challenges which are unique to RNNs. In typical mean-field
applications (e.g., feedforward neural networks), discrete updates are of
magnitude $\mathcal{O}(\frac{1}{N})$ and the number of updates is
$\mathcal{O}(N)$. Therefore, the system can be represented as an Euler
approximation of an appropriate ODE/PDE, which it will converge to as $N
\rightarrow \infty$. However, the RNN hidden layer updates are
$\mathcal{O}(1)$. Therefore, RNNs cannot be represented as a discretization of
an ODE/PDE and standard mean-field techniques cannot be applied. Instead, we
develop a fixed point analysis for the evolution of the RNN memory states, with
convergence estimates in terms of the number of update steps and the number of
hidden units. The RNN hidden layer is studied as a function in a Sobolev space,
whose evolution is governed by the data sequence (a Markov chain), the
parameter updates, and its dependence on the RNN hidden layer at the previous
time step. Due to the strong correlation between updates, a Poisson equation
must be used to bound the fluctuations of the RNN around its limit equation.
These mathematical methods give rise to the neural tangent kernel (NTK) limits
for RNNs trained on data sequences as the number of data samples and size of
the neural network grow to infinity.
- Abstract(参考訳): リカレントニューラルネットワーク(recurrent neural networks, rnn)の漸近性を隠れ単位数、シーケンス内のデータサンプル、隠れ状態更新、トレーニングステップを同時に無限に特徴付ける数学的手法を開発した。
単純化された重み行列を持つ RNN の場合、ランダム代数方程式の固定点に結合した無限次元ODE の解への RNN の収束性を証明する。
この分析では、RNN特有のいくつかの課題に対処する必要がある。
典型的な平均場(例えば、フィードフォワードニューラルネットワーク)では、離散的な更新は等級$\mathcal{O}(\frac{1}{N})$であり、更新の回数は$\mathcal{O}(N)$である。
したがって、システムは適切なODE/PDEのオイラー近似として表すことができ、$N \rightarrow \infty$に収束する。
しかし、RNNの隠されたレイヤ更新は$\mathcal{O}(1)$である。
したがって、RNNはODE/PDEの離散化として表現できず、標準平均場技術は適用できない。
代わりに、RNNメモリ状態の進化に対する固定点解析を開発し、更新ステップ数と隠れユニット数の観点から収束推定を行う。
RNN隠蔽層はソボレフ空間の関数として研究され、その進化はデータシーケンス(マルコフ連鎖)、パラメータ更新、および前回の時間ステップにおけるRNN隠蔽層への依存性によって制御される。
更新間の強い相関のため、ポアソン方程式はその極限方程式の周りにrnnのゆらぎを束縛するために用いられる必要がある。
これらの数学的手法は、データサンプルの数とニューラルネットワークのサイズが無限に増加するにつれて、データシーケンスに基づいてトレーニングされたRNNのニューラルネットワークタンジェントカーネル(NTK)制限を引き起こす。
関連論文リスト
- Revising the Structure of Recurrent Neural Networks to Eliminate Numerical Derivatives in Forming Physics Informed Loss Terms with Respect to Time [0.0]
Mutual Interval RNN (MI-RNN) は、バーガーズ方程式、不規則領域における非定常熱伝導、グリーン渦問題という3つの異なるベンチマークを解くために用いられる。
以上の結果から,MI-RNNは既存のRNNモデルよりも正確な解を見つけることができることがわかった。
論文 参考訳(メタデータ) (2024-09-16T15:24:25Z) - Approximation Bounds for Recurrent Neural Networks with Application to Regression [7.723218675113336]
深部ReLUリカレントニューラルネットワーク(RNN)の近似能力について検討し,RNNを用いた非パラメトリック最小二乗回帰の収束特性について検討した。
H" の滑らかな関数に対する RNN の近似誤差の上限を導出する。
以上の結果から,RNNの性能に関する統計的保証が得られる。
論文 参考訳(メタデータ) (2024-09-09T13:02:50Z) - On Generalization Bounds for Deep Compound Gaussian Neural Networks [1.4425878137951238]
Unrolled Deep Neural Network(DNN)は、標準的なDNNよりも優れた解釈性と優れた経験的パフォーマンスを提供する。
本稿では,複合ガウス事前情報に基づく非学習型DNNのクラスに対する新しい一般化誤差境界を開発する。
現実的な条件下では、最悪の場合、一般化誤差は信号次元で$mathcalO(nsqrt(n))$、ネットワークサイズで$mathcalO(($Network Size$)3/2)$である。
論文 参考訳(メタデータ) (2024-02-20T16:01:39Z) - Neural Networks for Singular Perturbations [0.0]
特異摂動楕円型二点境界値問題のモデルクラスの解集合に対する表現率境界を証明した。
我々は, NNサイズの観点から, ソボレフノルムの表現速度境界を定めている。
論文 参考訳(メタデータ) (2024-01-12T16:02:18Z) - On the Computational Complexity and Formal Hierarchy of Second Order
Recurrent Neural Networks [59.85314067235965]
2次次リカレントネットワーク(RNN)の理論基盤を拡大する(2次RNN)
有界時間でチューリング完備な RNN のクラスが存在することを証明している。
また、記憶のない2ドルのRNNは、バニラRNNのような現代のモデルよりも優れており、正規文法の認識において繰り返し単位をゲートしていることを示す。
論文 参考訳(メタデータ) (2023-09-26T06:06:47Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2022-10-25T14:45:15Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳(メタデータ) (2021-09-29T07:46:54Z) - Fully Spiking Variational Autoencoder [66.58310094608002]
スパイキングニューラルネットワーク(SNN)は、超高速で超低エネルギー消費のニューロモルフィックデバイス上で動作することができる。
本研究では,SNNを用いた可変オートエンコーダ(VAE)を構築し,画像生成を実現する。
論文 参考訳(メタデータ) (2021-09-26T06:10:14Z) - Framing RNN as a kernel method: A neural ODE approach [11.374487003189468]
我々は,RNNの解を,入力シーケンスの特定の特徴集合の線形関数と見なせることを示す。
我々は,大規模なリカレントネットワークの一般化と安定性に関する理論的保証を得る。
論文 参考訳(メタデータ) (2021-06-02T14:46:40Z) - Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。
破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-02-07T14:19:07Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。