論文の概要: How Chaotic Are Recurrent Neural Networks?
- arxiv url: http://arxiv.org/abs/2004.13838v1
- Date: Tue, 28 Apr 2020 21:14:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 23:08:23.939904
- Title: How Chaotic Are Recurrent Neural Networks?
- Title(参考訳): リカレントニューラルネットワークはいかにカオスか?
- Authors: Pourya Vakilipourtakalou, Lili Mou
- Abstract要約: リカレントニューラルネットワーク(RNN)は非線形力学系である。
テキスト生成などの実アプリケーションにおいて,バニラや長期記憶(LSTM)RNNはトレーニングプロセスに沿ってカオスな動作を示さないことを示す。
- 参考スコア(独自算出の注目度): 22.236891108918396
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recurrent neural networks (RNNs) are non-linear dynamic systems. Previous
work believes that RNN may suffer from the phenomenon of chaos, where the
system is sensitive to initial states and unpredictable in the long run. In
this paper, however, we perform a systematic empirical analysis, showing that a
vanilla or long short term memory (LSTM) RNN does not exhibit chaotic behavior
along the training process in real applications such as text generation. Our
findings suggest that future work in this direction should address the other
side of non-linear dynamics for RNN.
- Abstract(参考訳): リカレントニューラルネットワーク(RNN)は非線形力学系である。
以前の研究は、RNNがカオスの現象に悩まされ、システムは初期状態に敏感であり、長期的には予測不可能である、と信じていた。
しかし,本稿では,バニラや長期記憶(LSTM)RNNがテキスト生成などの実アプリケーションにおいて,トレーニングプロセスに沿ってカオスな動作を示さないという,系統的な実証分析を行った。
この方向の今後の研究は、RNNの非線形力学の反対側に対処すべきである。
関連論文リスト
- How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Physics-Informed Neural Networks for Time-Domain Simulations: Accuracy,
Computational Cost, and Flexibility [0.0]
物理インフォームドニューラルネットワーク(PINN)は,非線形力学系の計算を劇的に高速化するための,有望なソリューションである。
本研究では,負荷変動に対する動的応答に着目し,これらの手法の適用性について検討する。
そこで本研究では,損失関数に勾配に基づく項を導入することにより,ニューラルネットワーク(NN)トレーニングの新たな正規化を提案する。
論文 参考訳(メタデータ) (2023-03-15T23:53:32Z) - On Scrambling Phenomena for Randomly Initialized Recurrent Networks [16.36123688742091]
リカレントニューラルネットワーク(RNN)はしばしば複雑なダイナミクスを示す。
近年の研究では、爆発や消滅の傾向が生じた場合の分析に光を当てている。
我々は、爆発的な勾配が示唆しているよりも、RNNに関する定性的に強い現象を証明している。
論文 参考訳(メタデータ) (2022-10-11T07:28:28Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳(メタデータ) (2022-05-01T12:44:49Z) - Learning Trajectories of Hamiltonian Systems with Neural Networks [81.38804205212425]
本稿では,モデル系の連続時間軌跡を推定し,ハミルトニアンニューラルネットワークを強化することを提案する。
提案手法は, 低サンプリング率, ノイズ, 不規則な観測において, HNNに対して有効であることを示す。
論文 参考訳(メタデータ) (2022-04-11T13:25:45Z) - Recurrent Neural Networks for Dynamical Systems: Applications to
Ordinary Differential Equations, Collective Motion, and Hydrological Modeling [0.20999222360659606]
各タスクでRNNを個別に訓練・テストし、動的システムの力学を再現・予測するためのRNNの広範な適用性を実証する。
誤差定式化によるシステムに対する正しいロレンツ解の再構成、破損した集合運動の再構築、軌道、スパイクを有するストリームフロー時系列の予測という3つのタスクに適用されたRNNの性能を分析した。
論文 参考訳(メタデータ) (2022-02-14T20:34:49Z) - Reverse engineering recurrent neural networks with Jacobian switching
linear dynamical systems [24.0378100479104]
リカレントニューラルネットワーク(RNN)は時系列データを処理する強力なモデルである。
トレーニングされたRNNをその固定点を中心に線形化することでリバースエンジニアリングするフレームワークは洞察を与えてきたが、アプローチには大きな課題がある。
本稿では,新しい線形力学系 (SLDS) の定式化によるRNNの協調学習により,これらの制約を克服する新しいモデルを提案する。
論文 参考訳(メタデータ) (2021-11-01T20:49:30Z) - Long Short-Term Memory Spiking Networks and Their Applications [10.071615423169902]
繰り返しスパイクニューラルネットワーク(SNN)のトレーニングのための新しいフレームワークを提案する。
LSTMスパイクネットワークはスパイクのタイミングと時間的依存性を学習する。
また,LSTMをベースとしたSNN内でエラーのバックプロパゲーションを行う手法を開発した。
論文 参考訳(メタデータ) (2020-07-09T13:22:27Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳(メタデータ) (2020-05-05T14:16:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。