Fugu-MT 論文翻訳(概要): How Chaotic Are Recurrent Neural Networks?

論文の概要: How Chaotic Are Recurrent Neural Networks?

arxiv url: http://arxiv.org/abs/2004.13838v1
Date: Tue, 28 Apr 2020 21:14:38 GMT
ステータス: 処理完了
システム内更新日: 2022-12-08 23:08:23.939904
Title: How Chaotic Are Recurrent Neural Networks?
Title（参考訳）: リカレントニューラルネットワークはいかにカオスか?
Authors: Pourya Vakilipourtakalou, Lili Mou
Abstract要約: リカレントニューラルネットワーク(RNN)は非線形力学系である。テキスト生成などの実アプリケーションにおいて,バニラや長期記憶(LSTM)RNNはトレーニングプロセスに沿ってカオスな動作を示さないことを示す。
参考スコア（独自算出の注目度）: 22.236891108918396
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recurrent neural networks (RNNs) are non-linear dynamic systems. Previous work believes that RNN may suffer from the phenomenon of chaos, where the system is sensitive to initial states and unpredictable in the long run. In this paper, however, we perform a systematic empirical analysis, showing that a vanilla or long short term memory (LSTM) RNN does not exhibit chaotic behavior along the training process in real applications such as text generation. Our findings suggest that future work in this direction should address the other side of non-linear dynamics for RNN.
Abstract（参考訳）: リカレントニューラルネットワーク(RNN)は非線形力学系である。以前の研究は、RNNがカオスの現象に悩まされ、システムは初期状態に敏感であり、長期的には予測不可能である、と信じていた。しかし,本稿では,バニラや長期記憶(LSTM)RNNがテキスト生成などの実アプリケーションにおいて,トレーニングプロセスに沿ってカオスな動作を示さないという,系統的な実証分析を行った。この方向の今後の研究は、RNNの非線形力学の反対側に対処すべきである。

関連論文リスト

Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations [54.17275171325324]
線形表現仮説(LRH)に対する反例を提示する。入力トークンシーケンスを繰り返すように訓練されると、ニューラルネットワークは、方向ではなく、特定の順序で各位置のトークンを表現することを学ぶ。これらの結果は、解釈可能性の研究はLRHに限定されるべきでないことを強く示唆している。
論文参考訳（メタデータ） (2024-08-20T15:04:37Z)
Investigating Sparsity in Recurrent Neural Networks [0.0]
本論文は, プルーニングとスパースリカレントニューラルネットワークがRNNの性能に与える影響を考察することに焦点を当てる。まず,RNNの刈り込み,RNNの性能への影響,および刈り込み後の精度回復に必要な訓練エポック数について述べる。次に、スパースリカレントニューラルネットワークの作成と訓練を継続し、その基礎となる任意の構造の性能とグラフ特性の関係を同定する。
論文参考訳（メタデータ） (2024-07-30T07:24:58Z)
Topological Representations of Heterogeneous Learning Dynamics of Recurrent Spiking Neural Networks [16.60622265961373]
スパイキングニューラルネットワーク(SNN)は神経科学と人工知能において重要なパラダイムとなっている。近年,深層ニューラルネットワークのネットワーク表現について研究が進められている。
論文参考訳（メタデータ） (2024-03-19T05:37:26Z)
How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文参考訳（メタデータ） (2023-06-04T08:53:27Z)
Physics-Informed Neural Networks for Time-Domain Simulations: Accuracy, Computational Cost, and Flexibility [0.0]
物理インフォームドニューラルネットワーク(PINN)は,非線形力学系の計算を劇的に高速化するための,有望なソリューションである。本研究では,負荷変動に対する動的応答に着目し,これらの手法の適用性について検討する。そこで本研究では,損失関数に勾配に基づく項を導入することにより,ニューラルネットワーク(NN)トレーニングの新たな正規化を提案する。
論文参考訳（メタデータ） (2023-03-15T23:53:32Z)
Learning Trajectories of Hamiltonian Systems with Neural Networks [81.38804205212425]
本稿では,モデル系の連続時間軌跡を推定し,ハミルトニアンニューラルネットワークを強化することを提案する。提案手法は, 低サンプリング率, ノイズ, 不規則な観測において, HNNに対して有効であることを示す。
論文参考訳（メタデータ） (2022-04-11T13:25:45Z)
Reverse engineering recurrent neural networks with Jacobian switching linear dynamical systems [24.0378100479104]
リカレントニューラルネットワーク(RNN)は時系列データを処理する強力なモデルである。トレーニングされたRNNをその固定点を中心に線形化することでリバースエンジニアリングするフレームワークは洞察を与えてきたが、アプローチには大きな課題がある。本稿では,新しい線形力学系 (SLDS) の定式化によるRNNの協調学習により,これらの制約を克服する新しいモデルを提案する。
論文参考訳（メタデータ） (2021-11-01T20:49:30Z)
Long Short-Term Memory Spiking Networks and Their Applications [10.071615423169902]
繰り返しスパイクニューラルネットワーク(SNN)のトレーニングのための新しいフレームワークを提案する。 LSTMスパイクネットワークはスパイクのタイミングと時間的依存性を学習する。また,LSTMをベースとしたSNN内でエラーのバックプロパゲーションを行う手法を開発した。
論文参考訳（メタデータ） (2020-07-09T13:22:27Z)
Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文参考訳（メタデータ） (2020-07-03T01:37:16Z)
Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-02T15:38:44Z)
Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文参考訳（メタデータ） (2020-05-05T14:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。