論文の概要: On Lyapunov Exponents for RNNs: Understanding Information Propagation
Using Dynamical Systems Tools
- arxiv url: http://arxiv.org/abs/2006.14123v1
- Date: Thu, 25 Jun 2020 00:53:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 03:30:10.864325
- Title: On Lyapunov Exponents for RNNs: Understanding Information Propagation
Using Dynamical Systems Tools
- Title（参考訳）: lyapunov exponents for rnnsについて:動的システムツールを用いた情報伝達の理解
- Authors: Ryan Vogt, Maximilian Puelma Touzel, Eli Shlizerman, Guillaume Lajoie
- Abstract要約: Lyapunov Exponents (LEs) は非線形系軌道の膨張と収縮の速度を測定する。
情報の前方伝播は誤り勾配の後方伝播と関係しているため、レはRNN訓練力学の安定性に左右される。
学習力学の安定性を理解し、活用するためのツールとして、リャプノフスペクトルは、規範的な数学的アプローチの間の既存のギャップを埋める。
- 参考スコア（独自算出の注目度）: 6.199300239433395
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recurrent neural networks (RNNs) have been successfully applied to a variety
of problems involving sequential data, but their optimization is sensitive to
parameter initialization, architecture, and optimizer hyperparameters.
Considering RNNs as dynamical systems, a natural way to capture stability,
i.e., the growth and decay over long iterates, are the Lyapunov Exponents
(LEs), which form the Lyapunov spectrum. The LEs have a bearing on stability of
RNN training dynamics because forward propagation of information is related to
the backward propagation of error gradients. LEs measure the asymptotic rates
of expansion and contraction of nonlinear system trajectories, and generalize
stability analysis to the time-varying attractors structuring the
non-autonomous dynamics of data-driven RNNs. As a tool to understand and
exploit stability of training dynamics, the Lyapunov spectrum fills an existing
gap between prescriptive mathematical approaches of limited scope and
computationally-expensive empirical approaches. To leverage this tool, we
implement an efficient way to compute LEs for RNNs during training, discuss the
aspects specific to standard RNN architectures driven by typical sequential
datasets, and show that the Lyapunov spectrum can serve as a robust readout of
training stability across hyperparameters. With this exposition-oriented
contribution, we hope to draw attention to this understudied, but theoretically
grounded tool for understanding training stability in RNNs.
- Abstract（参考訳）: リカレントニューラルネットワーク(RNN)は、シーケンシャルデータを含む様々な問題にうまく適用されているが、その最適化はパラメータの初期化、アーキテクチャ、オプティマイザハイパーパラメーターに敏感である。
RNNを力学系として考えると、安定を捉える自然な方法、すなわち長い反復による成長と崩壊は、リアプノフスペクトルを形成するリアプノフ指数(LE)である。
情報の前方伝播は誤差勾配の後方伝播に関連しているため、lesはrnnトレーニングダイナミクスの安定性に重点を置いている。
LEは非線形系軌跡の拡大と収縮の漸近速度を測定し、データ駆動RNNの非自律力学を構造化する時間変化アトラクタに安定性解析を一般化する。
トレーニングダイナミクスの安定性を理解し、活用するためのツールとして、リアプノフスペクトルは、限られたスコープの規範的数学的アプローチと計算的に拡張された経験的アプローチとのギャップを埋める。
このツールを活用するために、トレーニング中にRNNのLEを計算する効率的な方法を実装し、典型的なシーケンシャルデータセットによって駆動される標準RNNアーキテクチャに特有の側面について議論し、Lyapunovスペクトルがハイパーパラメータ間のトレーニング安定性の堅牢な読み出しとして役立つことを示す。
この展示指向の貢献により、RNNのトレーニング安定性を理解するための理論的に根拠のあるツールに注意を向けたい。
関連論文リスト
- Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2022-10-25T14:45:15Z) - Stability and Generalization Analysis of Gradient Methods for Shallow
Neural Networks [59.142826407441106]
本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。
我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
論文 参考訳（メタデータ） (2022-09-19T18:48:00Z) - Tractable Dendritic RNNs for Reconstructing Nonlinear Dynamical Systems [7.045072177165241]
線形スプラインベース展開により、片方向線形リカレントニューラルネットワーク(RNN)を増強する。
このアプローチは単純な PLRNN の理論的に魅力的な性質を全て保持するが、相対的に低次元の任意の非線形力学系を近似する能力は向上する。
論文 参考訳（メタデータ） (2022-07-06T09:43:03Z) - On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。
スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。
この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
論文 参考訳（メタデータ） (2022-06-21T09:42:30Z) - Lyapunov-Guided Representation of Recurrent Neural Network Performance [9.449520199858952]
リカレントニューラルネットワーク(Recurrent Neural Networks、RNN)は、シーケンスと時系列データのためのユビキタスコンピューティングシステムである。
本稿では,RNNを力学系として扱うとともに,リアプノフスペクトル解析を用いてハイパーパラメータを高精度に相関する手法を提案する。
各種RNNアーキテクチャの研究により,AeLLEはRNNリアプノフスペクトルと精度の相関が得られた。
論文 参考訳（メタデータ） (2022-04-11T05:38:38Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Extended critical regimes of deep neural networks [0.0]
重み付き重みは、微調整パラメータを使わずに、拡張臨界状態の出現を可能にすることを示す。
この拡張クリティカルレジームでは、DNNは層間のリッチで複雑な伝播ダイナミクスを示す。
効率的なニューラルアーキテクチャの設計のための理論的ガイドを提供する。
論文 参考訳（メタデータ） (2022-03-24T10:15:50Z) - Reverse engineering recurrent neural networks with Jacobian switching
linear dynamical systems [24.0378100479104]
リカレントニューラルネットワーク(RNN)は時系列データを処理する強力なモデルである。
トレーニングされたRNNをその固定点を中心に線形化することでリバースエンジニアリングするフレームワークは洞察を与えてきたが、アプローチには大きな課題がある。
本稿では,新しい線形力学系 (SLDS) の定式化によるRNNの協調学習により,これらの制約を克服する新しいモデルを提案する。
論文 参考訳（メタデータ） (2021-11-01T20:49:30Z) - Coupled Oscillatory Recurrent Neural Network (coRNN): An accurate and
(gradient) stable architecture for learning long time dependencies [15.2292571922932]
本稿では,リカレントニューラルネットワークのための新しいアーキテクチャを提案する。
提案するRNNは, 2次常微分方程式系の時間分解に基づく。
実験の結果,提案したRNNは,様々なベンチマークによる最先端技術に匹敵する性能を示した。
論文 参考訳（メタデータ） (2020-10-02T12:35:04Z) - Continual Learning in Recurrent Neural Networks [67.05499844830231]
リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。
RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重
そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
論文 参考訳（メタデータ） (2020-06-22T10:05:12Z) - Lipschitz Recurrent Neural Networks [100.72827570987992]
我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。
実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2020-06-22T08:44:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。