論文の概要: On Scrambling Phenomena for Randomly Initialized Recurrent Networks
- arxiv url: http://arxiv.org/abs/2210.05212v1
- Date: Tue, 11 Oct 2022 07:28:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 14:29:29.584009
- Title: On Scrambling Phenomena for Randomly Initialized Recurrent Networks
- Title（参考訳）: ランダム初期化リカレントネットワークのスクランブル現象について
- Authors: Vaggos Chatziafratis, Ioannis Panageas, Clayton Sanford, Stelios
Andrew Stavroulakis
- Abstract要約: リカレントニューラルネットワーク(RNN)はしばしば複雑なダイナミクスを示す。
近年の研究では、爆発や消滅の傾向が生じた場合の分析に光を当てている。
我々は、爆発的な勾配が示唆しているよりも、RNNに関する定性的に強い現象を証明している。
- 参考スコア（独自算出の注目度）: 16.36123688742091
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recurrent Neural Networks (RNNs) frequently exhibit complicated dynamics, and
their sensitivity to the initialization process often renders them notoriously
hard to train. Recent works have shed light on such phenomena analyzing when
exploding or vanishing gradients may occur, either of which is detrimental for
training dynamics. In this paper, we point to a formal connection between RNNs
and chaotic dynamical systems and prove a qualitatively stronger phenomenon
about RNNs than what exploding gradients seem to suggest. Our main result
proves that under standard initialization (e.g., He, Xavier etc.), RNNs will
exhibit \textit{Li-Yorke chaos} with \textit{constant} probability
\textit{independent} of the network's width. This explains the experimentally
observed phenomenon of \textit{scrambling}, under which trajectories of nearby
points may appear to be arbitrarily close during some timesteps, yet will be
far away in future timesteps. In stark contrast to their feedforward
counterparts, we show that chaotic behavior in RNNs is preserved under small
perturbations and that their expressive power remains exponential in the number
of feedback iterations. Our technical arguments rely on viewing RNNs as random
walks under non-linear activations, and studying the existence of certain types
of higher-order fixed points called \textit{periodic points} that lead to phase
transitions from order to chaos.
- Abstract（参考訳）: リカレントニューラルネットワーク(RNN)はしばしば複雑なダイナミクスを示し、初期化プロセスに対する感度はトレーニングを難しくする。
近年の研究では、爆発または消失する勾配が発生した場合に解析される現象に光を当てている。
本稿では,rnnとカオス力学系の形式的関係を指摘し,爆発勾配が示唆するものよりも,rnnに関する定性的に強い現象を証明した。
我々の主な結果は、標準初期化(He, Xavierなど)の下では、RNNはネットワークの幅の確率 \textit{constant} で \textit{Li-Yorke chaos} を示すことを証明している。
これは実験的に観察された『textit{scrambling} 』現象を説明するもので、近傍の点の軌道はいくつかの時間ステップの間は任意に近いように見えるが、将来の時間ステップでは遠く離れるだろう。
フィードフォワードとは対照的に、RNNのカオス的挙動は小さな摂動の下で維持され、その表現力はフィードバックの繰り返し回数において指数関数的であることを示す。
我々の技術的議論は、非線形のアクティベーションの下でランダムウォークとしてRNNを見ることに依存しており、秩序からカオスへの位相遷移につながるある種の高次固定点の存在を研究する。
関連論文リスト
- How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Dynamic Causal Explanation Based Diffusion-Variational Graph Neural
Network for Spatio-temporal Forecasting [60.03169701753824]
時間予測のための動的拡散型グラフニューラルネットワーク(DVGNN)を提案する。
提案したDVGNNモデルは最先端のアプローチよりも優れ,Root Mean Squared Errorの結果が優れている。
論文 参考訳（メタデータ） (2023-05-16T11:38:19Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2022-10-25T14:45:15Z) - Momentum Diminishes the Effect of Spectral Bias in Physics-Informed
Neural Networks [72.09574528342732]
物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。
彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。
本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
論文 参考訳（メタデータ） (2022-06-29T19:03:10Z) - How to train RNNs on chaotic data? [7.276372008305615]
リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、シーケンシャルおよび時系列データをモデリングするための広帯域機械学習ツールである。
トレーニング中の損失勾配は、トレーニング中に飽和または分散する傾向にあるため、トレーニングが難しいことが知られている。
ここでは、RNN学習中の損失勾配をRNN生成軌道のリャプノフスペクトルに関連付けることで、この問題を包括的に理論的に扱う。
論文 参考訳（メタデータ） (2021-10-14T09:07:42Z) - Recurrent Neural Networks for Partially Observed Dynamical Systems [0.0]
遅延埋め込みにより、観測されていない状態変数を説明できる。
エラーの明示的な近似を可能にする遅延埋め込みに対するアプローチを提案する。
また,システムサイズに対する第1次近似誤差の依存性も提供する。
論文 参考訳（メタデータ） (2021-09-21T20:15:20Z) - UnICORNN: A recurrent model for learning very long time dependencies [0.0]
2次常微分方程式のハミルトン系の離散性を保つ構造に基づく新しいRNNアーキテクチャを提案する。
結果として得られるrnnは高速で可逆(時間)で、メモリ効率が良く、隠れた状態勾配の厳密な境界を導出して、爆発と消滅の勾配問題の緩和を証明する。
論文 参考訳（メタデータ） (2021-03-09T15:19:59Z) - Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。
破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-07T14:19:07Z) - Implicit Bias of Linear RNNs [27.41989861342218]
リニアリカレントニューラルネットワーク(RNN)は、長期記憶を必要とするタスクではうまく機能しない。
本稿では,線形RNNの特殊な場合において,この性質を厳密に説明する。
近年開発されたカーネル構造解析を用いて,線形RNNは特定の重み付き1次元畳み込みネットワークと機能的に等価であることを示す。
論文 参考訳（メタデータ） (2021-01-19T19:39:28Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳（メタデータ） (2020-06-08T09:53:35Z) - How Chaotic Are Recurrent Neural Networks? [22.236891108918396]
リカレントニューラルネットワーク(RNN)は非線形力学系である。
テキスト生成などの実アプリケーションにおいて,バニラや長期記憶(LSTM)RNNはトレーニングプロセスに沿ってカオスな動作を示さないことを示す。
論文 参考訳（メタデータ） (2020-04-28T21:14:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。