論文の概要: On the Dimension of Pullback Attractors in Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2501.11357v1
• Date: Mon, 20 Jan 2025 09:38:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:23:51.733869
• Title: On the Dimension of Pullback Attractors in Recurrent Neural Networks
• Title（参考訳）: リカレントニューラルネットワークにおけるプルバックトラクタの次元について
• Authors: Muhammed Fadera,
• Abstract要約: 近年、力学系の観測に基づいて訓練された貯水池コンピュータは埋め込みとして解釈できると推測されている。 本研究では、非正則力学系を用いて、トレーニングおよび予測フェーズ中に近似された貯水池状態空間の部分集合のフラクタル次元の上限を確立する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Recurrent Neural Networks (RNNs) are high-dimensional state space models capable of learning functions on sequence data. Recently, it has been conjectured that reservoir computers, a particular class of RNNs, trained on observations of a dynamical systems can be interpreted as embeddings. This result has been established for the case of linear reservoir systems. In this work, we use a nonautonomous dynamical systems approach to establish an upper bound for the fractal dimension of the subset of reservoir state space approximated during training and prediction phase. We prove that when the input sequences comes from an Nin-dimensional invertible dynamical system, the fractal dimension of this set is bounded above by Nin. The result obtained here are useful in dimensionality reduction of computation in RNNs as well as estimating fractal dimensions of dynamical systems from limited observations of their time series. It is also a step towards understanding embedding properties of reservoir computers.
• Abstract（参考訳）: リカレントニューラルネットワーク(Recurrent Neural Networks、RNN)は、シーケンスデータ上で関数を学習できる高次元状態空間モデルである。 近年、力学系の観測に基づいて訓練された貯水池コンピュータは埋め込みとして解釈できると推測されている。 この結果は線形貯水池システムにおいて確立されている。 本研究では、非正則力学系を用いて、トレーニングおよび予測フェーズ中に近似された貯水池状態空間の部分集合のフラクタル次元の上限を確立する。 入力列がNin-次元可逆力学系から来るとき、この集合のフラクタル次元はNinによって有界であることを示す。 この結果は、RNNにおける計算の次元的削減や、時系列の限られた観測から力学系のフラクタル次元を推定するのに有用である。 また、貯水池コンピュータの埋め込み特性を理解するための一歩でもある。

関連論文リスト

• Deep Recurrent Stochastic Configuration Networks for Modelling Nonlinear Dynamic Systems [3.8719670789415925]
  本稿ではディープリカレント構成ネットワーク(DeepRSCN)と呼ばれる新しいディープリカレント計算フレームワークを提案する。 DeepRSCNはインクリメンタルに構築され、すべての貯水池ノードは最終的な出力に直接リンクする。 トレーニングサンプルのセットが与えられた場合、DeepRSCNは、カスケードされた入力読み出し重みを持つランダム基底関数からなる学習表現を迅速に生成できる。
  論文  参考訳（メタデータ） (2024-10-28T10:33:15Z)
• Metric-Entropy Limits on Nonlinear Dynamical System Learning [4.069144210024563]
  本稿では,リプシッツ特性を満足する非線形系を学習し,計量エントロピーの最適方法で過去の入力を十分に早く忘れることのできるリカレントニューラルネットワーク(RNN)について述べる。 私たちが考えるシーケンス・ツー・シーケンス・マップの集合は、ディープ・ニューラルネットワーク近似理論において一般的に考慮される関数クラスよりもはるかに大きいので、洗練された計量エントロピー特性が必要である。
  論文  参考訳（メタデータ） (2024-07-01T12:57:03Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Deep learning delay coordinate dynamics for chaotic attractors from partial observable data [0.0]
  深層ニューラルネットワークを用いて離散時間マップと部分状態の連続時間フローを学習する。 我々は, 3次元多様体上のスカラー観測から, ロレンツ系を経由したカオス挙動を予測するために, 深部ANNの能力を示す。
  論文  参考訳（メタデータ） (2022-11-20T19:25:02Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Analyzing Echo-state Networks Using Fractal Dimension [0.0]
  入力シーケンスが隠れ状態表現のフラクタルパターンとして現れるという観測に基づいて構築する。 これらのパターンはフラクタル次元を持ち、貯水池の単位数よりも低い。
  論文  参考訳（メタデータ） (2022-05-19T06:55:04Z)
• Adaptive Machine Learning for Time-Varying Systems: Low Dimensional Latent Space Tuning [91.3755431537592]
  本稿では,時間変化システムを対象とした適応機械学習手法を提案する。 我々は,エンコーダデコーダCNNのエンコーダ部出力において,非常に高次元(N>100k)の入力を低次元(N2)潜在空間にマッピングする。 そこで本手法では,割り込みを伴わないフィードバックに基づいて,内部の相関関係を学習し,その進化をリアルタイムで追跡する。
  論文  参考訳（メタデータ） (2021-07-13T16:05:28Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。