論文の概要: Generative System Dynamics in Recurrent Neural Networks
- arxiv url: http://arxiv.org/abs/2504.13951v1
- Date: Wed, 16 Apr 2025 10:39:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-30 08:27:10.999375
- Title: Generative System Dynamics in Recurrent Neural Networks
- Title（参考訳）: リカレントニューラルネットワークにおける生成系ダイナミクス
- Authors: Michele Casoni, Tommaso Guidi, Alessandro Betti, Stefano Melacci, Marco Gori,
- Abstract要約: リカレントニューラルネットワーク(RNN)の連続時間ダイナミクスについて検討する。
線形および非線形構成の両方において安定な極限サイクルを実現するためには,スキュー対称性の重み行列が基本であることを示す。
数値シミュレーションは、非線形活性化関数が極限周期を維持するだけでなく、システム統合プロセスの数値安定性を高めることを示す。
- 参考スコア（独自算出の注目度）: 56.958984970518564
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this study, we investigate the continuous time dynamics of Recurrent Neural Networks (RNNs), focusing on systems with nonlinear activation functions. The objective of this work is to identify conditions under which RNNs exhibit perpetual oscillatory behavior, without converging to static fixed points. We establish that skew-symmetric weight matrices are fundamental to enable stable limit cycles in both linear and nonlinear configurations. We further demonstrate that hyperbolic tangent-like activation functions (odd, bounded, and continuous) preserve these oscillatory dynamics by ensuring motion invariants in state space. Numerical simulations showcase how nonlinear activation functions not only maintain limit cycles, but also enhance the numerical stability of the system integration process, mitigating those instabilities that are commonly associated with the forward Euler method. The experimental results of this analysis highlight practical considerations for designing neural architectures capable of capturing complex temporal dependencies, i.e., strategies for enhancing memorization skills in recurrent models.
- Abstract（参考訳）: 本研究では,リカレントニューラルネットワーク(RNN)の連続時間ダイナミクスについて検討し,非線形アクティベーション機能を持つシステムに着目した。
本研究の目的は, 静止点に収束することなく, RNNが永遠の振動挙動を示す条件を特定することである。
線形および非線形構成の両方において安定な極限サイクルを実現するためには,スキュー対称性の重み行列が基本であることを示す。
さらに、双曲的タンジェント様活性化関数 (odd, bounded, continuous) が状態空間における運動不変性を保証することによってこれらの振動ダイナミクスを保っていることを実証する。
数値シミュレーションは、非線形活性化関数が極限周期を維持するだけでなく、システム統合プロセスの数値安定性を向上し、フォワード・オイラー法とよく関連する不安定性を緩和することを示した。
この分析の実験的結果は、複雑な時間的依存を捉えることができるニューラルネットワーク設計の実践的考察、すなわち、反復モデルにおける記憶能力を高めるための戦略を浮き彫りにした。
関連論文リスト
- Neural Contraction Metrics with Formal Guarantees for Discrete-Time Nonlinear Dynamical Systems [17.905596843865705]
収縮メトリクスは、様々な力学系の安定性、堅牢性、収束性を分析する強力なフレームワークを提供する。
しかしながら、複雑な非線形系に対するこれらの指標の同定は、効果的なツールが欠如しているため、未解決の課題である。
本稿では,離散的スケーラブル非線形システムに対する検証可能な収縮指標について述べる。
論文 参考訳（メタデータ） (2025-04-23T21:27:32Z) - Nonlinear Neural Dynamics and Classification Accuracy in Reservoir Computing [3.196204482566275]
複雑度の異なる人工分類タスクにおける貯水池コンピュータの精度について検討する。
極端に非線形性が低下した活性化関数や弱いリカレント相互作用、小さな入力信号であっても、貯水池は有用な表現を計算することができる。
論文 参考訳（メタデータ） (2024-11-15T08:52:12Z) - Unconditional stability of a recurrent neural circuit implementing divisive normalization [0.0]
任意次元ORGaNICs回路における非条件局所安定性の顕著な特性を証明した。
ORGaNICsは、勾配のクリッピング/スケーリングなしで、時間経過によるバックプロパゲーションによって訓練できることを示す。
論文 参考訳（メタデータ） (2024-09-27T17:46:05Z) - Analysing Rescaling, Discretization, and Linearization in RNNs for Neural System Modelling [0.0]
リカレントニューラルネットワーク(RNN)は神経活動のモデル化に広く用いられているが、コアプロシージャの数学的相互作用は実現されていない。
この研究は、これらの手順が通勤する条件を確立し、計算神経科学の柔軟な応用を可能にした。
本研究は, 意思決定と運動制御における神経力学をシミュレートするための生物学的に有効なRNNの設計を, 直接指導するものである。
論文 参考訳（メタデータ） (2023-12-26T10:00:33Z) - Neural Abstractions [72.42530499990028]
本稿では,ニューラルネットワークを用いた非線形力学モデルの安全性検証手法を提案する。
提案手法は,既存のベンチマーク非線形モデルにおいて,成熟度の高いFlow*と同等に動作することを示す。
論文 参考訳（メタデータ） (2023-01-27T12:38:09Z) - Accelerated Continuous-Time Approximate Dynamic Programming via
Data-Assisted Hybrid Control [0.0]
本研究では,アクター・クリティックな構造に動的運動量を組み込んだアルゴリズムを導入し,アフィン構造を入力とする連続時間動植物を制御する。
アルゴリズムに動的運動量を導入することにより、閉ループ系の収束特性を加速することができる。
論文 参考訳（メタデータ） (2022-04-27T05:36:51Z) - Value Iteration in Continuous Actions, States and Time [99.00362538261972]
連続状態と動作に対する連続的適合値反復(cFVI)アルゴリズムを提案する。
非線形制御アフィンダイナミクスに対して最適なポリシを導出することができる。
物理システムのビデオは、urlhttps://sites.google.com/view/value-iteration.comで入手できる。
論文 参考訳（メタデータ） (2021-05-10T21:40:56Z) - Lipschitz Recurrent Neural Networks [100.72827570987992]
我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。
実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2020-06-22T08:44:52Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳（メタデータ） (2020-06-08T09:53:35Z) - On dissipative symplectic integration with applications to
gradient-based optimization [77.34726150561087]
本稿では,離散化を体系的に実現する幾何学的枠組みを提案する。
我々は、シンプレクティックな非保守的、特に散逸的なハミルトン系への一般化が、制御された誤差まで収束率を維持することができることを示す。
論文 参考訳（メタデータ） (2020-04-15T00:36:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。