論文の概要: Detecting Invariant Manifolds in ReLU-Based RNNs

• arxiv url: http://arxiv.org/abs/2510.03814v2
• Date: Tue, 07 Oct 2025 08:06:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 13:19:51.471213
• Title: Detecting Invariant Manifolds in ReLU-Based RNNs
• Title（参考訳）: ReLUベースRNNにおける不変多様体の検出
• Authors: Lukas Eisenmann, Alena Brändle, Zahra Monfared, Daniel Durstewitz,
• Abstract要約: リカレントニューラルネットワーク(RNN)は、時系列予測と動的システム再構築に機械学習に広く応用されている。 本稿では,アトラクションの異なる流域の境界線をアルゴリズムで追跡する方法を示す。 また、本手法により、基礎となるダイナミクスに対する洞察がどのように得られるかを示す。
• 参考スコア（独自算出の注目度）: 14.751120405888743
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recurrent Neural Networks (RNNs) have found widespread applications in machine learning for time series prediction and dynamical systems reconstruction, and experienced a recent renaissance with improved training algorithms and architectural designs. Understanding why and how trained RNNs produce their behavior is important for scientific and medical applications, and explainable AI more generally. An RNN's dynamical repertoire depends on the topological and geometrical properties of its state space. Stable and unstable manifolds of periodic points play a particularly important role: They dissect a dynamical system's state space into different basins of attraction, and their intersections lead to chaotic dynamics with fractal geometry. Here we introduce a novel algorithm for detecting these manifolds, with a focus on piecewise-linear RNNs (PLRNNs) employing rectified linear units (ReLUs) as their activation function. We demonstrate how the algorithm can be used to trace the boundaries between different basins of attraction, and hence to characterize multistability, a computationally important property. We further show its utility in finding so-called homoclinic points, the intersections between stable and unstable manifolds, and thus establish the existence of chaos in PLRNNs. Finally we show for an empirical example, electrophysiological recordings from a cortical neuron, how insights into the underlying dynamics could be gained through our method.
• Abstract（参考訳）: リカレントニューラルネットワーク(RNN)は、時系列予測と動的システム再構築に機械学習に広く応用されており、トレーニングアルゴリズムとアーキテクチャ設計の改善によって最近のルネッサンスを経験している。 科学や医学の応用において、なぜ、どのように訓練されたRNNが行動を生み出すかを理解することは重要であり、より一般的に説明可能なAIである。 RNNの力学レパートリーはその状態空間の位相的および幾何学的性質に依存する。 安定かつ不安定な周期点多様体は特に重要な役割を果たす: 力学系の状態空間を異なるアトラクションの流域に分割し、それらの交叉はフラクタル幾何学によるカオス力学をもたらす。 本稿では、これらの多様体を検出するための新しいアルゴリズムを紹介し、その活性化関数として正則線形単位(ReLU)を用いた片方向線形RNN(PLRNN)に焦点を当てる。 提案アルゴリズムは,アトラクションの異なる流域の境界線を追従し,計算上重要な特性である乗法性を特徴付ける。 さらに、安定な多様体と不安定な多様体の間の交点であるいわゆるホモクリニック点の発見におけるその有用性を示し、それによって PLRNN におけるカオスの存在を確立する。 最後に、脳皮質ニューロンからの電気生理学的記録の実証例を示し、その基礎となる力学の洞察を我々の方法で得る方法について述べる。

関連論文リスト

• Generative System Dynamics in Recurrent Neural Networks [56.958984970518564]
  リカレントニューラルネットワーク(RNN)の連続時間ダイナミクスについて検討する。 線形および非線形構成の両方において安定な極限サイクルを実現するためには,スキュー対称性の重み行列が基本であることを示す。 数値シミュレーションは、非線形活性化関数が極限周期を維持するだけでなく、システム統合プロセスの数値安定性を高めることを示す。
  論文  参考訳（メタデータ） (2025-04-16T10:39:43Z)
• Inferring stochastic low-rank recurrent neural networks from neural data [5.179844449042386]
  計算神経科学における中心的な目的は、大きなニューロンの活動と基礎となる力学系を関連付けることである。 低ランクリカレントニューラルネットワーク(RNN)は、トラクタブルダイナミクスを持つことによって、そのような解釈可能性を示す。 そこで本研究では,低ランクRNNをモンテカルロ変分法に適合させる手法を提案する。
  論文  参考訳（メタデータ） (2024-06-24T15:57:49Z)
• Analysing Rescaling, Discretization, and Linearization in RNNs for Neural System Modelling [0.0]
  リカレントニューラルネットワーク(RNN)は神経活動のモデル化に広く用いられているが、コアプロシージャの数学的相互作用は実現されていない。 この研究は、これらの手順が通勤する条件を確立し、計算神経科学の柔軟な応用を可能にした。 本研究は, 意思決定と運動制御における神経力学をシミュレートするための生物学的に有効なRNNの設計を, 直接指導するものである。
  論文  参考訳（メタデータ） (2023-12-26T10:00:33Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Dynamics with autoregressive neural quantum states: application to critical quench dynamics [41.94295877935867]
  本稿では、量子系の長時間のダイナミクスを安定的に捉えるための代替の汎用スキームを提案する。 二次元量子イジングモデルにおけるキブル・ズレーク機構の解明により,時間依存性のクエンチ力学にこのスキームを適用した。
  論文  参考訳（メタデータ） (2022-09-07T15:50:00Z)
• Tractable Dendritic RNNs for Reconstructing Nonlinear Dynamical Systems [7.045072177165241]
  線形スプラインベース展開により、片方向線形リカレントニューラルネットワーク(RNN)を増強する。 このアプローチは単純な PLRNN の理論的に魅力的な性質を全て保持するが、相対的に低次元の任意の非線形力学系を近似する能力は向上する。
  論文  参考訳（メタデータ） (2022-07-06T09:43:03Z)
• Linearization and Identification of Multiple-Attractors Dynamical System through Laplacian Eigenmaps [8.161497377142584]
  速度拡張カーネルを利用したグラフベースのスペクトルクラスタリング手法を提案し,同じダイナミックスに属するデータポイントを接続する。 部分力学が線型であり、n-次元埋め込みが準線型であるような2次元埋め込み空間が常に存在することを証明する。 我々は、ラプラシアン埋め込み空間から元の空間への微分同相性を学び、ラプラシアン埋め込みが良好な再構成精度とより高速な訓練時間をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-02-18T12:43:25Z)
• Recurrent Neural Networks for Dynamical Systems: Applications to Ordinary Differential Equations, Collective Motion, and Hydrological Modeling [0.20999222360659606]
  各タスクでRNNを個別に訓練・テストし、動的システムの力学を再現・予測するためのRNNの広範な適用性を実証する。 誤差定式化によるシステムに対する正しいロレンツ解の再構成、破損した集合運動の再構築、軌道、スパイクを有するストリームフロー時系列の予測という3つのタスクに適用されたRNNの性能を分析した。
  論文  参考訳（メタデータ） (2022-02-14T20:34:49Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。