論文の概要: Tractable Dendritic RNNs for Reconstructing Nonlinear Dynamical Systems
- arxiv url: http://arxiv.org/abs/2207.02542v1
- Date: Wed, 6 Jul 2022 09:43:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-07 15:03:24.751574
- Title: Tractable Dendritic RNNs for Reconstructing Nonlinear Dynamical Systems
- Title（参考訳）: 非線形力学系を再構成する気道樹状rnn
- Authors: Manuel Brenner, Florian Hess, Jonas M. Mikhaeil, Leonard Bereska,
Zahra Monfared, Po-Chen Kuo, Daniel Durstewitz
- Abstract要約: 線形スプラインベース展開により、片方向線形リカレントニューラルネットワーク(RNN)を増強する。
このアプローチは単純な PLRNN の理論的に魅力的な性質を全て保持するが、相対的に低次元の任意の非線形力学系を近似する能力は向上する。
- 参考スコア（独自算出の注目度）: 7.045072177165241
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In many scientific disciplines, we are interested in inferring the nonlinear
dynamical system underlying a set of observed time series, a challenging task
in the face of chaotic behavior and noise. Previous deep learning approaches
toward this goal often suffered from a lack of interpretability and
tractability. In particular, the high-dimensional latent spaces often required
for a faithful embedding, even when the underlying dynamics lives on a
lower-dimensional manifold, can hamper theoretical analysis. Motivated by the
emerging principles of dendritic computation, we augment a dynamically
interpretable and mathematically tractable piecewise-linear (PL) recurrent
neural network (RNN) by a linear spline basis expansion. We show that this
approach retains all the theoretically appealing properties of the simple
PLRNN, yet boosts its capacity for approximating arbitrary nonlinear dynamical
systems in comparatively low dimensions. We employ two frameworks for training
the system, one combining back-propagation-through-time (BPTT) with teacher
forcing, and another based on fast and scalable variational inference. We show
that the dendritically expanded PLRNN achieves better reconstructions with
fewer parameters and dimensions on various dynamical systems benchmarks and
compares favorably to other methods, while retaining a tractable and
interpretable structure.
- Abstract（参考訳）: 多くの科学的分野において、我々は、カオス的な振る舞いやノイズに直面した課題である観測時系列の集合の根底にある非線形力学系を推論することに興味を持っている。
この目標への以前のディープラーニングアプローチは、しばしば解釈可能性と扱いやすさの欠如に苦しめられた。
特に、忠実な埋め込みに必要とされる高次元の潜在空間は、基礎となる力学が低次元多様体上に存在するとしても理論解析を妨げうる。
樹状体計算の新たな原理により,線形スプラインベース展開により動的に解釈可能かつ数学的に抽出可能なPLリカレントニューラルネットワーク(RNN)を増強する。
このアプローチは単純な PLRNN の理論的に魅力的な性質をすべて保持するが、相対的に低次元の任意の非線形力学系を近似する能力を高める。
システムトレーニングには,バックプロパゲーション・スルータイム(bptt)と教師の強制力,高速でスケーラブルな変分推論の2つのフレームワークを用いた。
本研究では, 様々な動的システムベンチマークにおいて, パラメータや次元を少なくして, より高精度な再構成を実現し, トラクタブルかつ解釈可能な構造を維持しつつ, 他の手法と比較した。
関連論文リスト
- Almost-Linear RNNs Yield Highly Interpretable Symbolic Codes in Dynamical Systems Reconstruction [8.473495734873872]
本稿では,時系列データから動的システム(DS)のPWL表現を自動的かつ堅牢に生成する,ニアリカレントニューラルネットワーク(AL-RNN)を提案する。
AL-RNNは、動的システム再構成(DSR)のための任意のSOTAアルゴリズムで効率的に訓練できる
我々は,ロレンツとR"オスラー系に対して,AL-RNNが純粋にデータ駆動方式で,対応するカオスアトラクションの位相的に最小のPWL表現を発見することを示す。
論文 参考訳（メタデータ） (2024-10-18T07:44:12Z) - Modeling Latent Neural Dynamics with Gaussian Process Switching Linear Dynamical Systems [2.170477444239546]
ガウス過程スイッチング線形力学系(gpSLDS)の2つの目的をバランスさせるアプローチを開発する。
我々の手法は、非線形力学をガウス過程(GP-SDE)で記述した微分方程式による潜在状態の進化をモデル化した以前の研究に基づいている。
本手法は, 離散状態境界近傍の力学における人工振動など, rSLDS の重要な限界を解消するとともに, 力学の後方不確かさを推定する。
論文 参考訳（メタデータ） (2024-07-19T15:32:15Z) - Generalized Teacher Forcing for Learning Chaotic Dynamics [9.841893058953625]
カオス力学系(DS)は自然界や社会界においてどこにでも存在しており、予測や機械的洞察のために観測された時系列からそのような系を再構築することに関心があることが多い。
これらの修正により、従来のSOTAアルゴリズムよりもずっと低い次元でDSを再構築できることを、いくつかのDSで示している。
これにより、シンプルながら強力なDS再構成アルゴリズムが実現され、同時に高い解釈が可能となった。
論文 参考訳（メタデータ） (2023-06-07T13:04:34Z) - ConCerNet: A Contrastive Learning Based Framework for Automated
Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。
本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2023-02-11T21:07:30Z) - Expressive architectures enhance interpretability of dynamics-based
neural population models [2.294014185517203]
シミュレーションされたニューラルネットワークから潜在カオスを引き付ける際のシーケンシャルオートエンコーダ(SAE)の性能を評価する。
広帯域再帰型ニューラルネットワーク(RNN)を用いたSAEでは,真の潜在状態次元での正確な発射速度を推定できないことがわかった。
論文 参考訳（メタデータ） (2022-12-07T16:44:26Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2022-10-25T14:45:15Z) - Decomposed Linear Dynamical Systems (dLDS) for learning the latent
components of neural dynamics [6.829711787905569]
本稿では,時系列データの非定常および非線形の複雑なダイナミクスを表現した新しい分解力学系モデルを提案する。
我々のモデルは辞書学習によって訓練され、最近の結果を利用してスパースベクトルを時間とともに追跡する。
連続時間と離散時間の両方の指導例において、我々のモデルは元のシステムによく近似できることを示した。
論文 参考訳（メタデータ） (2022-06-07T02:25:38Z) - Supervised DKRC with Images for Offline System Identification [77.34726150561087]
現代の力学系はますます非線形で複雑なものになりつつある。
予測と制御のためのコンパクトで包括的な表現でこれらのシステムをモデル化するフレームワークが必要である。
本手法は,教師付き学習手法を用いてこれらの基礎関数を学習する。
論文 参考訳（メタデータ） (2021-09-06T04:39:06Z) - Neural Dynamic Mode Decomposition for End-to-End Modeling of Nonlinear
Dynamics [49.41640137945938]
ニューラルネットワークに基づくリフト関数を推定するためのニューラルダイナミックモード分解法を提案する。
提案手法により,予測誤差はニューラルネットワークとスペクトル分解によって逆伝搬される。
提案手法の有効性を,固有値推定と予測性能の観点から実証した。
論文 参考訳（メタデータ） (2020-12-11T08:34:26Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。
この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文 参考訳（メタデータ） (2020-06-19T22:05:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。