論文の概要: Tractable Dendritic RNNs for Reconstructing Nonlinear Dynamical Systems
- arxiv url: http://arxiv.org/abs/2207.02542v1
- Date: Wed, 6 Jul 2022 09:43:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-07 15:03:24.751574
- Title: Tractable Dendritic RNNs for Reconstructing Nonlinear Dynamical Systems
- Title（参考訳）: 非線形力学系を再構成する気道樹状rnn
- Authors: Manuel Brenner, Florian Hess, Jonas M. Mikhaeil, Leonard Bereska,
Zahra Monfared, Po-Chen Kuo, Daniel Durstewitz
- Abstract要約: 線形スプラインベース展開により、片方向線形リカレントニューラルネットワーク(RNN)を増強する。
このアプローチは単純な PLRNN の理論的に魅力的な性質を全て保持するが、相対的に低次元の任意の非線形力学系を近似する能力は向上する。
- 参考スコア（独自算出の注目度）: 7.045072177165241
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In many scientific disciplines, we are interested in inferring the nonlinear
dynamical system underlying a set of observed time series, a challenging task
in the face of chaotic behavior and noise. Previous deep learning approaches
toward this goal often suffered from a lack of interpretability and
tractability. In particular, the high-dimensional latent spaces often required
for a faithful embedding, even when the underlying dynamics lives on a
lower-dimensional manifold, can hamper theoretical analysis. Motivated by the
emerging principles of dendritic computation, we augment a dynamically
interpretable and mathematically tractable piecewise-linear (PL) recurrent
neural network (RNN) by a linear spline basis expansion. We show that this
approach retains all the theoretically appealing properties of the simple
PLRNN, yet boosts its capacity for approximating arbitrary nonlinear dynamical
systems in comparatively low dimensions. We employ two frameworks for training
the system, one combining back-propagation-through-time (BPTT) with teacher
forcing, and another based on fast and scalable variational inference. We show
that the dendritically expanded PLRNN achieves better reconstructions with
fewer parameters and dimensions on various dynamical systems benchmarks and
compares favorably to other methods, while retaining a tractable and
interpretable structure.
- Abstract（参考訳）: 多くの科学的分野において、我々は、カオス的な振る舞いやノイズに直面した課題である観測時系列の集合の根底にある非線形力学系を推論することに興味を持っている。
この目標への以前のディープラーニングアプローチは、しばしば解釈可能性と扱いやすさの欠如に苦しめられた。
特に、忠実な埋め込みに必要とされる高次元の潜在空間は、基礎となる力学が低次元多様体上に存在するとしても理論解析を妨げうる。
樹状体計算の新たな原理により,線形スプラインベース展開により動的に解釈可能かつ数学的に抽出可能なPLリカレントニューラルネットワーク(RNN)を増強する。
このアプローチは単純な PLRNN の理論的に魅力的な性質をすべて保持するが、相対的に低次元の任意の非線形力学系を近似する能力を高める。
システムトレーニングには,バックプロパゲーション・スルータイム(bptt)と教師の強制力,高速でスケーラブルな変分推論の2つのフレームワークを用いた。
本研究では, 様々な動的システムベンチマークにおいて, パラメータや次元を少なくして, より高精度な再構成を実現し, トラクタブルかつ解釈可能な構造を維持しつつ, 他の手法と比較した。
関連論文リスト
- TANGO: Time-Reversal Latent GraphODE for Multi-Agent Dynamical Systems [43.39754726042369]
連続グラフニューラルネットワークに基づく常微分方程式(GraphODE)により予測される前後の軌跡を整列するソフト制約として,単純かつ効果的な自己監督型正規化項を提案する。
時間反転対称性を効果的に課し、古典力学の下でより広い範囲の力学系にわたってより正確なモデル予測を可能にする。
様々な物理システムに対する実験結果から,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2023-10-10T08:52:16Z) - Generalized Teacher Forcing for Learning Chaotic Dynamics [9.841893058953625]
カオス力学系(DS)は自然界や社会界においてどこにでも存在しており、予測や機械的洞察のために観測された時系列からそのような系を再構築することに関心があることが多い。
これらの修正により、従来のSOTAアルゴリズムよりもずっと低い次元でDSを再構築できることを、いくつかのDSで示している。
これにより、シンプルながら強力なDS再構成アルゴリズムが実現され、同時に高い解釈が可能となった。
論文 参考訳（メタデータ） (2023-06-07T13:04:34Z) - Neural Delay Differential Equations: System Reconstruction and Image
Classification [14.59919398960571]
我々はニューラル遅延微分方程式 (Neural Delay Differential Equations, NDDEs) という,遅延を伴う連続深度ニューラルネットワークの新しいクラスを提案する。
NODE と比較して、NDDE はより強い非線形表現能力を持つ。
我々は、合成されたデータだけでなく、よく知られた画像データセットであるCIFAR10に対しても、損失の低減と精度の向上を実現している。
論文 参考訳（メタデータ） (2023-04-11T16:09:28Z) - ConCerNet: A Contrastive Learning Based Framework for Automated
Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。
本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2023-02-11T21:07:30Z) - Expressive architectures enhance interpretability of dynamics-based
neural population models [2.294014185517203]
シミュレーションされたニューラルネットワークから潜在カオスを引き付ける際のシーケンシャルオートエンコーダ(SAE)の性能を評価する。
広帯域再帰型ニューラルネットワーク(RNN)を用いたSAEでは,真の潜在状態次元での正確な発射速度を推定できないことがわかった。
論文 参考訳（メタデータ） (2022-12-07T16:44:26Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2022-10-25T14:45:15Z) - Decomposed Linear Dynamical Systems (dLDS) for learning the latent
components of neural dynamics [6.829711787905569]
本稿では,時系列データの非定常および非線形の複雑なダイナミクスを表現した新しい分解力学系モデルを提案する。
我々のモデルは辞書学習によって訓練され、最近の結果を利用してスパースベクトルを時間とともに追跡する。
連続時間と離散時間の両方の指導例において、我々のモデルは元のシステムによく近似できることを示した。
論文 参考訳（メタデータ） (2022-06-07T02:25:38Z) - Supervised DKRC with Images for Offline System Identification [77.34726150561087]
現代の力学系はますます非線形で複雑なものになりつつある。
予測と制御のためのコンパクトで包括的な表現でこれらのシステムをモデル化するフレームワークが必要である。
本手法は,教師付き学習手法を用いてこれらの基礎関数を学習する。
論文 参考訳（メタデータ） (2021-09-06T04:39:06Z) - Neural Dynamic Mode Decomposition for End-to-End Modeling of Nonlinear
Dynamics [49.41640137945938]
ニューラルネットワークに基づくリフト関数を推定するためのニューラルダイナミックモード分解法を提案する。
提案手法により,予測誤差はニューラルネットワークとスペクトル分解によって逆伝搬される。
提案手法の有効性を,固有値推定と予測性能の観点から実証した。
論文 参考訳（メタデータ） (2020-12-11T08:34:26Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。
この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文 参考訳（メタデータ） (2020-06-19T22:05:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。