論文の概要: Divide And Conquer: Learning Chaotic Dynamical Systems With Multistep Penalty Neural Ordinary Differential Equations
- arxiv url: http://arxiv.org/abs/2407.00568v2
- Date: Tue, 2 Jul 2024 02:54:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 02:36:46.472326
- Title: Divide And Conquer: Learning Chaotic Dynamical Systems With Multistep Penalty Neural Ordinary Differential Equations
- Title（参考訳）: Divide and Conquer: 多段階ニューラルネットワーク正規微分方程式を用いたカオス力学系の学習
- Authors: Dibyajyoti Chakraborty, Seung Whan Chung, Romit Maulik,
- Abstract要約: 多段階ペナルティ・ヌード(MP-NODE)は、倉本-シヴァシンスキー方程式や2次元コルモゴロフ流のようなカオス系に適用される。
カオスシステムを最小二乗のランドスケープと同じような方法で最適化し、計算コストを大幅に削減することができる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Forecasting high-dimensional dynamical systems is a fundamental challenge in various fields, such as the geosciences and engineering. Neural Ordinary Differential Equations (NODEs), which combine the power of neural networks and numerical solvers, have emerged as a promising algorithm for forecasting complex nonlinear dynamical systems. However, classical techniques used for NODE training are ineffective for learning chaotic dynamical systems. In this work, we propose a novel NODE-training approach that allows for robust learning of chaotic dynamical systems. Our method addresses the challenges of non-convexity and exploding gradients associated with underlying chaotic dynamics. Training data trajectories from such systems are split into multiple, non-overlapping time windows. In addition to the deviation from the training data, the optimization loss term further penalizes the discontinuities of the predicted trajectory between the time windows. The window size is selected based on the fastest Lyapunov time scale of the system. Multi-step penalty(MP) method is first demonstrated on Lorenz equation, to illustrate how it improves the loss landscape and thereby accelerating the optimization convergence. MP method can optimize chaotic systems in a manner similar to least-squares shadowing with significantly lower computational costs. Our proposed algorithm, denoted the Multistep Penalty NODE(MP-NODE), is applied to chaotic systems such as the Kuramoto-Sivashinsky equation and the two-dimensional Kolmogorov flow. It is observed that MP-NODE provide viable performance for such chaotic systems, not only for short-term trajectory predictions but also for invariant statistics that are hallmarks of the chaotic nature of these dynamics.
- Abstract（参考訳）: 高次元力学系の予測は、地球科学や工学など、様々な分野における根本的な課題である。
ニューラルネットワークと数値解法を組み合わせたニューラル正規微分方程式(NODE)は、複雑な非線形力学系を予測するための有望なアルゴリズムとして登場した。
しかし、NODEトレーニングに使用される古典的手法はカオス力学系の学習には効果がない。
本研究では,カオス力学系の堅牢な学習を可能にする新しいNODE学習手法を提案する。
本手法は,非凸性および爆発的勾配のカオス力学に関する課題に対処する。
このようなシステムからのトレーニングデータトラジェクトリは、重複しない複数の時間ウィンドウに分割される。
トレーニングデータからのずれに加えて、最適化損失項は、予測された時間窓間の軌道の不連続をさらに罰する。
ウィンドウサイズは、システムの最も速いリアプノフ時間スケールに基づいて選択される。
マルチステップペナルティ(MP)法はローレンツ方程式で最初に示され、損失景観の改善を図り、最適化収束を加速させる。
MP法は、計算コストを大幅に削減した最小二乗影と同様の方法でカオスシステムを最適化することができる。
提案アルゴリズムはMultistep Penalty NODE(MP-NODE)と呼ばれ,倉本-シヴァシンスキー方程式や2次元コルモゴロフ流などのカオス系に適用した。
MP-NODEは、短期軌道予測だけでなく、これらの力学のカオス的性質の指標となる不変統計に対して、このようなカオスシステムに対して実行可能な性能を提供する。
関連論文リスト
- Latent Neural PDE Solver: a reduced-order modelling framework for
partial differential equations [6.173339150997772]
より粗い離散化を伴う潜在空間における系の力学を学習することを提案する。
非線形オートエンコーダは、まずシステムの全順序表現をメッシュ再現空間に投影するように訓練される。
実時間空間で動作するニューラルPDEソルバと比較して, 精度と効率が優れていることを示す。
論文 参考訳（メタデータ） (2024-02-27T19:36:27Z) - Constraining Chaos: Enforcing dynamical invariants in the training of
recurrent neural networks [0.0]
本稿では,カオス力学系に対する機械学習に基づく予測手法の新しいトレーニング手法を提案する。
この訓練は、リヤプノフ指数スペクトルやフラクタル次元のような動的不変量を適用し、限られたデータで操作する場合、より長くより安定した予測を可能にする。
論文 参考訳（メタデータ） (2023-04-24T00:33:47Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - Losing momentum in continuous-time stochastic optimisation [62.997667081978825]
近年,運動量に基づくアルゴリズムが特に普及している。
本研究では,運動量を伴う勾配降下の連続時間モデルを提案し,解析する。
我々は、時間とともに運動量を減らす際に、我々のシステムを世界規模のミニミザーに収束させることを示す。
論文 参考訳（メタデータ） (2022-09-08T10:46:05Z) - Semi-supervised Learning of Partial Differential Operators and Dynamical
Flows [68.77595310155365]
本稿では,超ネットワーク解法とフーリエニューラル演算子アーキテクチャを組み合わせた新しい手法を提案する。
本手法は, 1次元, 2次元, 3次元の非線形流体を含む様々な時間発展PDEを用いて実験を行った。
その結果、新しい手法は、監督点の時点における学習精度を向上し、任意の中間時間にその解を補間できることを示した。
論文 参考訳（メタデータ） (2022-07-28T19:59:14Z) - Continual Learning of Dynamical Systems with Competitive Federated
Reservoir Computing [29.98127520773633]
継続的な学習は、以前の動的体制なしで急激なシステム変更に迅速に適応することを目的としている。
本研究は,連続学習に基づく貯水池計算へのアプローチを提案する。
このマルチヘッド貯水池は、複数の力学系における干渉や忘れを最小化する。
論文 参考訳（メタデータ） (2022-06-27T14:35:50Z) - Learning effective dynamics from data-driven stochastic systems [2.4578723416255754]
この研究は、低速力学系に対する効果的な力学の研究に費やされている。
遅い多様体を学習するために,Auto-SDEと呼ばれるニューラルネットワークを含む新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-09T09:56:58Z) - DiffPD: Differentiable Projective Dynamics with Contact [65.88720481593118]
DiffPDは、暗黙の時間積分を持つ効率的な微分可能なソフトボディシミュレータである。
我々はDiffPDの性能を評価し,様々な応用における標準ニュートン法と比較して4～19倍のスピードアップを観測した。
論文 参考訳（メタデータ） (2021-01-15T00:13:33Z) - Hierarchical Deep Learning of Multiscale Differential Equation
Time-Steppers [5.6385744392820465]
本研究では,時間スケールの異なる範囲にわたる動的システムのフローマップを近似するために,ディープニューラルネットワークの時間ステップ階層を構築した。
結果のモデルは純粋にデータ駆動であり、マルチスケールのダイナミックスの特徴を活用する。
我々は,LSTM,貯水池計算,クロックワークRNNなどの最先端手法に対して,我々のアルゴリズムをベンチマークする。
論文 参考訳（メタデータ） (2020-08-22T07:16:53Z) - Reinforcement Learning with Fast Stabilization in Linear Dynamical
Systems [91.43582419264763]
未知の安定化線形力学系におけるモデルベース強化学習(RL)について検討する。
本研究では,環境を効果的に探索することで,基盤システムの高速安定化を証明できるアルゴリズムを提案する。
提案アルゴリズムはエージェント環境相互作用の時間ステップで$tildemathcalO(sqrtT)$ regretを達成した。
論文 参考訳（メタデータ） (2020-07-23T23:06:40Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳（メタデータ） (2020-06-08T09:53:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。