論文の概要: Stabilized Neural Ordinary Differential Equations for Long-Time
Forecasting of Dynamical Systems
- arxiv url: http://arxiv.org/abs/2203.15706v1
- Date: Tue, 29 Mar 2022 16:10:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-30 18:11:59.613488
- Title: Stabilized Neural Ordinary Differential Equations for Long-Time
Forecasting of Dynamical Systems
- Title（参考訳）: 動的システムの長期予測のための安定化型神経常微分方程式
- Authors: Alec J. Linot, Josh W. Burby, Qi Tang, Prasanna Balaprakash, Michael
D. Graham, Romit Maulik
- Abstract要約: 衝撃やカオス力学を正確に捉えたデータ駆動モデリング手法を提案する。
我々は、線形項と非線形項を学習する2つのNNの出力を加えることで、ODEの右辺(SRH)を学習する。
具体的には、疎線形畳み込みNNを訓練して線形項と高密度完全連結非線形NNを学習し、非線形項を学習する。
- 参考スコア（独自算出の注目度）: 1.001737665513683
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In data-driven modeling of spatiotemporal phenomena careful consideration
often needs to be made in capturing the dynamics of the high wavenumbers. This
problem becomes especially challenging when the system of interest exhibits
shocks or chaotic dynamics. We present a data-driven modeling method that
accurately captures shocks and chaotic dynamics by proposing a novel
architecture, stabilized neural ordinary differential equation (ODE). In our
proposed architecture, we learn the right-hand-side (RHS) of an ODE by adding
the outputs of two NN together where one learns a linear term and the other a
nonlinear term. Specifically, we implement this by training a sparse linear
convolutional NN to learn the linear term and a dense fully-connected nonlinear
NN to learn the nonlinear term. This is in contrast with the standard neural
ODE which involves training only a single NN for learning the RHS. We apply
this setup to the viscous Burgers equation, which exhibits shocked behavior,
and show better short-time tracking and prediction of the energy spectrum at
high wavenumbers than a standard neural ODE. We also find that the stabilized
neural ODE models are much more robust to noisy initial conditions than the
standard neural ODE approach. We also apply this method to chaotic trajectories
of the Kuramoto-Sivashinsky equation. In this case, stabilized neural ODEs keep
long-time trajectories on the attractor, and are highly robust to noisy initial
conditions, while standard neural ODEs fail at achieving either of these
results. We conclude by demonstrating how stabilizing neural ODEs provide a
natural extension for use in reduced-order modeling by projecting the dynamics
onto the eigenvectors of the learned linear term.
- Abstract（参考訳）: データ駆動による時空間現象のモデリングでは、高波数のダイナミクスを捉えるためには、しばしば慎重に考慮する必要がある。
この問題は、興味のあるシステムが衝撃やカオスダイナミクスを示すとき、特に困難になる。
本稿では,新しいアーキテクチャである安定化型ニューラル常微分方程式(ode)を提案することにより,衝撃やカオスダイナミクスを正確に捉えたデータ駆動モデリング手法を提案する。
提案アーキテクチャでは,線形項を学習し,非線形項を学習する2つのNNの出力を追加することで,ODEの右辺(RHS)を学習する。
具体的には、疎線形畳み込みNNを訓練して線形項と高密度完全連結非線形NNを学習し、非線形項を学習する。
これは、RTSを学習するための1つのNNのみをトレーニングする標準的なニューラルODEとは対照的である。
この設定を衝撃的な挙動を示す粘性バーガース方程式に適用し、標準のニューラルODEよりも高波数での短時間の追跡とエネルギースペクトルの予測が優れていることを示す。
また、安定化されたニューラルODEモデルは、標準的なニューラルODEアプローチよりもノイズの多い初期条件に対してより堅牢であることがわかった。
また,この手法を倉本-シヴァシンスキー方程式のカオス軌道に適用する。
この場合、安定化されたニューラル ODE はアトラクタに長時間の軌道を保持し、ノイズの多い初期条件に対して非常に堅牢であるが、通常のニューラル ODE はどちらの結果も達成できない。
線形項の固有ベクトルにダイナミクスを投影することにより、ニューラルネットワークの安定化が低次モデリングにおける自然な拡張を提供することを示す。
関連論文リスト
- Unconditional stability of a recurrent neural circuit implementing divisive normalization [0.0]
任意次元ORGaNICs回路における非条件局所安定性の顕著な特性を証明した。
ORGaNICsは、勾配のクリッピング/スケーリングなしで、時間経過によるバックプロパゲーションによって訓練できることを示す。
論文 参考訳（メタデータ） (2024-09-27T17:46:05Z) - Latent Space Energy-based Neural ODEs [73.01344439786524]
本稿では,連続時間シーケンスデータを表現するために設計された深部力学モデルの新しいファミリを紹介する。
マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。
発振システム、ビデオ、実世界の状態シーケンス(MuJoCo)の実験は、学習可能なエネルギーベース以前のODEが既存のものより優れていることを示している。
論文 参考訳（メタデータ） (2024-09-05T18:14:22Z) - Modeling Latent Neural Dynamics with Gaussian Process Switching Linear Dynamical Systems [2.170477444239546]
ガウス過程スイッチング線形力学系(gpSLDS)の2つの目的をバランスさせるアプローチを開発する。
我々の手法は、非線形力学をガウス過程(GP-SDE)で記述した微分方程式による潜在状態の進化をモデル化した以前の研究に基づいている。
本手法は, 離散状態境界近傍の力学における人工振動など, rSLDS の重要な限界を解消するとともに, 力学の後方不確かさを推定する。
論文 参考訳（メタデータ） (2024-07-19T15:32:15Z) - Symmetry-regularized neural ordinary differential equations [0.0]
本稿では,隠れ状態のダイナミクスとバック伝播のダイナミクスの両方において,Lie対称性を用いたニューラルODEの新たな保存関係を提案する。
これらの保存法則は、損失関数にさらなる正規化項として組み込まれ、モデルの物理的解釈可能性や一般化可能性を高める可能性がある。
これらの保存関係から新たな損失関数を構築し、典型的なモデリングタスクにおける対称性規則化ニューラル・オードの適用性を示す。
論文 参考訳（メタデータ） (2023-11-28T09:27:44Z) - Neural Abstractions [72.42530499990028]
本稿では,ニューラルネットワークを用いた非線形力学モデルの安全性検証手法を提案する。
提案手法は,既存のベンチマーク非線形モデルにおいて,成熟度の高いFlow*と同等に動作することを示す。
論文 参考訳（メタデータ） (2023-01-27T12:38:09Z) - Accelerating Neural ODEs Using Model Order Reduction [0.0]
本稿では,ニューラルネットワークの圧縮と高速化に数学的モデルオーダー削減法が利用できることを示す。
我々は,ニューラルネットワークの層として必要な部分空間投影と操作を統合するニューラルODEを開発することで,新しい圧縮手法を実装した。
論文 参考訳（メタデータ） (2021-05-28T19:27:09Z) - Neural ODE Processes [64.10282200111983]
NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。
我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
論文 参考訳（メタデータ） (2021-03-23T09:32:06Z) - An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。
この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文 参考訳（メタデータ） (2020-06-19T22:05:19Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳（メタデータ） (2020-06-08T09:53:35Z) - Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
時変重みを持つニューラルODEの新しいファミリーを提案する。
我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
論文 参考訳（メタデータ） (2020-05-05T01:41:46Z) - How to train your neural ODE: the world of Jacobian and kinetic
regularization [7.83405844354125]
大規模データセット上でのニューラルODEのトレーニングは、適応的数値ODEソルバがステップサイズを非常に小さな値に洗練できるようにする必要があるため、難航していない。
最適輸送と安定性の正則化の両方を理論的に基礎的に組み合わせることで、ニューラルODEは、問題をうまく解決するすべての力学から、より単純なダイナミクスを優先する。
論文 参考訳（メタデータ） (2020-02-07T14:15:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。