論文の概要: Path-minimizing Latent ODEs for improved extrapolation and inference
- arxiv url: http://arxiv.org/abs/2410.08923v1
- Date: Fri, 11 Oct 2024 15:50:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-30 21:06:06.614741
- Title: Path-minimizing Latent ODEs for improved extrapolation and inference
- Title（参考訳）: 補間と推論の改善のためのパス最小化潜在ODE
- Authors: Matt L. Sampson, Peter Melchior,
- Abstract要約: 潜在ODEモデルは動的システムの柔軟な記述を提供するが、外挿と複雑な非線形力学の予測に苦労することがある。
本稿では、時間に依存しない潜在表現を奨励することで、この二分法を利用する。
遅延空間における一般的な変分ペナルティを各システムのパス長の$ell$ペナルティに置き換えることで、モデルは異なる構成のシステムと容易に区別できるデータ表現を学ぶ。
これにより、GRU、RNN、LSTM/デコーダによるベースラインODEモデルと比較して、より高速なトレーニング、より小さなモデル、より正確で長時間の外挿が可能となる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Latent ODE models provide flexible descriptions of dynamic systems, but they can struggle with extrapolation and predicting complicated non-linear dynamics. The latent ODE approach implicitly relies on encoders to identify unknown system parameters and initial conditions, whereas the evaluation times are known and directly provided to the ODE solver. This dichotomy can be exploited by encouraging time-independent latent representations. By replacing the common variational penalty in latent space with an $\ell_2$ penalty on the path length of each system, the models learn data representations that can easily be distinguished from those of systems with different configurations. This results in faster training, smaller models, more accurate interpolation and long-time extrapolation compared to the baseline ODE models with GRU, RNN, and LSTM encoder/decoders on tests with damped harmonic oscillator, self-gravitating fluid, and predator-prey systems. We also demonstrate superior results for simulation-based inference of the Lotka-Volterra parameters and initial conditions by using the latents as data summaries for a conditional normalizing flow. Our change to the training loss is agnostic to the specific recognition network used by the decoder and can therefore easily be adopted by other latent ODE models.
- Abstract（参考訳）: 潜在ODEモデルは動的システムの柔軟な記述を提供するが、外挿と複雑な非線形力学の予測に苦労することがある。
潜在ODEアプローチは、未知のシステムパラメータと初期条件を特定するエンコーダを暗黙的に頼りにしている。
この二分法は、時間に依存しない潜在表現を奨励することで利用することができる。
遅延空間における一般的な変分ペナルティを、各システムのパス長の$\ell_2$ペナルティに置き換えることで、モデルは異なる構成のシステムのペナルティと容易に区別できるデータ表現を学ぶ。
GRU, RNN, LSTMエンコーダ/デコーダのベースラインODEモデルと比較して, より高速なトレーニング, より小さなモデル, より正確な補間, 長時間の補間を行う。
また,Lotka-Volterraパラメータと初期条件のシミュレーションに基づく推論において,条件付き正規化フローのデータ要約として潜伏子を用いて優れた結果を示す。
トレーニング損失の変化は、デコーダが使用する特定の認識ネットワークに依存しないため、他の潜在ODEモデルにも容易に適用できる。
関連論文リスト
- Balanced Neural ODEs: nonlinear model order reduction and Koopman operator approximations [0.0]
変分オートエンコーダ(VAE)はコンパクトな潜在表現を学習するための強力なフレームワークである。
ニューラルネットワークは過渡系力学の学習において優れている。
この研究は両者の強みを組み合わせることで、高速な代理モデルと調整可能な複雑さを生み出す。
論文 参考訳（メタデータ） (2024-10-14T05:45:52Z) - Learning Chaotic Systems and Long-Term Predictions with Neural Jump ODEs [4.204990010424083]
パス依存型ニューラルジャンプODE (PDNJ-ODE) は、不規則な(時間内に)および潜在的に不完全(座標に関して)な、一般的なプロセスのオンライン予測モデルである。
本研究では,2つの新しいアイデアによってモデルを強化し,互いに独立してモデル設定の性能を向上させる。
同じ拡張を使用して、PDNJ-ODEが標準モデルが失敗する一般的なデータセットの長期的な予測を確実に学習することができる。
論文 参考訳（メタデータ） (2024-07-26T15:18:29Z) - On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。
本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
論文 参考訳（メタデータ） (2024-05-18T15:59:41Z) - Foundational Inference Models for Dynamical Systems [5.549794481031468]
我々は,ODEによって決定されると仮定される時系列データの欠落を補うという古典的な問題に対して,新たな視点を提供する。
本稿では,いくつかの(隠れた)ODEを満たすパラメトリック関数を通じて,ゼロショット時系列計算のための新しい教師付き学習フレームワークを提案する。
我々は,1と同一(事前学習)の認識モデルが,63個の異なる時系列に対してゼロショット計算を行なえることを実証的に実証した。
論文 参考訳（メタデータ） (2024-02-12T11:48:54Z) - InVAErt networks: a data-driven framework for model synthesis and
identifiability analysis [0.0]
inVAErtは物理システムのデータ駆動分析と合成のためのフレームワークである。
これは、前方および逆写像を表す決定論的デコーダ、系の出力の確率分布を捉える正規化フロー、入力と出力の間の単射性の欠如についてコンパクトな潜在表現を学ぶ変分エンコーダを使用する。
論文 参考訳（メタデータ） (2023-07-24T07:58:18Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳（メタデータ） (2023-04-10T17:54:38Z) - Discovering ordinary differential equations that govern time-series [65.07437364102931]
本研究では, 1つの観測解の時系列データから, スカラー自律常微分方程式(ODE)を記号形式で復元するトランスフォーマーに基づくシーケンス・ツー・シーケンス・モデルを提案する。
提案手法は, 1回に一度, ODE の大規模な事前訓練を行った後, モデルのいくつかの前方通過において, 新たに観測された解の法則を推測することができる。
論文 参考訳（メタデータ） (2022-11-05T07:07:58Z) - Learning and Inference in Sparse Coding Models with Langevin Dynamics [3.0600309122672726]
本稿では確率的潜在変数モデルで推論と学習が可能なシステムについて述べる。
ランゲヴィン力学を用いて潜伏変数を推論する連続時間方程式を導出することにより、スパース符号化モデルのこのアイデアを実証する。
ランゲヴィン力学は、L1ノルムが小さいのに対して、潜伏変数をゼロにすることを推奨する'L0スパース'系において、後続分布からサンプリングする効率的な手順をもたらすことを示す。
論文 参考訳（メタデータ） (2022-04-23T23:16:47Z) - Capturing Actionable Dynamics with Structured Latent Ordinary
Differential Equations [68.62843292346813]
本稿では,その潜在表現内でのシステム入力の変動をキャプチャする構造付き潜在ODEモデルを提案する。
静的変数仕様に基づいて,本モデルではシステムへの入力毎の変動要因を学習し,潜在空間におけるシステム入力の影響を分離する。
論文 参考訳（メタデータ） (2022-02-25T20:00:56Z) - Neural ODE Processes [64.10282200111983]
NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。
我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
論文 参考訳（メタデータ） (2021-03-23T09:32:06Z) - Anomaly Detection of Time Series with Smoothness-Inducing Sequential
Variational Auto-Encoder [59.69303945834122]
Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。
我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。
合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
論文 参考訳（メタデータ） (2021-02-02T06:15:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。