論文の概要: Foundational Inference Models for Dynamical Systems
- arxiv url: http://arxiv.org/abs/2402.07594v2
- Date: Fri, 04 Oct 2024 10:41:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-07 15:06:26.231376
- Title: Foundational Inference Models for Dynamical Systems
- Title（参考訳）: 力学系に対する基礎推論モデル
- Authors: Patrick Seifner, Kostadin Cvejoski, Antonia Körner, Ramsés J. Sánchez,
- Abstract要約: 我々は,ODEによって決定されると仮定される時系列データの欠落を補うという古典的な問題に対して,新たな視点を提供する。
本稿では,いくつかの(隠れた)ODEを満たすパラメトリック関数を通じて,ゼロショット時系列計算のための新しい教師付き学習フレームワークを提案する。
我々は,1と同一(事前学習)の認識モデルが,63個の異なる時系列に対してゼロショット計算を行なえることを実証的に実証した。
- 参考スコア（独自算出の注目度）: 5.549794481031468
- License:
- Abstract: Dynamical systems governed by ordinary differential equations (ODEs) serve as models for a vast number of natural and social phenomena. In this work, we offer a fresh perspective on the classical problem of imputing missing time series data, whose underlying dynamics are assumed to be determined by ODEs. Specifically, we revisit ideas from amortized inference and neural operators, and propose a novel supervised learning framework for zero-shot time series imputation, through parametric functions satisfying some (hidden) ODEs. Our proposal consists of two components. First, a broad probability distribution over the space of ODE solutions, observation times and noise mechanisms, with which we generate a large, synthetic dataset of (hidden) ODE solutions, along with their noisy and sparse observations. Second, a neural recognition model that is trained offline, to map the generated time series onto the spaces of initial conditions and time derivatives of the (hidden) ODE solutions, which we then integrate to impute the missing data. We empirically demonstrate that one and the same (pretrained) recognition model can perform zero-shot imputation across 63 distinct time series with missing values, each sampled from widely different dynamical systems. Likewise, we demonstrate that it can perform zero-shot imputation of missing high-dimensional data in 10 vastly different settings, spanning human motion, air quality, traffic and electricity studies, as well as Navier-Stokes simulations -- without requiring any fine-tuning. What is more, our proposal often outperforms state-of-the-art methods, which are trained on the target datasets. Our pretrained model will be available online soon.
- Abstract（参考訳）: 通常の微分方程式(ODE)によって支配される力学系は、多くの自然現象や社会現象のモデルとして機能する。
本研究は,ODEによって決定されると仮定される時系列データの欠落を示唆する古典的問題について,新たな視点を提供する。
具体的には、償却推論とニューラル演算子からアイデアを再検討し、いくつかの(隠れた)ODEを満たすパラメトリック関数を通してゼロショット時系列計算のための新しい教師付き学習フレームワークを提案する。
私たちの提案は2つのコンポーネントから構成されます。
まず、ODE解の空間上の広い確率分布、観測時間、ノイズ機構を用いて、(隠された)ODE解の大規模な合成データセットを、ノイズやスパースな観測とともに生成する。
第二に、オフラインでトレーニングされたニューラル認識モデルは、生成した時系列を(隠された)ODEソリューションの初期条件と時間微分の空間にマッピングする。
我々は,1と同一(事前学習)の認識モデルが,広く異なる力学系からサンプリングされた63個の異なる時系列に対してゼロショット計算を行えることを実証的に実証した。
同様に、人間の動き、空気の質、交通、電気の研究、ナビエ・ストークスのシミュレーションなど、微調整を必要とせずに、10種類の異なる設定で、高次元データの欠落をゼロショットで計算できることも示しています。
さらに、我々の提案は、ターゲットデータセットでトレーニングされた最先端のメソッドよりも優れていることが多い。
私たちの事前訓練されたモデルは、まもなくオンラインで利用可能になります。
関連論文リスト
- FMint: Bridging Human Designed and Data Pretrained Models for Differential Equation Foundation Model [5.748690310135373]
我々は、人間設計モデルとデータ駆動モデルとのギャップを埋めるために、textbfFMintという新しいマルチモーダル基盤モデルを提案する。
FMintは、インコンテキスト学習を備えたデコーダのみのトランスフォーマーアーキテクチャに基づいて、数値データとテキストデータの両方を用いて、普遍的なエラー訂正スキームを学習する。
本研究は,従来の数値解法と比較して,精度と効率の両面から提案モデルの有効性を実証するものである。
論文 参考訳（メタデータ） (2024-04-23T02:36:47Z) - Generative Modeling of Regular and Irregular Time Series Data via Koopman VAEs [50.25683648762602]
モデルの新しい設計に基づく新しい生成フレームワークであるKoopman VAEを紹介する。
クープマン理論に触発され、線形写像を用いて潜在条件事前力学を表現する。
KoVAEは、いくつかの挑戦的な合成および実世界の時系列生成ベンチマークにおいて、最先端のGANおよびVAEメソッドより優れている。
論文 参考訳（メタデータ） (2023-10-04T07:14:43Z) - Anamnesic Neural Differential Equations with Orthogonal Polynomial
Projections [6.345523830122166]
本稿では,長期記憶を強制し,基礎となる力学系の大域的表現を保存する定式化であるPolyODEを提案する。
提案手法は理論的保証に支えられ,過去と将来のデータの再構築において,過去の成果よりも優れていたことを実証する。
論文 参考訳（メタデータ） (2023-03-03T10:49:09Z) - On the balance between the training time and interpretability of neural
ODE for time series modelling [77.34726150561087]
本稿は,現代のニューラルODEを,時系列モデリングアプリケーションのためのより単純なモデルに還元することはできないことを示す。
ニューラルODEの複雑さは、従来の時系列モデリングツールと比較されるか、超える。
本稿では,ニューラルネットワークとODEシステムを用いた時系列モデリングの新しい視点を提案する。
論文 参考訳（メタデータ） (2022-06-07T13:49:40Z) - Neural ODEs with Irregular and Noisy Data [8.349349605334316]
ノイズや不規則なサンプル測定を用いて微分方程式を学習する手法について議論する。
我々の方法論では、ディープニューラルネットワークとニューラル常微分方程式(ODE)アプローチの統合において、大きな革新が見られる。
ベクトル場を記述するモデルを学習するためのフレームワークは,雑音測定において非常に効果的である。
論文 参考訳（メタデータ） (2022-05-19T11:24:41Z) - Mixed Effects Neural ODE: A Variational Approximation for Analyzing the
Dynamics of Panel Data [50.23363975709122]
パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。
我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。
次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
論文 参考訳（メタデータ） (2022-02-18T22:41:51Z) - Using scientific machine learning for experimental bifurcation analysis
of dynamic systems [2.204918347869259]
本研究は、極限サイクルを持つ物理非線形力学系に対する普遍微分方程式(UDE)モデルの訓練に焦点をあてる。
数値シミュレーションによりトレーニングデータを生成する例を考察するとともに,提案するモデリング概念を物理実験に適用する。
ニューラルネットワークとガウス過程の両方を、力学モデルと共に普遍近似器として使用し、UDEモデリングアプローチの正確性と堅牢性を批判的に評価する。
論文 参考訳（メタデータ） (2021-10-22T15:43:03Z) - Neural ODE Processes [64.10282200111983]
NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。
我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
論文 参考訳（メタデータ） (2021-03-23T09:32:06Z) - Artificial neural network as a universal model of nonlinear dynamical
systems [0.0]
このマップは、重みがモデル化されたシステムをエンコードする人工知能ニューラルネットワークとして構築されている。
ローレンツ系、ロースラー系およびヒンドマール・ロースニューロンを考察する。
誘引子、パワースペクトル、分岐図、リャプノフ指数の視覚像に高い類似性が観察される。
論文 参考訳（メタデータ） (2021-03-06T16:02:41Z) - Anomaly Detection of Time Series with Smoothness-Inducing Sequential
Variational Auto-Encoder [59.69303945834122]
Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。
我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。
合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
論文 参考訳（メタデータ） (2021-02-02T06:15:15Z) - STEER: Simple Temporal Regularization For Neural ODEs [80.80350769936383]
トレーニング中のODEの終了時刻をランダムにサンプリングする新しい正規化手法を提案する。
提案された正規化は実装が簡単で、オーバーヘッドを無視でき、様々なタスクで有効である。
本稿では,フローの正規化,時系列モデル,画像認識などの実験を通じて,提案した正規化がトレーニング時間を大幅に短縮し,ベースラインモデルよりも性能を向上できることを示す。
論文 参考訳（メタデータ） (2020-06-18T17:44:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。