論文の概要: Foundational Inference Models for Dynamical Systems
- arxiv url: http://arxiv.org/abs/2402.07594v2
- Date: Fri, 04 Oct 2024 10:41:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-07 15:06:26.231376
- Title: Foundational Inference Models for Dynamical Systems
- Title(参考訳): 力学系に対する基礎推論モデル
- Authors: Patrick Seifner, Kostadin Cvejoski, Antonia Körner, Ramsés J. Sánchez,
- Abstract要約: 我々は,ODEによって決定されると仮定される時系列データの欠落を補うという古典的な問題に対して,新たな視点を提供する。
本稿では,いくつかの(隠れた)ODEを満たすパラメトリック関数を通じて,ゼロショット時系列計算のための新しい教師付き学習フレームワークを提案する。
我々は,1と同一(事前学習)の認識モデルが,63個の異なる時系列に対してゼロショット計算を行なえることを実証的に実証した。
- 参考スコア(独自算出の注目度): 5.549794481031468
- License:
- Abstract: Dynamical systems governed by ordinary differential equations (ODEs) serve as models for a vast number of natural and social phenomena. In this work, we offer a fresh perspective on the classical problem of imputing missing time series data, whose underlying dynamics are assumed to be determined by ODEs. Specifically, we revisit ideas from amortized inference and neural operators, and propose a novel supervised learning framework for zero-shot time series imputation, through parametric functions satisfying some (hidden) ODEs. Our proposal consists of two components. First, a broad probability distribution over the space of ODE solutions, observation times and noise mechanisms, with which we generate a large, synthetic dataset of (hidden) ODE solutions, along with their noisy and sparse observations. Second, a neural recognition model that is trained offline, to map the generated time series onto the spaces of initial conditions and time derivatives of the (hidden) ODE solutions, which we then integrate to impute the missing data. We empirically demonstrate that one and the same (pretrained) recognition model can perform zero-shot imputation across 63 distinct time series with missing values, each sampled from widely different dynamical systems. Likewise, we demonstrate that it can perform zero-shot imputation of missing high-dimensional data in 10 vastly different settings, spanning human motion, air quality, traffic and electricity studies, as well as Navier-Stokes simulations -- without requiring any fine-tuning. What is more, our proposal often outperforms state-of-the-art methods, which are trained on the target datasets. Our pretrained model will be available online soon.
- Abstract(参考訳): 通常の微分方程式(ODE)によって支配される力学系は、多くの自然現象や社会現象のモデルとして機能する。
本研究は,ODEによって決定されると仮定される時系列データの欠落を示唆する古典的問題について,新たな視点を提供する。
具体的には、償却推論とニューラル演算子からアイデアを再検討し、いくつかの(隠れた)ODEを満たすパラメトリック関数を通してゼロショット時系列計算のための新しい教師付き学習フレームワークを提案する。
私たちの提案は2つのコンポーネントから構成されます。
まず、ODE解の空間上の広い確率分布、観測時間、ノイズ機構を用いて、(隠された)ODE解の大規模な合成データセットを、ノイズやスパースな観測とともに生成する。
第二に、オフラインでトレーニングされたニューラル認識モデルは、生成した時系列を(隠された)ODEソリューションの初期条件と時間微分の空間にマッピングする。
我々は,1と同一(事前学習)の認識モデルが,広く異なる力学系からサンプリングされた63個の異なる時系列に対してゼロショット計算を行えることを実証的に実証した。
同様に、人間の動き、空気の質、交通、電気の研究、ナビエ・ストークスのシミュレーションなど、微調整を必要とせずに、10種類の異なる設定で、高次元データの欠落をゼロショットで計算できることも示しています。
さらに、我々の提案は、ターゲットデータセットでトレーニングされた最先端のメソッドよりも優れていることが多い。
私たちの事前訓練されたモデルは、まもなくオンラインで利用可能になります。
関連論文リスト
- Understanding the differences in Foundation Models: Attention, State Space Models, and Recurrent Neural Networks [50.29356570858905]
本稿では,これらすべてのアーキテクチャの共通表現に関する原則的な調査を可能にする動的システムフレームワーク(DSF)について紹介する。
ソフトマックスアテンションと他のモデルクラスとの原理的比較を行い、ソフトマックスアテンションを近似できる理論条件について議論する。
このことは、DSFが将来のより効率的でスケーラブルな基盤モデルの体系的な開発を導く可能性を示している。
論文 参考訳(メタデータ) (2024-05-24T17:19:57Z) - Synthetic location trajectory generation using categorical diffusion
models [50.809683239937584]
拡散モデル(DPM)は急速に進化し、合成データのシミュレーションにおける主要な生成モデルの一つとなっている。
本稿では,個人が訪れた物理的位置を表す変数列である合成個別位置軌跡(ILT)の生成にDPMを用いることを提案する。
論文 参考訳(メタデータ) (2024-02-19T15:57:39Z) - Anamnesic Neural Differential Equations with Orthogonal Polynomial
Projections [6.345523830122166]
本稿では,長期記憶を強制し,基礎となる力学系の大域的表現を保存する定式化であるPolyODEを提案する。
提案手法は理論的保証に支えられ,過去と将来のデータの再構築において,過去の成果よりも優れていたことを実証する。
論文 参考訳(メタデータ) (2023-03-03T10:49:09Z) - Learning Differential Operators for Interpretable Time Series Modeling [34.32259687441212]
逐次データから解釈可能なPDEモデルを自動的に取得できる学習フレームワークを提案する。
我々のモデルは、貴重な解釈可能性を提供し、最先端モデルに匹敵する性能を達成することができる。
論文 参考訳(メタデータ) (2022-09-03T20:14:31Z) - Domain-aware Control-oriented Neural Models for Autonomous Underwater
Vehicles [2.4779082385578337]
ドメイン認識のレベルが異なる制御指向パラメトリックモデルを提案する。
データ駆動型ブラックボックスとAUVダイナミクスのグレイボックス表現を構築するために、普遍微分方程式を用いる。
論文 参考訳(メタデータ) (2022-08-15T17:01:14Z) - Neural Modal ODEs: Integrating Physics-based Modeling with Neural ODEs
for Modeling High Dimensional Monitored Structures [9.065343126886093]
本稿では、物理に基づくモデリングとディープラーニングを統合するためのフレームワーク、Neural Modal ODEを提案する。
オートエンコーダは、観測データの最初の数項目から潜伏変数の初期値までの抽象的なマッピングを学習する。
提案モデルの復号器は, 線形化部分に適用された固有解析から導出した固有モードを物理モデルに適用する。
論文 参考訳(メタデータ) (2022-07-16T09:30:20Z) - Neural Laplace: Learning diverse classes of differential equations in
the Laplace domain [86.52703093858631]
本稿では,これらすべてを含む多種多様な微分方程式(DE)を学習するための統一的な枠組みを提案する。
時間領域の力学をモデル化する代わりに、ラプラス領域でモデル化する。
The experiment, Neural Laplace shows excellent performance in modelling and extrapolating the trajectories of various class of DEs。
論文 参考訳(メタデータ) (2022-06-10T02:14:59Z) - Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。
言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
論文 参考訳(メタデータ) (2022-01-08T00:47:50Z) - Analysis of ODE2VAE with Examples [0.0]
通常微分方程式変分オートエンコーダ(ODE2VAE)は、潜時変分モデルである。
モデルが意味のある潜在表現をある程度学習できることを示す。
論文 参考訳(メタデータ) (2021-08-10T20:12:26Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳(メタデータ) (2021-06-25T22:08:51Z) - S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。
我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
論文 参考訳(メタデータ) (2020-07-13T17:44:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。