論文の概要: Learning Latent Dynamics via Invariant Decomposition and
(Spatio-)Temporal Transformers
- arxiv url: http://arxiv.org/abs/2306.12077v1
- Date: Wed, 21 Jun 2023 07:52:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-22 14:26:56.004826
- Title: Learning Latent Dynamics via Invariant Decomposition and
(Spatio-)Temporal Transformers
- Title(参考訳): invariant decompositionと(spatio-)temporal transformersによる潜時ダイナミクスの学習
- Authors: Kai Lagemann, Christian Lagemann, Sach Mukherjee
- Abstract要約: 本研究では,高次元経験データから力学系を学習する手法を提案する。
我々は、システムの複数の異なるインスタンスからデータが利用できる設定に焦点を当てる。
我々は、単純な理論的分析と、合成および実世界のデータセットに関する広範な実験を通して行動を研究する。
- 参考スコア(独自算出の注目度): 0.6767885381740952
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a method for learning dynamical systems from high-dimensional
empirical data that combines variational autoencoders and (spatio-)temporal
attention within a framework designed to enforce certain
scientifically-motivated invariances. We focus on the setting in which data are
available from multiple different instances of a system whose underlying
dynamical model is entirely unknown at the outset. The approach rests on a
separation into an instance-specific encoding (capturing initial conditions,
constants etc.) and a latent dynamics model that is itself universal across all
instances/realizations of the system. The separation is achieved in an
automated, data-driven manner and only empirical data are required as inputs to
the model. The approach allows effective inference of system behaviour at any
continuous time but does not require an explicit neural ODE formulation, which
makes it efficient and highly scalable. We study behaviour through simple
theoretical analyses and extensive experiments on synthetic and real-world
datasets. The latter investigate learning the dynamics of complex systems based
on finite data and show that the proposed approach can outperform
state-of-the-art neural-dynamical models. We study also more general inductive
bias in the context of transfer to data obtained under entirely novel system
interventions. Overall, our results provide a promising new framework for
efficiently learning dynamical models from heterogeneous data with potential
applications in a wide range of fields including physics, medicine, biology and
engineering.
- Abstract(参考訳): 本研究では, 変分オートエンコーダと(spatio-)時間的注意を結合した高次元実験データから力学系を学習する手法を提案する。
我々は、システムの複数の異なるインスタンスからデータが利用可能な設定に焦点を合わせ、その基盤となる動的モデルは最初から完全に未知である。
このアプローチは、インスタンス固有のエンコーディング(初期条件、定数等をキャプチャする)と、システムのすべてのインスタンス/実現に共通な潜在ダイナミクスモデルとの分離にかかっている。
分離は自動化されたデータ駆動方式で達成され、モデルへの入力として経験的なデータのみを必要とする。
このアプローチは、システムの振る舞いを常に効果的に推論できるが、明示的な神経odeの定式化を必要としないため、効率的でスケーラブルである。
我々は、単純な理論的分析と、合成および実世界のデータセットに関する広範な実験を通して行動を研究する。
後者は有限データに基づく複雑なシステムのダイナミクスを学習し,提案手法が最先端のニューラル・ダイナミクスモデルを上回ることを示した。
全く新しいシステム介入の下で得られたデータへの転送の文脈において、より一般的な帰納バイアスについても検討する。
その結果, 物理, 医学, 生物学, 工学など幅広い分野に応用可能な, 異種データから動的モデルを効率よく学習するための, 新たなフレームワークが得られた。
関連論文リスト
- CoDBench: A Critical Evaluation of Data-driven Models for Continuous
Dynamical Systems [8.410938527671341]
微分方程式を解くための11の最先端データ駆動モデルからなる総合ベンチマークスイートであるCodBenchを紹介する。
具体的には、Viz.、フィードフォワードニューラルネットワーク、ディープオペレータ回帰モデル、周波数ベースのニューラル演算子、トランスフォーマーアーキテクチャの4つの異なるカテゴリを評価する。
我々は、学習におけるオペレータの能力、ゼロショット超解像、データ効率、ノイズに対する堅牢性、計算効率を評価する広範な実験を行う。
論文 参考訳(メタデータ) (2023-10-02T21:27:54Z) - Dynamic Latent Separation for Deep Learning [67.62190501599176]
機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。
本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
論文 参考訳(メタデータ) (2022-10-07T17:56:53Z) - Decomposed Linear Dynamical Systems (dLDS) for learning the latent
components of neural dynamics [6.829711787905569]
本稿では,時系列データの非定常および非線形の複雑なダイナミクスを表現した新しい分解力学系モデルを提案する。
我々のモデルは辞書学習によって訓練され、最近の結果を利用してスパースベクトルを時間とともに追跡する。
連続時間と離散時間の両方の指導例において、我々のモデルは元のシステムによく近似できることを示した。
論文 参考訳(メタデータ) (2022-06-07T02:25:38Z) - Gradient-Based Trajectory Optimization With Learned Dynamics [80.41791191022139]
データからシステムの微分可能なダイナミクスモデルを学習するために、機械学習技術を使用します。
ニューラルネットワークは、大規模な時間的地平線に対して、非常に非線形な振る舞いを正確にモデル化できることが示される。
ハードウェア実験において、学習したモデルがSpotとRadio- controlled (RC)の両方の複雑な力学を表現できることを実証した。
論文 参考訳(メタデータ) (2022-04-09T22:07:34Z) - Capturing Actionable Dynamics with Structured Latent Ordinary
Differential Equations [68.62843292346813]
本稿では,その潜在表現内でのシステム入力の変動をキャプチャする構造付き潜在ODEモデルを提案する。
静的変数仕様に基づいて,本モデルではシステムへの入力毎の変動要因を学習し,潜在空間におけるシステム入力の影響を分離する。
論文 参考訳(メタデータ) (2022-02-25T20:00:56Z) - Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
トレーニングセットとその構造が長期予測の品質に与える影響を考察する。
トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
論文 参考訳(メタデータ) (2021-12-15T20:09:20Z) - Constructing Neural Network-Based Models for Simulating Dynamical
Systems [59.0861954179401]
データ駆動モデリングは、真のシステムの観測からシステムの力学の近似を学ぼうとする代替パラダイムである。
本稿では,ニューラルネットワークを用いた動的システムのモデル構築方法について検討する。
基礎的な概要に加えて、関連する文献を概説し、このモデリングパラダイムが克服すべき数値シミュレーションから最も重要な課題を概説する。
論文 参考訳(メタデータ) (2021-11-02T10:51:42Z) - Using scientific machine learning for experimental bifurcation analysis
of dynamic systems [2.204918347869259]
本研究は、極限サイクルを持つ物理非線形力学系に対する普遍微分方程式(UDE)モデルの訓練に焦点をあてる。
数値シミュレーションによりトレーニングデータを生成する例を考察するとともに,提案するモデリング概念を物理実験に適用する。
ニューラルネットワークとガウス過程の両方を、力学モデルと共に普遍近似器として使用し、UDEモデリングアプローチの正確性と堅牢性を批判的に評価する。
論文 参考訳(メタデータ) (2021-10-22T15:43:03Z) - Using Data Assimilation to Train a Hybrid Forecast System that Combines
Machine-Learning and Knowledge-Based Components [52.77024349608834]
利用可能なデータがノイズの多い部分測定の場合,カオスダイナミクスシステムのデータ支援予測の問題を検討する。
動的システムの状態の部分的測定を用いることで、不完全な知識ベースモデルによる予測を改善するために機械学習モデルを訓練できることを示す。
論文 参考訳(メタデータ) (2021-02-15T19:56:48Z) - Physics-based polynomial neural networks for one-shot learning of
dynamical systems from one or a few samples [0.0]
本論文は, 単純な振り子と世界最大規模のX線源の双方について, 実測結果について述べる。
提案手法により, ノイズ, 制限, 部分的な観測から複雑な物理を復元することができることが実証された。
論文 参考訳(メタデータ) (2020-05-24T09:27:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。