論文の概要: Learning Latent Dynamics via Invariant Decomposition and (Spatio-)Temporal Transformers

• arxiv url: http://arxiv.org/abs/2306.12077v1
• Date: Wed, 21 Jun 2023 07:52:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 14:26:56.004826
• Title: Learning Latent Dynamics via Invariant Decomposition and (Spatio-)Temporal Transformers
• Title（参考訳）: invariant decompositionと(spatio-)temporal transformersによる潜時ダイナミクスの学習
• Authors: Kai Lagemann, Christian Lagemann, Sach Mukherjee
• Abstract要約: 本研究では,高次元経験データから力学系を学習する手法を提案する。 我々は、システムの複数の異なるインスタンスからデータが利用できる設定に焦点を当てる。 我々は、単純な理論的分析と、合成および実世界のデータセットに関する広範な実験を通して行動を研究する。
• 参考スコア（独自算出の注目度）: 0.6767885381740952
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a method for learning dynamical systems from high-dimensional empirical data that combines variational autoencoders and (spatio-)temporal attention within a framework designed to enforce certain scientifically-motivated invariances. We focus on the setting in which data are available from multiple different instances of a system whose underlying dynamical model is entirely unknown at the outset. The approach rests on a separation into an instance-specific encoding (capturing initial conditions, constants etc.) and a latent dynamics model that is itself universal across all instances/realizations of the system. The separation is achieved in an automated, data-driven manner and only empirical data are required as inputs to the model. The approach allows effective inference of system behaviour at any continuous time but does not require an explicit neural ODE formulation, which makes it efficient and highly scalable. We study behaviour through simple theoretical analyses and extensive experiments on synthetic and real-world datasets. The latter investigate learning the dynamics of complex systems based on finite data and show that the proposed approach can outperform state-of-the-art neural-dynamical models. We study also more general inductive bias in the context of transfer to data obtained under entirely novel system interventions. Overall, our results provide a promising new framework for efficiently learning dynamical models from heterogeneous data with potential applications in a wide range of fields including physics, medicine, biology and engineering.
• Abstract（参考訳）: 本研究では, 変分オートエンコーダと(spatio-)時間的注意を結合した高次元実験データから力学系を学習する手法を提案する。 我々は、システムの複数の異なるインスタンスからデータが利用可能な設定に焦点を合わせ、その基盤となる動的モデルは最初から完全に未知である。 このアプローチは、インスタンス固有のエンコーディング(初期条件、定数等をキャプチャする)と、システムのすべてのインスタンス/実現に共通な潜在ダイナミクスモデルとの分離にかかっている。 分離は自動化されたデータ駆動方式で達成され、モデルへの入力として経験的なデータのみを必要とする。 このアプローチは、システムの振る舞いを常に効果的に推論できるが、明示的な神経odeの定式化を必要としないため、効率的でスケーラブルである。 我々は、単純な理論的分析と、合成および実世界のデータセットに関する広範な実験を通して行動を研究する。 後者は有限データに基づく複雑なシステムのダイナミクスを学習し,提案手法が最先端のニューラル・ダイナミクスモデルを上回ることを示した。 全く新しいシステム介入の下で得られたデータへの転送の文脈において、より一般的な帰納バイアスについても検討する。 その結果, 物理, 医学, 生物学, 工学など幅広い分野に応用可能な, 異種データから動的モデルを効率よく学習するための, 新たなフレームワークが得られた。

関連論文リスト

• ICODE: Modeling Dynamical Systems with Extrinsic Input Information [14.521146920900316]
  モデルの学習過程に,正確なリアルタイム入力情報を組み込んだ入力共役ニューラルネットワーク(ICODE)を導入する。 いくつかの代表的実動力学の実験を通して本手法を検証する。 この研究は、明示的な外部入力情報で物理的システムを理解するための貴重なニューラルネットワークODEモデルのクラスを提供する。
  論文  参考訳（メタデータ） (2024-11-21T07:57:59Z)
• eXponential FAmily Dynamical Systems (XFADS): Large-scale nonlinear Gaussian state-space modeling [9.52474299688276]
  非線形状態空間グラフィカルモデルのための低ランク構造化変分オートエンコーダフレームワークを提案する。 我々のアプローチは、より予測的な生成モデルを学ぶ能力を一貫して示している。
  論文  参考訳（メタデータ） (2024-03-03T02:19:49Z)
• CoDBench: A Critical Evaluation of Data-driven Models for Continuous Dynamical Systems [8.410938527671341]
  微分方程式を解くための11の最先端データ駆動モデルからなる総合ベンチマークスイートであるCodBenchを紹介する。 具体的には、Viz.、フィードフォワードニューラルネットワーク、ディープオペレータ回帰モデル、周波数ベースのニューラル演算子、トランスフォーマーアーキテクチャの4つの異なるカテゴリを評価する。 我々は、学習におけるオペレータの能力、ゼロショット超解像、データ効率、ノイズに対する堅牢性、計算効率を評価する広範な実験を行う。
  論文  参考訳（メタデータ） (2023-10-02T21:27:54Z)
• Stretched and measured neural predictions of complex network dynamics [2.1024950052120417]
  微分方程式のデータ駆動近似は、力学系のモデルを明らかにする従来の方法に代わる有望な方法である。 最近、ダイナミックスを研究する機械学習ツールとしてニューラルネットワークが採用されている。これは、データ駆動型ソリューションの検出や微分方程式の発見に使用できる。 従来の統計学習理論の限界を超えてモデルの一般化可能性を拡張することは可能であることを示す。
  論文  参考訳（メタデータ） (2023-01-12T09:44:59Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Gradient-Based Trajectory Optimization With Learned Dynamics [80.41791191022139]
  データからシステムの微分可能なダイナミクスモデルを学習するために、機械学習技術を使用します。 ニューラルネットワークは、大規模な時間的地平線に対して、非常に非線形な振る舞いを正確にモデル化できることが示される。 ハードウェア実験において、学習したモデルがSpotとRadio- controlled (RC)の両方の複雑な力学を表現できることを実証した。
  論文  参考訳（メタデータ） (2022-04-09T22:07:34Z)
• Capturing Actionable Dynamics with Structured Latent Ordinary Differential Equations [68.62843292346813]
  本稿では,その潜在表現内でのシステム入力の変動をキャプチャする構造付き潜在ODEモデルを提案する。 静的変数仕様に基づいて,本モデルではシステムへの入力毎の変動要因を学習し,潜在空間におけるシステム入力の影響を分離する。
  論文  参考訳（メタデータ） (2022-02-25T20:00:56Z)
• Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
  トレーニングセットとその構造が長期予測の品質に与える影響を考察する。 トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-12-15T20:09:20Z)
• Constructing Neural Network-Based Models for Simulating Dynamical Systems [59.0861954179401]
  データ駆動モデリングは、真のシステムの観測からシステムの力学の近似を学ぼうとする代替パラダイムである。 本稿では,ニューラルネットワークを用いた動的システムのモデル構築方法について検討する。 基礎的な概要に加えて、関連する文献を概説し、このモデリングパラダイムが克服すべき数値シミュレーションから最も重要な課題を概説する。
  論文  参考訳（メタデータ） (2021-11-02T10:51:42Z)
• Using Data Assimilation to Train a Hybrid Forecast System that Combines Machine-Learning and Knowledge-Based Components [52.77024349608834]
  利用可能なデータがノイズの多い部分測定の場合,カオスダイナミクスシステムのデータ支援予測の問題を検討する。 動的システムの状態の部分的測定を用いることで、不完全な知識ベースモデルによる予測を改善するために機械学習モデルを訓練できることを示す。
  論文  参考訳（メタデータ） (2021-02-15T19:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。