論文の概要: Effective Latent Differential Equation Models via Attention and Multiple Shooting

• arxiv url: http://arxiv.org/abs/2307.05735v3
• Date: Thu, 14 Sep 2023 16:10:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-15 18:41:23.913590
• Title: Effective Latent Differential Equation Models via Attention and Multiple Shooting
• Title（参考訳）: 注意と複数撮影による実効潜在微分方程式モデル
• Authors: Germ\'an Abrevaya, Mahta Ramezanian-Panahi, Jean-Christophe Gagnon-Audet, Pablo Polosecki, Irina Rish, Silvina Ponce Dawson, Guillermo Cecchi, Guillaume Dumas
• Abstract要約: 本稿では,SciML生成モデルの進化であるGOKU-UIを紹介する。 GOKU-UIは、原モデルのスペクトルを広げて微分方程式の他のクラス、例えば微分方程式(SDE)を組み込む。 この拡張版は、再建作業における全てのベースラインメソッドを超えるだけでなく、最大15秒前の将来の脳活動の予測誤差も低かった。
• 参考スコア（独自算出の注目度）: 10.293284009810533
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scientific Machine Learning (SciML) is a burgeoning field that synergistically combines domain-aware and interpretable models with agnostic machine learning techniques. In this work, we introduce GOKU-UI, an evolution of the SciML generative model GOKU-nets. GOKU-UI not only broadens the original model's spectrum to incorporate other classes of differential equations, such as Stochastic Differential Equations (SDEs), but also integrates attention mechanisms and a novel multiple shooting training strategy in the latent space. These modifications have led to a significant increase in its performance in both reconstruction and forecast tasks, as demonstrated by our evaluation of simulated and empirical data. Specifically, GOKU-UI outperformed all baseline models on synthetic datasets even with a training set 16-fold smaller, underscoring its remarkable data efficiency. Furthermore, when applied to empirical human brain data, while incorporating stochastic Stuart-Landau oscillators into its dynamical core, our proposed enhancements markedly increased the model's effectiveness in capturing complex brain dynamics. This augmented version not only surpassed all baseline methods in the reconstruction task, but also demonstrated lower prediction error of future brain activity up to 15 seconds ahead. By training GOKU-UI on resting state fMRI data, we encoded whole-brain dynamics into a latent representation, learning a low-dimensional dynamical system model that could offer insights into brain functionality and open avenues for practical applications such as the classification of mental states or psychiatric conditions. Ultimately, our research provides further impetus for the field of Scientific Machine Learning, showcasing the potential for advancements when established scientific insights are interwoven with modern machine learning.
• Abstract（参考訳）: scientific machine learning(sciml)は、ドメイン認識と解釈可能なモデルと不可知な機械学習技術を組み合わせた、急成長する分野である。 本稿では,SciML生成モデルの進化であるGOKU-UIを紹介する。 GOKU-UIは、SDE(Stochastic Differential Equations)のような他の微分方程式のクラスを組み込むために、原モデルのスペクトルを広げるだけでなく、注意機構と潜在空間における新しい多重射撃訓練戦略を統合する。 これらの修正により、シミュレーションデータと実験データの評価により、再構成タスクと予測タスクの両方のパフォーマンスが著しく向上した。 具体的には、GOKU-UIは16倍のトレーニングセットでも、合成データセット上のベースラインモデルを全て上回り、その顕著なデータ効率を誇示している。 さらに,経験的脳データに適用すると,確率的スチュアート・ランダウ振動子をその動的コアに組み込む一方で,提案する拡張により,複雑な脳の動態を捉える際のモデルの有効性が著しく向上した。 この拡張版は、再建作業における全てのベースラインメソッドを超えるだけでなく、最大15秒前の将来の脳活動の予測誤差も低かった。 休息状態fmriデータに極井を訓練することで、脳全体のダイナミクスを潜在表現に符号化し、脳の機能や精神状態の分類や精神疾患などの実用的応用への道筋を提供する低次元の力学系モデルを学ぶ。 最終的に、我々の研究は科学機械学習の分野をさらに推進し、確立された科学的洞察が現代の機械学習に織り込まれているときの進歩の可能性を示している。

関連論文リスト

• Scientific machine learning in ecological systems: A study on the predator-prey dynamics [1.4633779950109127]
  我々は、学習データやニューラルネットワークにのみ依存して、システムの事前の知識なしに、基礎となる微分方程式を明らかにすることを目指している。 本稿では,LotkaVolterraシステムの予測と予測に,Neural ODEとUDEの両方を効果的に活用できることを実証する。 基礎となるダイナミクスを効果的に回復し、トレーニングデータを大幅に減らして正確な予測を行うことで、UDEがニューラルODEより優れているかを観察した。
  論文  参考訳（メタデータ） (2024-11-11T10:40:45Z)
• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• A Multi-Grained Symmetric Differential Equation Model for Learning Protein-Ligand Binding Dynamics [73.35846234413611]
  薬物発見において、分子動力学(MD)シミュレーションは、結合親和性を予測し、輸送特性を推定し、ポケットサイトを探索する強力なツールを提供する。 我々は,数値MDを容易にし,タンパク質-リガンド結合ダイナミクスの正確なシミュレーションを提供する,最初の機械学習サロゲートであるNeuralMDを提案する。 従来の数値MDシミュレーションと比較して1K$times$ Speedupを実現することにより,NeuralMDの有効性と有効性を示す。
  論文  参考訳（メタデータ） (2024-01-26T09:35:17Z)
• CoDBench: A Critical Evaluation of Data-driven Models for Continuous Dynamical Systems [8.410938527671341]
  微分方程式を解くための11の最先端データ駆動モデルからなる総合ベンチマークスイートであるCodBenchを紹介する。 具体的には、Viz.、フィードフォワードニューラルネットワーク、ディープオペレータ回帰モデル、周波数ベースのニューラル演算子、トランスフォーマーアーキテクチャの4つの異なるカテゴリを評価する。 我々は、学習におけるオペレータの能力、ゼロショット超解像、データ効率、ノイズに対する堅牢性、計算効率を評価する広範な実験を行う。
  論文  参考訳（メタデータ） (2023-10-02T21:27:54Z)
• Learning Latent Dynamics via Invariant Decomposition and (Spatio-)Temporal Transformers [0.6767885381740952]
  本研究では,高次元経験データから力学系を学習する手法を提案する。 我々は、システムの複数の異なるインスタンスからデータが利用できる設定に焦点を当てる。 我々は、単純な理論的分析と、合成および実世界のデータセットに関する広範な実験を通して行動を研究する。
  論文  参考訳（メタデータ） (2023-06-21T07:52:07Z)
• Advancing Reacting Flow Simulations with Data-Driven Models [50.9598607067535]
  マルチ物理問題における機械学習ツールの効果的な利用の鍵は、それらを物理モデルとコンピュータモデルに結合することである。 本章では, 燃焼システムにおけるデータ駆動型低次モデリングの適用可能性について概説する。
  論文  参考訳（メタデータ） (2022-09-05T16:48:34Z)
• Gradient-Based Trajectory Optimization With Learned Dynamics [80.41791191022139]
  データからシステムの微分可能なダイナミクスモデルを学習するために、機械学習技術を使用します。 ニューラルネットワークは、大規模な時間的地平線に対して、非常に非線形な振る舞いを正確にモデル化できることが示される。 ハードウェア実験において、学習したモデルがSpotとRadio- controlled (RC)の両方の複雑な力学を表現できることを実証した。
  論文  参考訳（メタデータ） (2022-04-09T22:07:34Z)
• Ranking of Communities in Multiplex Spatiotemporal Models of Brain Dynamics [0.0]
  隠れマルコフグラフモデル(HMs)と呼ぶ多重脳状態グラフモデルとして、ニューラルHMMの解釈を提案する。 この解釈により、ネットワーク分析技術の完全なレパートリーを使用して、動的脳活動を分析することができる。 ランダムウォークに基づく手法を用いて,脳領域の重要なコミュニティを決定するための新しいツールを開発した。
  論文  参考訳（メタデータ） (2022-03-17T12:14:09Z)
• Mapping and Validating a Point Neuron Model on Intel's Neuromorphic Hardware Loihi [77.34726150561087]
  インテルの第5世代ニューロモルフィックチップ「Loihi」の可能性について検討する。 Loihiは、脳内のニューロンをエミュレートするスパイキングニューラルネットワーク(SNN)という新しいアイデアに基づいている。 Loihiは従来のシミュレーションを非常に効率的に再現し、ネットワークが大きくなるにつれて、時間とエネルギーの両方のパフォーマンスにおいて顕著にスケールする。
  論文  参考訳（メタデータ） (2021-09-22T16:52:51Z)
• Physics-Integrated Variational Autoencoders for Robust and Interpretable Generative Modeling [86.9726984929758]
  我々は、不完全物理モデルの深部生成モデルへの統合に焦点を当てる。 本稿では,潜在空間の一部が物理によって基底づけられたVAEアーキテクチャを提案する。 合成および実世界のデータセットの集合に対して生成的性能改善を示す。
  論文  参考訳（メタデータ） (2021-02-25T20:28:52Z)
• Integration of Leaky-Integrate-and-Fire-Neurons in Deep Learning Architectures [0.0]
  生物学的にインスパイアされたニューロンモデルが情報符号化の斬新で効率的な方法を提供することを示す。 LIF単位に対する簡単な更新ルールを微分方程式から導出した。 本手法をIRIS花のイメージデータセットに適用し,画像分類タスクにおけるLIFニューロンのトレーニングに使用することができることを示す。
  論文  参考訳（メタデータ） (2020-04-28T13:57:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。