論文の概要: GOKU-UI: Ubiquitous Inference through Attention and Multiple Shooting for Continuous-time Generative Models

• arxiv url: http://arxiv.org/abs/2307.05735v1
• Date: Tue, 11 Jul 2023 19:03:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-13 15:17:34.893074
• Title: GOKU-UI: Ubiquitous Inference through Attention and Multiple Shooting for Continuous-time Generative Models
• Title（参考訳）: GOKU-UI: 連続生成モデルのための注意と複数撮影によるユビキタス推論
• Authors: Germ\'an Abrevaya, Mahta Ramezanian-Panahi, Jean-Christophe Gagnon-Audet, Irina Rish, Pablo Polosecki, Silvina Ponce Dawson, Guillermo Cecchi, Guillaume Dumas
• Abstract要約: 本稿では,SciML生成モデルの進化であるGOKU-UIを紹介する。 GOKU-UIは、微分方程式の他のクラス、例えば微分方程式(SDE)を組み込むために原モデルのスペクトルを広げる。 また、アテンション機構によるユビキタスな推論と、潜在空間における新しい多重射撃訓練戦略を統合している。
• 参考スコア（独自算出の注目度）: 4.985072080377424
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scientific Machine Learning (SciML) is a burgeoning field that synergistically combines domain-aware and interpretable models with agnostic machine learning techniques. In this work, we introduce GOKU-UI, an evolution of the SciML generative model GOKU-nets. The GOKU-UI broadens the original model's spectrum to incorporate other classes of differential equations, such as Stochastic Differential Equations (SDEs), and integrates a distributed, i.e. ubiquitous, inference through attention mechanisms and a novel multiple shooting training strategy in the latent space. These enhancements have led to a significant increase in its performance in both reconstruction and forecast tasks, as demonstrated by our evaluation of simulated and empirical data. Specifically, GOKU-UI outperformed all baseline models on synthetic datasets even with a training set 32-fold smaller, underscoring its remarkable data efficiency. Furthermore, when applied to empirical human brain data, while incorporating stochastic Stuart-Landau oscillators into its dynamical core, it not only surpassed state-of-the-art baseline methods in the reconstruction task, but also demonstrated better prediction of future brain activity up to 12 seconds ahead. By training GOKU-UI on resting-state fMRI data, we encoded whole-brain dynamics into a latent representation, learning an effective low-dimensional dynamical system model that could offer insights into brain functionality and open avenues for practical applications such as mental state or psychiatric condition classification. Ultimately, our research provides further impetus for the field of Scientific Machine Learning, showcasing the potential for advancements when established scientific insights are interwoven with modern machine learning.
• Abstract（参考訳）: scientific machine learning(sciml)は、ドメイン認識と解釈可能なモデルと不可知な機械学習技術を組み合わせた、急成長する分野である。 本稿では,SciML生成モデルの進化であるGOKU-UIを紹介する。 GOKU-UIは、SDE(Stochastic Differential Equations)のような他の微分方程式のクラスを組み込むために原モデルのスペクトルを拡張し、分散的、すなわち、注意機構による推論と、潜在空間における新しい多重射撃訓練戦略を統合する。 これらの改善により、シミュレーションデータと経験データの評価により、再構成タスクと予測タスクの両方のパフォーマンスが大幅に向上した。 特に、悟空井は32倍のトレーニングセットでも合成データセットのベースラインモデルをすべて上回っており、その優れたデータ効率を強調している。 さらに、経験的脳データに適用すると、確率的スチュアート・ランダウ振動子を動的コアに組み込むと同時に、再構築作業における最先端のベースライン法を上回っただけでなく、さらに12秒前までの将来の脳活動の予測も向上した。 休息状態のfmriデータで極井を訓練することにより,脳全体のダイナミクスを潜在表現に符号化し,脳の機能や精神状態や精神疾患の分類といった実用的応用への道筋を示唆する効果的な低次元力学系モデルを学習した。 最終的に、我々の研究は科学機械学習の分野をさらに推進し、確立された科学的洞察が現代の機械学習に織り込まれているときの進歩の可能性を示している。

関連論文リスト

• Scientific machine learning in ecological systems: A study on the predator-prey dynamics [1.4633779950109127]
  我々は、学習データやニューラルネットワークにのみ依存して、システムの事前の知識なしに、基礎となる微分方程式を明らかにすることを目指している。 本稿では,LotkaVolterraシステムの予測と予測に,Neural ODEとUDEの両方を効果的に活用できることを実証する。 基礎となるダイナミクスを効果的に回復し、トレーニングデータを大幅に減らして正確な予測を行うことで、UDEがニューラルODEより優れているかを観察した。
  論文  参考訳（メタデータ） (2024-11-11T10:40:45Z)
• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• A Multi-Grained Symmetric Differential Equation Model for Learning Protein-Ligand Binding Dynamics [73.35846234413611]
  薬物発見において、分子動力学(MD)シミュレーションは、結合親和性を予測し、輸送特性を推定し、ポケットサイトを探索する強力なツールを提供する。 我々は,数値MDを容易にし,タンパク質-リガンド結合ダイナミクスの正確なシミュレーションを提供する,最初の機械学習サロゲートであるNeuralMDを提案する。 従来の数値MDシミュレーションと比較して1K$times$ Speedupを実現することにより,NeuralMDの有効性と有効性を示す。
  論文  参考訳（メタデータ） (2024-01-26T09:35:17Z)
• CoDBench: A Critical Evaluation of Data-driven Models for Continuous Dynamical Systems [8.410938527671341]
  微分方程式を解くための11の最先端データ駆動モデルからなる総合ベンチマークスイートであるCodBenchを紹介する。 具体的には、Viz.、フィードフォワードニューラルネットワーク、ディープオペレータ回帰モデル、周波数ベースのニューラル演算子、トランスフォーマーアーキテクチャの4つの異なるカテゴリを評価する。 我々は、学習におけるオペレータの能力、ゼロショット超解像、データ効率、ノイズに対する堅牢性、計算効率を評価する広範な実験を行う。
  論文  参考訳（メタデータ） (2023-10-02T21:27:54Z)
• Learning Latent Dynamics via Invariant Decomposition and (Spatio-)Temporal Transformers [0.6767885381740952]
  本研究では,高次元経験データから力学系を学習する手法を提案する。 我々は、システムの複数の異なるインスタンスからデータが利用できる設定に焦点を当てる。 我々は、単純な理論的分析と、合成および実世界のデータセットに関する広範な実験を通して行動を研究する。
  論文  参考訳（メタデータ） (2023-06-21T07:52:07Z)
• Advancing Reacting Flow Simulations with Data-Driven Models [50.9598607067535]
  マルチ物理問題における機械学習ツールの効果的な利用の鍵は、それらを物理モデルとコンピュータモデルに結合することである。 本章では, 燃焼システムにおけるデータ駆動型低次モデリングの適用可能性について概説する。
  論文  参考訳（メタデータ） (2022-09-05T16:48:34Z)
• Gradient-Based Trajectory Optimization With Learned Dynamics [80.41791191022139]
  データからシステムの微分可能なダイナミクスモデルを学習するために、機械学習技術を使用します。 ニューラルネットワークは、大規模な時間的地平線に対して、非常に非線形な振る舞いを正確にモデル化できることが示される。 ハードウェア実験において、学習したモデルがSpotとRadio- controlled (RC)の両方の複雑な力学を表現できることを実証した。
  論文  参考訳（メタデータ） (2022-04-09T22:07:34Z)
• Ranking of Communities in Multiplex Spatiotemporal Models of Brain Dynamics [0.0]
  隠れマルコフグラフモデル(HMs)と呼ぶ多重脳状態グラフモデルとして、ニューラルHMMの解釈を提案する。 この解釈により、ネットワーク分析技術の完全なレパートリーを使用して、動的脳活動を分析することができる。 ランダムウォークに基づく手法を用いて,脳領域の重要なコミュニティを決定するための新しいツールを開発した。
  論文  参考訳（メタデータ） (2022-03-17T12:14:09Z)
• Mapping and Validating a Point Neuron Model on Intel's Neuromorphic Hardware Loihi [77.34726150561087]
  インテルの第5世代ニューロモルフィックチップ「Loihi」の可能性について検討する。 Loihiは、脳内のニューロンをエミュレートするスパイキングニューラルネットワーク(SNN)という新しいアイデアに基づいている。 Loihiは従来のシミュレーションを非常に効率的に再現し、ネットワークが大きくなるにつれて、時間とエネルギーの両方のパフォーマンスにおいて顕著にスケールする。
  論文  参考訳（メタデータ） (2021-09-22T16:52:51Z)
• Physics-Integrated Variational Autoencoders for Robust and Interpretable Generative Modeling [86.9726984929758]
  我々は、不完全物理モデルの深部生成モデルへの統合に焦点を当てる。 本稿では,潜在空間の一部が物理によって基底づけられたVAEアーキテクチャを提案する。 合成および実世界のデータセットの集合に対して生成的性能改善を示す。
  論文  参考訳（メタデータ） (2021-02-25T20:28:52Z)
• Integration of Leaky-Integrate-and-Fire-Neurons in Deep Learning Architectures [0.0]
  生物学的にインスパイアされたニューロンモデルが情報符号化の斬新で効率的な方法を提供することを示す。 LIF単位に対する簡単な更新ルールを微分方程式から導出した。 本手法をIRIS花のイメージデータセットに適用し,画像分類タスクにおけるLIFニューロンのトレーニングに使用することができることを示す。
  論文  参考訳（メタデータ） (2020-04-28T13:57:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。