論文の概要: FMint: Bridging Human Designed and Data Pretrained Models for Differential Equation Foundation Model

• arxiv url: http://arxiv.org/abs/2404.14688v3
• Date: Mon, 30 Sep 2024 19:50:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-02 16:33:02.046401
• Title: FMint: Bridging Human Designed and Data Pretrained Models for Differential Equation Foundation Model
• Title（参考訳）: FMint:微分方程式基礎モデルのための人間設計とデータ事前学習モデル
• Authors: Zezheng Song, Jiaxin Yuan, Haizhao Yang,
• Abstract要約: 我々は、人間設計モデルとデータ駆動モデルとのギャップを埋めるために、textbfFMintという新しいマルチモーダル基盤モデルを提案する。 FMintは、インコンテキスト学習を備えたデコーダのみのトランスフォーマーアーキテクチャに基づいて、数値データとテキストデータの両方を用いて、普遍的なエラー訂正スキームを学習する。 本研究は,従来の数値解法と比較して,精度と効率の両面から提案モデルの有効性を実証するものである。
• 参考スコア（独自算出の注目度）: 5.748690310135373
• License:
• Abstract: The fast simulation of dynamical systems is a key challenge in many scientific and engineering applications, such as weather forecasting, disease control, and drug discovery. With the recent success of deep learning, there is increasing interest in using neural networks to solve differential equations in a data-driven manner. However, existing methods are either limited to specific types of differential equations or require large amounts of data for training. This restricts their practicality in many real-world applications, where data is often scarce or expensive to obtain. To address this, we propose a novel multi-modal foundation model, named \textbf{FMint} (\textbf{F}oundation \textbf{M}odel based on \textbf{In}i\textbf{t}ialization), to bridge the gap between human-designed and data-driven models for the fast simulation of dynamical systems. Built on a decoder-only transformer architecture with in-context learning, FMint utilizes both numerical and textual data to learn a universal error correction scheme for dynamical systems, using prompted sequences of coarse solutions from traditional solvers. The model is pre-trained on a corpus of 40K ODEs, and we perform extensive experiments on challenging ODEs that exhibit chaotic behavior and of high dimensionality. Our results demonstrate the effectiveness of the proposed model in terms of both accuracy and efficiency compared to classical numerical solvers, highlighting FMint's potential as a general-purpose solver for dynamical systems. Our approach achieves an accuracy improvement of 1 to 2 orders of magnitude over state-of-the-art dynamical system simulators, and delivers a 5X speedup compared to traditional numerical algorithms. The code for FMint is available at \url{https://github.com/margotyjx/FMint}.
• Abstract（参考訳）: 動的システムの高速シミュレーションは、天気予報、病気の制御、薬物発見など、多くの科学的・工学的な応用において重要な課題である。 近年のディープラーニングの成功により、データ駆動型で微分方程式を解くためにニューラルネットワークを使うことへの関心が高まっている。 しかし、既存の手法は特定の微分方程式に制限されるか、訓練に大量のデータを必要とする。 これにより、多くの実世界のアプリケーションにおいて、データが不足したり、入手するのにコストがかかるような実用性が制限される。 そこで本研究では,動的システムの高速シミュレーションのための人間設計モデルとデータ駆動モデルとのギャップを埋めるため,新しいマルチモーダル基礎モデルである \textbf{FMint} (\textbf{F}oundation \textbf{M}odel based on \textbf{In}i\textbf{t}ialization)を提案する。 FMintは、インコンテキスト学習を備えたデコーダのみのトランスフォーマーアーキテクチャに基づいており、数値データとテキストデータの両方を用いて、従来の解法からの粗い解の列を用いて動的システムの普遍的な誤り訂正スキームを学習する。 モデルは40K ODEのコーパス上で事前学習され,カオス的挙動や高次元性を示す挑戦的ODEについて広範な実験を行う。 本研究は,従来の数値解法と比較して精度と効率の両面で提案モデルの有効性を実証し,力学系の汎用解法としてのFMintの可能性を強調した。 提案手法は,最新の動的システムシミュレータよりも1～2桁の精度向上を実現し,従来の数値アルゴリズムと比較して5倍の高速化を実現している。 FMint のコードは \url{https://github.com/margotyjx/FMint} で公開されている。

関連論文リスト

• Foundational Inference Models for Dynamical Systems [5.549794481031468]
  我々は,ODEによって決定されると仮定される時系列データの欠落を補うという古典的な問題に対して,新たな視点を提供する。 本稿では,いくつかの(隠れた)ODEを満たすパラメトリック関数を通じて,ゼロショット時系列計算のための新しい教師付き学習フレームワークを提案する。 我々は,1と同一(事前学習)の認識モデルが,63個の異なる時系列に対してゼロショット計算を行なえることを実証的に実証した。
  論文  参考訳（メタデータ） (2024-02-12T11:48:54Z)
• CoDBench: A Critical Evaluation of Data-driven Models for Continuous Dynamical Systems [8.410938527671341]
  微分方程式を解くための11の最先端データ駆動モデルからなる総合ベンチマークスイートであるCodBenchを紹介する。 具体的には、Viz.、フィードフォワードニューラルネットワーク、ディープオペレータ回帰モデル、周波数ベースのニューラル演算子、トランスフォーマーアーキテクチャの4つの異なるカテゴリを評価する。 我々は、学習におけるオペレータの能力、ゼロショット超解像、データ効率、ノイズに対する堅牢性、計算効率を評価する広範な実験を行う。
  論文  参考訳（メタデータ） (2023-10-02T21:27:54Z)
• Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
  ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。 モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。 ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-28T12:02:27Z)
• Differentiable Multi-Fidelity Fusion: Efficient Learning of Physics Simulations with Neural Architecture Search and Transfer Learning [1.0024450637989093]
  ニューラル・アーキテクチャ・サーチ(NAS)を利用して、異なる問題に対する適切なモデル・アーキテクチャを自動的に探索する微分可能なmf(DMF)モデルを提案する。 DMFは、少数の高忠実度トレーニングサンプルで物理シミュレーションを効率よく学習することができ、最先端の手法よりも優れたマージンを持つ。
  論文  参考訳（メタデータ） (2023-06-12T07:18:13Z)
• Learning Controllable Adaptive Simulation for Multi-resolution Physics [86.8993558124143]
  完全深層学習に基づくサロゲートモデルとして,LAMP(Learning Controllable Adaptive Simulation for Multi- resolution Physics)を導入した。 LAMPは、前方進化を学習するためのグラフニューラルネットワーク(GNN)と、空間的洗練と粗大化のポリシーを学ぶためのGNNベースのアクター批判で構成されている。 我々は,LAMPが最先端のディープラーニングサロゲートモデルより優れており,長期予測誤差を改善するために,適応的なトレードオフ計算が可能であることを実証した。
  論文  参考訳（メタデータ） (2023-05-01T23:20:27Z)
• On Robust Numerical Solver for ODE via Self-Attention Mechanism [82.95493796476767]
  我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。 まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
  論文  参考訳（メタデータ） (2023-02-05T01:39:21Z)
• Real-to-Sim: Predicting Residual Errors of Robotic Systems with Sparse Data using a Learning-based Unscented Kalman Filter [65.93205328894608]
  我々は,動的・シミュレータモデルと実ロボット間の残差を学習する。 学習した残差誤差により、動的モデル、シミュレーション、および実際のハードウェア間の現実的ギャップをさらに埋めることができることを示す。
  論文  参考訳（メタデータ） (2022-09-07T15:15:12Z)
• Using Data Assimilation to Train a Hybrid Forecast System that Combines Machine-Learning and Knowledge-Based Components [52.77024349608834]
  利用可能なデータがノイズの多い部分測定の場合,カオスダイナミクスシステムのデータ支援予測の問題を検討する。 動的システムの状態の部分的測定を用いることで、不完全な知識ベースモデルによる予測を改善するために機械学習モデルを訓練できることを示す。
  論文  参考訳（メタデータ） (2021-02-15T19:56:48Z)
• Model-Based Deep Learning [155.063817656602]
  信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。 ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。 私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
  論文  参考訳（メタデータ） (2020-12-15T16:29:49Z)
• Fast Modeling and Understanding Fluid Dynamics Systems with Encoder-Decoder Networks [0.0]
  本研究では,有限体積シミュレータを用いて,高精度な深層学習に基づくプロキシモデルを効率的に教えることができることを示す。 従来のシミュレーションと比較して、提案したディープラーニングアプローチはより高速なフォワード計算を可能にする。 深層学習モデルの重要物理パラメータに対する感度を定量化することにより、インバージョン問題を大きな加速で解くことができることを示す。
  論文  参考訳（メタデータ） (2020-06-09T17:14:08Z)
• Modeling System Dynamics with Physics-Informed Neural Networks Based on Lagrangian Mechanics [3.214927790437842]
  第一原則の手法は高いバイアスに悩まされるが、データ駆動モデリングは高いばらつきを持つ傾向がある。 本稿では,2つのモデリング手法を組み合わせて上記の問題を解くハイブリッドモデルであるPINODEについて述べる。 本研究の目的は,機械系のモデルベース制御とシステム同定である。
  論文  参考訳（メタデータ） (2020-05-29T15:10:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。