論文の概要: FMint: Bridging Human Designed and Data Pretrained Models for Differential Equation Foundation Model
- arxiv url: http://arxiv.org/abs/2404.14688v1
- Date: Tue, 23 Apr 2024 02:36:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-24 15:31:26.751668
- Title: FMint: Bridging Human Designed and Data Pretrained Models for Differential Equation Foundation Model
- Title（参考訳）: FMint:微分方程式基礎モデルのための人間設計とデータ事前学習モデル
- Authors: Zezheng Song, Jiaxin Yuan, Haizhao Yang,
- Abstract要約: textbfFMint(初期化に基づく創始モデル)は、人間の設計したアルゴリズムの精度とデータ駆動方式の適応性を相乗化するための生成前訓練モデルである。
50,000の力学系の多種多様なコーパスで事前訓練され、現実世界の幅広い応用にまたがる例外的な一般化を示している。
- 参考スコア（独自算出の注目度）: 5.748690310135373
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Human-designed algorithms have long been fundamental in solving a variety of scientific and engineering challenges. Recently, data-driven deep learning methods have also risen to prominence, offering innovative solutions across numerous scientific fields. While traditional algorithms excel in capturing the core aspects of specific problems, they often lack the flexibility needed for varying problem conditions due to the absence of specific data. Conversely, while data-driven approaches utilize vast datasets, they frequently fall short in domain-specific knowledge. To bridge these gaps, we introduce \textbf{FMint} (Foundation Model based on Initialization), a generative pre-trained model that synergizes the precision of human-designed algorithms with the adaptability of data-driven methods. This model is specifically engineered for high-accuracy simulation of dynamical systems. Starting from initial trajectories provided by conventional methods, FMint quickly delivers highly accurate solutions. It incorporates in-context learning and has been pre-trained on a diverse corpus of 500,000 dynamical systems, showcasing exceptional generalization across a broad spectrum of real-world applications. By effectively combining algorithmic rigor with data-driven flexibility, FMint sets the stage for the next generation of scientific foundation models, tackling complex problems with both efficiency and high accuracy.
- Abstract（参考訳）: 人類が設計したアルゴリズムは、様々な科学的・工学的な課題を解決するのに長い間基礎的だった。
近年、データ駆動型深層学習法が注目され、多くの科学分野に革新的なソリューションを提供している。
従来のアルゴリズムは特定の問題の中核的な側面を捉えるのに優れているが、特定のデータがないため、様々な問題条件に必要な柔軟性を欠いていることが多い。
逆に、データ駆動アプローチは広大なデータセットを使用するが、ドメイン固有の知識に乏しいことが多い。
これらのギャップを埋めるために、データ駆動手法の適応性によって人間設計アルゴリズムの精度を相乗化する生成前訓練モデルである「textbf{FMint}」(初期化に基づく創始モデル)を導入する。
このモデルは、力学系の高精度なシミュレーションのために特別に設計されている。
FMintは従来の手法で提供された最初の軌道から始まり、高速に高精度な解を提供する。
文脈内学習を取り入れ、50,000の力学系の多種多様なコーパスで事前訓練され、現実世界の幅広い応用にまたがる例外的な一般化を示している。
アルゴリズムの厳密さとデータ駆動の柔軟性を効果的に組み合わせることで、FMintは次世代の科学基盤モデルのステージを設定し、効率性と高精度の両方で複雑な問題に取り組む。
関連論文リスト
- Foundational Inference Models for Dynamical Systems [5.549794481031468]
我々は,ODEによって決定されると仮定される時系列データの欠落を補うという古典的な問題に対して,新たな視点を提供する。
本稿では,いくつかの(隠れた)ODEを満たすパラメトリック関数を通じて,ゼロショット時系列計算のための新しい教師付き学習フレームワークを提案する。
我々は,1と同一(事前学習)の認識モデルが,63個の異なる時系列に対してゼロショット計算を行なえることを実証的に実証した。
論文 参考訳（メタデータ） (2024-02-12T11:48:54Z) - CoDBench: A Critical Evaluation of Data-driven Models for Continuous
Dynamical Systems [8.410938527671341]
微分方程式を解くための11の最先端データ駆動モデルからなる総合ベンチマークスイートであるCodBenchを紹介する。
具体的には、Viz.、フィードフォワードニューラルネットワーク、ディープオペレータ回帰モデル、周波数ベースのニューラル演算子、トランスフォーマーアーキテクチャの4つの異なるカテゴリを評価する。
我々は、学習におけるオペレータの能力、ゼロショット超解像、データ効率、ノイズに対する堅牢性、計算効率を評価する広範な実験を行う。
論文 参考訳（メタデータ） (2023-10-02T21:27:54Z) - Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。
モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。
ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-28T12:02:27Z) - Differentiable Multi-Fidelity Fusion: Efficient Learning of Physics
Simulations with Neural Architecture Search and Transfer Learning [1.0024450637989093]
ニューラル・アーキテクチャ・サーチ(NAS)を利用して、異なる問題に対する適切なモデル・アーキテクチャを自動的に探索する微分可能なmf(DMF)モデルを提案する。
DMFは、少数の高忠実度トレーニングサンプルで物理シミュレーションを効率よく学習することができ、最先端の手法よりも優れたマージンを持つ。
論文 参考訳（メタデータ） (2023-06-12T07:18:13Z) - Learning Controllable Adaptive Simulation for Multi-resolution Physics [86.8993558124143]
完全深層学習に基づくサロゲートモデルとして,LAMP(Learning Controllable Adaptive Simulation for Multi- resolution Physics)を導入した。
LAMPは、前方進化を学習するためのグラフニューラルネットワーク(GNN)と、空間的洗練と粗大化のポリシーを学ぶためのGNNベースのアクター批判で構成されている。
我々は,LAMPが最先端のディープラーニングサロゲートモデルより優れており,長期予測誤差を改善するために,適応的なトレードオフ計算が可能であることを実証した。
論文 参考訳（メタデータ） (2023-05-01T23:20:27Z) - Real-to-Sim: Predicting Residual Errors of Robotic Systems with Sparse
Data using a Learning-based Unscented Kalman Filter [65.93205328894608]
我々は,動的・シミュレータモデルと実ロボット間の残差を学習する。
学習した残差誤差により、動的モデル、シミュレーション、および実際のハードウェア間の現実的ギャップをさらに埋めることができることを示す。
論文 参考訳（メタデータ） (2022-09-07T15:15:12Z) - Using Data Assimilation to Train a Hybrid Forecast System that Combines
Machine-Learning and Knowledge-Based Components [52.77024349608834]
利用可能なデータがノイズの多い部分測定の場合,カオスダイナミクスシステムのデータ支援予測の問題を検討する。
動的システムの状態の部分的測定を用いることで、不完全な知識ベースモデルによる予測を改善するために機械学習モデルを訓練できることを示す。
論文 参考訳（メタデータ） (2021-02-15T19:56:48Z) - Model-Based Deep Learning [155.063817656602]
信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。
ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。
私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
論文 参考訳（メタデータ） (2020-12-15T16:29:49Z) - Data-Efficient Learning for Complex and Real-Time Physical Problem
Solving using Augmented Simulation [49.631034790080406]
本稿では,大理石を円形迷路の中心まで航行する作業について述べる。
実システムと対話する数分以内に,複雑な環境で大理石を動かすことを学習するモデルを提案する。
論文 参考訳（メタデータ） (2020-11-14T02:03:08Z) - Fast Modeling and Understanding Fluid Dynamics Systems with
Encoder-Decoder Networks [0.0]
本研究では,有限体積シミュレータを用いて,高精度な深層学習に基づくプロキシモデルを効率的に教えることができることを示す。
従来のシミュレーションと比較して、提案したディープラーニングアプローチはより高速なフォワード計算を可能にする。
深層学習モデルの重要物理パラメータに対する感度を定量化することにより、インバージョン問題を大きな加速で解くことができることを示す。
論文 参考訳（メタデータ） (2020-06-09T17:14:08Z) - Modeling System Dynamics with Physics-Informed Neural Networks Based on
Lagrangian Mechanics [3.214927790437842]
第一原則の手法は高いバイアスに悩まされるが、データ駆動モデリングは高いばらつきを持つ傾向がある。
本稿では,2つのモデリング手法を組み合わせて上記の問題を解くハイブリッドモデルであるPINODEについて述べる。
本研究の目的は,機械系のモデルベース制御とシステム同定である。
論文 参考訳（メタデータ） (2020-05-29T15:10:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。