Fugu-MT 論文翻訳(概要): FMint: Bridging Human Designed and Data Pretrained Models for Differential Equation Foundation Model

論文の概要: FMint: Bridging Human Designed and Data Pretrained Models for Differential Equation Foundation Model

arxiv url: http://arxiv.org/abs/2404.14688v2
Date: Wed, 22 May 2024 16:43:48 GMT
ステータス: 処理完了
システム内更新日: 2024-05-25 05:30:39.953296
Title: FMint: Bridging Human Designed and Data Pretrained Models for Differential Equation Foundation Model
Title（参考訳）: FMint:微分方程式基礎モデルのための人間設計とデータ事前学習モデル
Authors: Zezheng Song, Jiaxin Yuan, Haizhao Yang,
Abstract要約: textbfFMint (textbfFoundation textbfModel based on textbfInitextbftialization)を提案する。誤差補正によって様々な微分方程式の大規模シミュレーションを高精度に高速化するように設計されている。
参考スコア（独自算出の注目度）: 5.748690310135373
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we propose a pre-trained foundation model \textbf{FMint} (\textbf{F}oundation \textbf{M}odel based on \textbf{In}i\textbf{t}ialization), designed to speed up large-scale simulations of various differential equations with high accuracy via error correction. Human-designed simulation algorithms excel at capturing the fundamental physics of engineering problems, but often need to balance the trade-off between accuracy and efficiency. While deep learning methods offer innovative solutions across numerous scientific fields, they frequently fall short in domain-specific knowledge. FMint bridges these gaps through conditioning on the initial coarse solutions obtained from conventional human-designed algorithms, and trained to obtain refined solutions for various differential equations. Based on the backbone of large language models, we adapt the in-context learning scheme to learn a universal error correction method for dynamical systems from given prompted sequences of coarse solutions. The model is pre-trained on a corpus of 600K ordinary differential equations (ODEs), and we conduct extensive experiments on both in-distribution and out-of-distribution tasks. FMint outperforms various baselines on large-scale simulation, and demonstrates its capability in generalization to unseen ODEs. Our approach achieves an accuracy improvement of 1 to 2 orders of magnitude over state-of-the-art dynamical system simulators, and delivers a 5X speedup compared to traditional numerical algorithms.
Abstract（参考訳）: 本稿では,様々な微分方程式の大規模シミュレーションを高精度に高速化するために,事前学習した基礎モデルである \textbf{FMint} (\textbf{F}oundation \textbf{M}odel を提案する。人間の設計したシミュレーションアルゴリズムは、工学的問題の基本的な物理を捉えるのに優れているが、精度と効率のトレードオフをバランスさせる必要があることが多い。ディープラーニングの手法は多くの科学分野に革新的な解決策を提供しているが、ドメイン固有の知識に乏しいことが多い。 FMintは、従来の人間設計アルゴリズムから得られた粗い解を条件付けすることでこれらのギャップを埋め、様々な微分方程式の洗練された解を得るように訓練した。大規模言語モデルのバックボーンに基づいて,与えられた粗い解列から動的システムの普遍的誤り訂正法を学習するために,文脈内学習方式を適用する。モデルは600Kの常微分方程式(ODE)のコーパス上で事前学習され、分布内および分布外の両方のタスクについて広範な実験を行う。 FMintは大規模シミュレーションにおいて様々なベースラインを上回り、未確認ODEへの一般化の能力を示す。提案手法は,最新の動的システムシミュレータよりも1～2桁の精度向上を実現し,従来の数値アルゴリズムと比較して5倍の高速化を実現している。

関連論文リスト

Foundational Inference Models for Dynamical Systems [5.549794481031468]
我々は,ODEによって決定されると仮定される時系列データの欠落を補うという古典的な問題に対して,新たな視点を提供する。本稿では,いくつかの(隠れた)ODEを満たすパラメトリック関数を通じて,ゼロショット時系列計算のための新しい教師付き学習フレームワークを提案する。我々は,1と同一(事前学習)の認識モデルが,63個の異なる時系列に対してゼロショット計算を行なえることを実証的に実証した。
論文参考訳（メタデータ） (2024-02-12T11:48:54Z)
CoDBench: A Critical Evaluation of Data-driven Models for Continuous Dynamical Systems [8.410938527671341]
微分方程式を解くための11の最先端データ駆動モデルからなる総合ベンチマークスイートであるCodBenchを紹介する。具体的には、Viz.、フィードフォワードニューラルネットワーク、ディープオペレータ回帰モデル、周波数ベースのニューラル演算子、トランスフォーマーアーキテクチャの4つの異なるカテゴリを評価する。我々は、学習におけるオペレータの能力、ゼロショット超解像、データ効率、ノイズに対する堅牢性、計算効率を評価する広範な実験を行う。
論文参考訳（メタデータ） (2023-10-02T21:27:54Z)
Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2023-06-28T12:02:27Z)
Differentiable Multi-Fidelity Fusion: Efficient Learning of Physics Simulations with Neural Architecture Search and Transfer Learning [1.0024450637989093]
ニューラル・アーキテクチャ・サーチ(NAS)を利用して、異なる問題に対する適切なモデル・アーキテクチャを自動的に探索する微分可能なmf(DMF)モデルを提案する。 DMFは、少数の高忠実度トレーニングサンプルで物理シミュレーションを効率よく学習することができ、最先端の手法よりも優れたマージンを持つ。
論文参考訳（メタデータ） (2023-06-12T07:18:13Z)
Learning Controllable Adaptive Simulation for Multi-resolution Physics [86.8993558124143]
完全深層学習に基づくサロゲートモデルとして,LAMP(Learning Controllable Adaptive Simulation for Multi- resolution Physics)を導入した。 LAMPは、前方進化を学習するためのグラフニューラルネットワーク(GNN)と、空間的洗練と粗大化のポリシーを学ぶためのGNNベースのアクター批判で構成されている。我々は,LAMPが最先端のディープラーニングサロゲートモデルより優れており,長期予測誤差を改善するために,適応的なトレードオフ計算が可能であることを実証した。
論文参考訳（メタデータ） (2023-05-01T23:20:27Z)
On Robust Numerical Solver for ODE via Self-Attention Mechanism [82.95493796476767]
我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
論文参考訳（メタデータ） (2023-02-05T01:39:21Z)
Real-to-Sim: Predicting Residual Errors of Robotic Systems with Sparse Data using a Learning-based Unscented Kalman Filter [65.93205328894608]
我々は,動的・シミュレータモデルと実ロボット間の残差を学習する。学習した残差誤差により、動的モデル、シミュレーション、および実際のハードウェア間の現実的ギャップをさらに埋めることができることを示す。
論文参考訳（メタデータ） (2022-09-07T15:15:12Z)
Using Data Assimilation to Train a Hybrid Forecast System that Combines Machine-Learning and Knowledge-Based Components [52.77024349608834]
利用可能なデータがノイズの多い部分測定の場合,カオスダイナミクスシステムのデータ支援予測の問題を検討する。動的システムの状態の部分的測定を用いることで、不完全な知識ベースモデルによる予測を改善するために機械学習モデルを訓練できることを示す。
論文参考訳（メタデータ） (2021-02-15T19:56:48Z)
Model-Based Deep Learning [155.063817656602]
信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
論文参考訳（メタデータ） (2020-12-15T16:29:49Z)
Fast Modeling and Understanding Fluid Dynamics Systems with Encoder-Decoder Networks [0.0]
本研究では,有限体積シミュレータを用いて,高精度な深層学習に基づくプロキシモデルを効率的に教えることができることを示す。従来のシミュレーションと比較して、提案したディープラーニングアプローチはより高速なフォワード計算を可能にする。深層学習モデルの重要物理パラメータに対する感度を定量化することにより、インバージョン問題を大きな加速で解くことができることを示す。
論文参考訳（メタデータ） (2020-06-09T17:14:08Z)
Modeling System Dynamics with Physics-Informed Neural Networks Based on Lagrangian Mechanics [3.214927790437842]
第一原則の手法は高いバイアスに悩まされるが、データ駆動モデリングは高いばらつきを持つ傾向がある。本稿では,2つのモデリング手法を組み合わせて上記の問題を解くハイブリッドモデルであるPINODEについて述べる。本研究の目的は,機械系のモデルベース制御とシステム同定である。
論文参考訳（メタデータ） (2020-05-29T15:10:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。