Fugu-MT 論文翻訳(概要): FMint: Bridging Human Designed and Data Pretrained Models for Differential Equation Foundation Model

論文の概要: FMint: Bridging Human Designed and Data Pretrained Models for Differential Equation Foundation Model

arxiv url: http://arxiv.org/abs/2404.14688v2
Date: Wed, 22 May 2024 16:43:48 GMT
ステータス: 処理完了
システム内更新日: 2024-05-25 05:30:39.953296
Title: FMint: Bridging Human Designed and Data Pretrained Models for Differential Equation Foundation Model
Title（参考訳）: FMint:微分方程式基礎モデルのための人間設計とデータ事前学習モデル
Authors: Zezheng Song, Jiaxin Yuan, Haizhao Yang,
Abstract要約: textbfFMint (textbfFoundation textbfModel based on textbfInitextbftialization)を提案する。誤差補正によって様々な微分方程式の大規模シミュレーションを高精度に高速化するように設計されている。
参考スコア（独自算出の注目度）: 5.748690310135373
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we propose a pre-trained foundation model \textbf{FMint} (\textbf{F}oundation \textbf{M}odel based on \textbf{In}i\textbf{t}ialization), designed to speed up large-scale simulations of various differential equations with high accuracy via error correction. Human-designed simulation algorithms excel at capturing the fundamental physics of engineering problems, but often need to balance the trade-off between accuracy and efficiency. While deep learning methods offer innovative solutions across numerous scientific fields, they frequently fall short in domain-specific knowledge. FMint bridges these gaps through conditioning on the initial coarse solutions obtained from conventional human-designed algorithms, and trained to obtain refined solutions for various differential equations. Based on the backbone of large language models, we adapt the in-context learning scheme to learn a universal error correction method for dynamical systems from given prompted sequences of coarse solutions. The model is pre-trained on a corpus of 600K ordinary differential equations (ODEs), and we conduct extensive experiments on both in-distribution and out-of-distribution tasks. FMint outperforms various baselines on large-scale simulation, and demonstrates its capability in generalization to unseen ODEs. Our approach achieves an accuracy improvement of 1 to 2 orders of magnitude over state-of-the-art dynamical system simulators, and delivers a 5X speedup compared to traditional numerical algorithms.
Abstract（参考訳）: 本稿では,様々な微分方程式の大規模シミュレーションを高精度に高速化するために,事前学習した基礎モデルである \textbf{FMint} (\textbf{F}oundation \textbf{M}odel を提案する。人間の設計したシミュレーションアルゴリズムは、工学的問題の基本的な物理を捉えるのに優れているが、精度と効率のトレードオフをバランスさせる必要があることが多い。ディープラーニングの手法は多くの科学分野に革新的な解決策を提供しているが、ドメイン固有の知識に乏しいことが多い。 FMintは、従来の人間設計アルゴリズムから得られた粗い解を条件付けすることでこれらのギャップを埋め、様々な微分方程式の洗練された解を得るように訓練した。大規模言語モデルのバックボーンに基づいて,与えられた粗い解列から動的システムの普遍的誤り訂正法を学習するために,文脈内学習方式を適用する。モデルは600Kの常微分方程式(ODE)のコーパス上で事前学習され、分布内および分布外の両方のタスクについて広範な実験を行う。 FMintは大規模シミュレーションにおいて様々なベースラインを上回り、未確認ODEへの一般化の能力を示す。提案手法は,最新の動的システムシミュレータよりも1～2桁の精度向上を実現し,従来の数値アルゴリズムと比較して5倍の高速化を実現している。

関連論文リスト

Transformers as Neural Operators for Solutions of Differential Equations with Finite Regularity [1.6874375111244329]
まず、変換器が演算子学習モデルとして普遍近似特性を持つ理論基盤を確立する。特に, Izhikevich ニューロンモデル, 分数次 Leaky Integrate-and-Fire (LIFLIF) モデル, 1次元方程式 Euler の3つの例を考える。
論文参考訳（メタデータ） (2024-05-29T15:10:24Z)
Differentiable Turbulence II [0.0]
そこで我々は,Navier-Stokes方程式を解くために,ディープラーニングモデルを汎用有限要素数値スキームに統合するためのフレームワークを開発した。学習したクロージャは、より微細なグリッド上の従来の大規模渦シミュレーションに匹敵する精度で10倍のスピードアップを達成できることを示す。
論文参考訳（メタデータ） (2023-07-25T14:27:49Z)
Meta-Learning for Airflow Simulations with Graph Neural Networks [3.52359746858894]
本稿では,OoD(Out-of-distribution)サンプルにおける学習モデルの性能向上のためのメタラーニング手法を提案する。具体的には,各気翼上のCFD内の気流シミュレーションをメタラーニング問題として設定し,一つの気翼形状で定義された各例を個別のタスクとして扱う。学習モデルのOoD一般化性能向上のための提案手法の有効性を実験的に検証した。
論文参考訳（メタデータ） (2023-06-18T19:25:13Z)
Learning Controllable Adaptive Simulation for Multi-resolution Physics [86.8993558124143]
完全深層学習に基づくサロゲートモデルとして,LAMP(Learning Controllable Adaptive Simulation for Multi- resolution Physics)を導入した。 LAMPは、前方進化を学習するためのグラフニューラルネットワーク(GNN)と、空間的洗練と粗大化のポリシーを学ぶためのGNNベースのアクター批判で構成されている。我々は,LAMPが最先端のディープラーニングサロゲートモデルより優れており,長期予測誤差を改善するために,適応的なトレードオフ計算が可能であることを実証した。
論文参考訳（メタデータ） (2023-05-01T23:20:27Z)
On Robust Numerical Solver for ODE via Self-Attention Mechanism [82.95493796476767]
我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
論文参考訳（メタデータ） (2023-02-05T01:39:21Z)
Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文参考訳（メタデータ） (2022-12-02T05:07:50Z)
Physics Informed RNN-DCT Networks for Time-Dependent Partial Differential Equations [62.81701992551728]
時間依存偏微分方程式を解くための物理インフォームド・フレームワークを提案する。我々のモデルは離散コサイン変換を用いて空間的および反復的なニューラルネットワークを符号化する。ナヴィエ・ストークス方程式に対するテイラー・グリーン渦解の実験結果を示す。
論文参考訳（メタデータ） (2022-02-24T20:46:52Z)
Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。コア最適化問題の実用的なパラメトリゼーションを提供する。
論文参考訳（メタデータ） (2021-07-08T18:01:02Z)
Deep learning approaches to surrogates for solving the diffusion equation for mechanistic real-world simulations [0.0]
医学的、生物学的、物理的、工学的なモデルでは、偏微分方程式(PDE)の数値解は、過激にシミュレーションを遅くすることができる。このような複雑な数値問題に対する近似解を提供するために訓練されたニューラルネットワークである機械学習のサロゲートは、直接計算に比べて数桁のスピードアップを提供することが多い。畳み込みニューラルネットワークを用いて拡散方程式の定常解を近似する。
論文参考訳（メタデータ） (2021-02-10T16:15:17Z)
Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文参考訳（メタデータ） (2020-05-05T18:08:23Z)
Physics Informed Deep Learning for Transport in Porous Media. Buckley Leverett Problem [0.0]
貯水池モデリングのためのハイブリッド物理に基づく機械学習手法を提案する。この手法は、物理に基づく正則化を伴う一連の深い敵対的ニューラルネットワークアーキテクチャに依存している。提案手法は,物理知識を機械学習アルゴリズムに応用するためのシンプルでエレガントな手法である。
論文参考訳（メタデータ） (2020-01-15T08:20:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。