論文の概要: FMint: Bridging Human Designed and Data Pretrained Models for Differential Equation Foundation Model
- arxiv url: http://arxiv.org/abs/2404.14688v1
- Date: Tue, 23 Apr 2024 02:36:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-24 15:31:26.751668
- Title: FMint: Bridging Human Designed and Data Pretrained Models for Differential Equation Foundation Model
- Title(参考訳): FMint:微分方程式基礎モデルのための人間設計とデータ事前学習モデル
- Authors: Zezheng Song, Jiaxin Yuan, Haizhao Yang,
- Abstract要約: textbfFMint(初期化に基づく創始モデル)は、人間の設計したアルゴリズムの精度とデータ駆動方式の適応性を相乗化するための生成前訓練モデルである。
50,000の力学系の多種多様なコーパスで事前訓練され、現実世界の幅広い応用にまたがる例外的な一般化を示している。
- 参考スコア(独自算出の注目度): 5.748690310135373
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Human-designed algorithms have long been fundamental in solving a variety of scientific and engineering challenges. Recently, data-driven deep learning methods have also risen to prominence, offering innovative solutions across numerous scientific fields. While traditional algorithms excel in capturing the core aspects of specific problems, they often lack the flexibility needed for varying problem conditions due to the absence of specific data. Conversely, while data-driven approaches utilize vast datasets, they frequently fall short in domain-specific knowledge. To bridge these gaps, we introduce \textbf{FMint} (Foundation Model based on Initialization), a generative pre-trained model that synergizes the precision of human-designed algorithms with the adaptability of data-driven methods. This model is specifically engineered for high-accuracy simulation of dynamical systems. Starting from initial trajectories provided by conventional methods, FMint quickly delivers highly accurate solutions. It incorporates in-context learning and has been pre-trained on a diverse corpus of 500,000 dynamical systems, showcasing exceptional generalization across a broad spectrum of real-world applications. By effectively combining algorithmic rigor with data-driven flexibility, FMint sets the stage for the next generation of scientific foundation models, tackling complex problems with both efficiency and high accuracy.
- Abstract(参考訳): 人類が設計したアルゴリズムは、様々な科学的・工学的な課題を解決するのに長い間基礎的だった。
近年、データ駆動型深層学習法が注目され、多くの科学分野に革新的なソリューションを提供している。
従来のアルゴリズムは特定の問題の中核的な側面を捉えるのに優れているが、特定のデータがないため、様々な問題条件に必要な柔軟性を欠いていることが多い。
逆に、データ駆動アプローチは広大なデータセットを使用するが、ドメイン固有の知識に乏しいことが多い。
これらのギャップを埋めるために、データ駆動手法の適応性によって人間設計アルゴリズムの精度を相乗化する生成前訓練モデルである「textbf{FMint}」(初期化に基づく創始モデル)を導入する。
このモデルは、力学系の高精度なシミュレーションのために特別に設計されている。
FMintは従来の手法で提供された最初の軌道から始まり、高速に高精度な解を提供する。
文脈内学習を取り入れ、50,000の力学系の多種多様なコーパスで事前訓練され、現実世界の幅広い応用にまたがる例外的な一般化を示している。
アルゴリズムの厳密さとデータ駆動の柔軟性を効果的に組み合わせることで、FMintは次世代の科学基盤モデルのステージを設定し、効率性と高精度の両方で複雑な問題に取り組む。
関連論文リスト
- CoDBench: A Critical Evaluation of Data-driven Models for Continuous
Dynamical Systems [8.410938527671341]
微分方程式を解くための11の最先端データ駆動モデルからなる総合ベンチマークスイートであるCodBenchを紹介する。
具体的には、Viz.、フィードフォワードニューラルネットワーク、ディープオペレータ回帰モデル、周波数ベースのニューラル演算子、トランスフォーマーアーキテクチャの4つの異なるカテゴリを評価する。
我々は、学習におけるオペレータの能力、ゼロショット超解像、データ効率、ノイズに対する堅牢性、計算効率を評価する広範な実験を行う。
論文 参考訳(メタデータ) (2023-10-02T21:27:54Z) - Differentiable Multi-Fidelity Fusion: Efficient Learning of Physics
Simulations with Neural Architecture Search and Transfer Learning [1.0024450637989093]
ニューラル・アーキテクチャ・サーチ(NAS)を利用して、異なる問題に対する適切なモデル・アーキテクチャを自動的に探索する微分可能なmf(DMF)モデルを提案する。
DMFは、少数の高忠実度トレーニングサンプルで物理シミュレーションを効率よく学習することができ、最先端の手法よりも優れたマージンを持つ。
論文 参考訳(メタデータ) (2023-06-12T07:18:13Z) - On Robust Numerical Solver for ODE via Self-Attention Mechanism [82.95493796476767]
我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。
まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
論文 参考訳(メタデータ) (2023-02-05T01:39:21Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳(メタデータ) (2022-06-15T19:10:35Z) - Model-Based Deep Learning: On the Intersection of Deep Learning and
Optimization [101.32332941117271]
決定アルゴリズムは様々なアプリケーションで使われている。
数理モデルに頼らずにデータから調整された高度パラメトリックアーキテクチャを使用するディープラーニングアプローチが、ますます人気が高まっている。
モデルに基づく最適化とデータ中心のディープラーニングは、しばしば異なる規律とみなされる。
論文 参考訳(メタデータ) (2022-05-05T13:40:08Z) - Ultrasound Signal Processing: From Models to Deep Learning [64.56774869055826]
医用超音波画像は、信頼性と解釈可能な画像再構成を提供するために、高品質な信号処理に大きく依存している。
データ駆動方式で最適化されたディープラーニングベースの手法が人気を集めている。
比較的新しいパラダイムは、データ駆動型ディープラーニングの活用とドメイン知識の活用という2つのパワーを組み合わせたものだ。
論文 参考訳(メタデータ) (2022-04-09T13:04:36Z) - Model-Based Deep Learning [155.063817656602]
信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。
ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。
私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
論文 参考訳(メタデータ) (2020-12-15T16:29:49Z) - Optimization for Supervised Machine Learning: Randomized Algorithms for
Data and Parameters [10.279748604797911]
機械学習とデータサイエンスの主な問題は、最適化問題として日常的にモデル化され、最適化アルゴリズムによって解決される。
データ量の増加と、これらの不条件最適化タスクを定式化するために使用される統計モデルのサイズと複雑さにより、これらの課題に対処できる新しい効率的なアルゴリズムが必要である。
この論文では,これらの課題をそれぞれ異なる方法で処理する。ビッグデータ問題に効率的に対処するために,各イテレーションでトレーニングデータの小さなランダムサブセットのみを検査する新しい手法を開発する。
大きなモデル問題に対処するために、イテレーション毎に更新されるメソッドを開発します。
論文 参考訳(メタデータ) (2020-08-26T21:15:18Z) - Modeling System Dynamics with Physics-Informed Neural Networks Based on
Lagrangian Mechanics [3.214927790437842]
第一原則の手法は高いバイアスに悩まされるが、データ駆動モデリングは高いばらつきを持つ傾向がある。
本稿では,2つのモデリング手法を組み合わせて上記の問題を解くハイブリッドモデルであるPINODEについて述べる。
本研究の目的は,機械系のモデルベース制御とシステム同定である。
論文 参考訳(メタデータ) (2020-05-29T15:10:43Z) - Model-Based Robust Deep Learning: Generalizing to Natural,
Out-of-Distribution Data [104.69689574851724]
本稿では,摂動に基づく逆方向の強靭性からモデルに基づく頑健な深層学習へのパラダイムシフトを提案する。
我々の目標は、深層ニューラルネットワークを訓練し、データの自然な変動に対して堅牢にするための一般的なトレーニングアルゴリズムを提供することです。
論文 参考訳(メタデータ) (2020-05-20T13:46:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。