論文の概要: Towards a Foundation Model for Partial Differential Equations: Multi-Operator Learning and Extrapolation
- arxiv url: http://arxiv.org/abs/2404.12355v2
- Date: Fri, 19 Apr 2024 16:46:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-22 12:13:31.923566
- Title: Towards a Foundation Model for Partial Differential Equations: Multi-Operator Learning and Extrapolation
- Title（参考訳）: 部分微分方程式の基礎モデルに向けて:マルチオペレータ学習と外挿
- Authors: Jingmin Sun, Yuxuan Liu, Zecheng Zhang, Hayden Schaeffer,
- Abstract要約: 本稿では,PROSE-PDEという科学問題に対するマルチモーダル基礎モデルを提案する。
本モデルは,物理系の制御方程式を並列に学習しながら,システムの将来の状態を予測できるマルチオペレータ学習手法である。
- 参考スコア（独自算出の注目度）: 4.286691905364396
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Foundation models, such as large language models, have demonstrated success in addressing various language and image processing tasks. In this work, we introduce a multi-modal foundation model for scientific problems, named PROSE-PDE. Our model, designed for bi-modality to bi-modality learning, is a multi-operator learning approach which can predict future states of spatiotemporal systems while concurrently learning the underlying governing equations of the physical system. Specifically, we focus on multi-operator learning by training distinct one-dimensional time-dependent nonlinear constant coefficient partial differential equations, with potential applications to many physical applications including physics, geology, and biology. More importantly, we provide three extrapolation studies to demonstrate that PROSE-PDE can generalize physical features through the robust training of multiple operators and that the proposed model can extrapolate to predict PDE solutions whose models or data were unseen during the training. Furthermore, we show through systematic numerical experiments that the utilization of the symbolic modality in our model effectively resolves the well-posedness problems with training multiple operators and thus enhances our model's predictive capabilities.
- Abstract（参考訳）: 大規模言語モデルのような基礎モデルは、様々な言語や画像処理タスクに対処することに成功した。
本稿では,PROSE-PDEという科学問題に対するマルチモーダル基礎モデルを提案する。
本モデルは,2モーダリティから2モーダリティ学習へ向けて設計され,物理系の基礎となる支配方程式を同時に学習しながら,時空間システムの将来の状態を予測できる多機能学習手法である。
具体的には,一次元の時間依存非線形定数偏微分方程式を学習し,物理・地質・生物学など多くの物理応用への応用の可能性について検討する。
さらに,PROSE-PDEが複数の演算子の頑健な訓練によって物理的特徴を一般化できることを示すために,3つの外挿実験を行い,提案モデルはトレーニング中にモデルやデータが見えないPDEソリューションを予測するために外挿できることを示した。
さらに,本モデルにおける記号的モダリティの活用は,複数の演算子を訓練する際の適合性の問題を効果的に解決し,モデルの予測能力を向上することを示す。
関連論文リスト
- PROSE-FD: A Multimodal PDE Foundation Model for Learning Multiple Operators for Forecasting Fluid Dynamics [3.770825791788951]
不均一な2次元物理系の同時予測のためのゼロショット多モードPDE基礎モデルを提案する。
これらの系は浅い水方程式と、圧縮不可能で圧縮不能な流れを持つナビエ・ストークス方程式を含む。
論文 参考訳（メタデータ） (2024-09-15T18:20:15Z) - HEMM: Holistic Evaluation of Multimodal Foundation Models [91.60364024897653]
マルチモーダル・ファンデーション・モデルは、画像、ビデオ、オーディオ、その他の知覚モダリティと共にテキストをホリスティックに処理することができる。
モデリング決定、タスク、ドメインの範囲を考えると、マルチモーダル基盤モデルの進歩を特徴づけ、研究することは困難である。
論文 参考訳（メタデータ） (2024-07-03T18:00:48Z) - Diffusion models as probabilistic neural operators for recovering unobserved states of dynamical systems [49.2319247825857]
拡散に基づく生成モデルは、ニューラル演算子に好適な多くの特性を示す。
本稿では,複数のタスクに適応可能な単一モデルを,トレーニング中のタスク間で交互に学習することを提案する。
論文 参考訳（メタデータ） (2024-05-11T21:23:55Z) - CoCoGen: Physically-Consistent and Conditioned Score-based Generative Models for Forward and Inverse Problems [1.0923877073891446]
この研究は生成モデルの到達範囲を物理的問題領域に拡張する。
基礎となるPDEとの整合性を促進するための効率的なアプローチを提案する。
各種物理課題におけるスコアベース生成モデルの可能性と汎用性を示す。
論文 参考訳（メタデータ） (2023-12-16T19:56:10Z) - Discovering Interpretable Physical Models using Symbolic Regression and
Discrete Exterior Calculus [55.2480439325792]
本稿では,記号回帰(SR)と離散指数計算(DEC)を組み合わせて物理モデルの自動発見を行うフレームワークを提案する。
DECは、SRの物理問題への最先端の応用を越えている、場の理論の離散的な類似に対して、ビルディングブロックを提供する。
実験データから連続体物理の3つのモデルを再発見し,本手法の有効性を実証する。
論文 参考訳（メタデータ） (2023-10-10T13:23:05Z) - Learning PDE Solution Operator for Continuous Modeling of Time-Series [1.39661494747879]
この研究は、動的モデリング能力を改善する偏微分方程式(PDE)に基づくフレームワークを提案する。
時間的離散化の反復的操作や特定のグリッドを必要とせずに連続的に処理できるニューラル演算子を提案する。
我々のフレームワークは、現実世界のアプリケーションに容易に適用可能な、ニューラルネットワークの継続的な表現のための新しい方法を開く。
論文 参考訳（メタデータ） (2023-02-02T03:47:52Z) - Capturing Actionable Dynamics with Structured Latent Ordinary
Differential Equations [68.62843292346813]
本稿では,その潜在表現内でのシステム入力の変動をキャプチャする構造付き潜在ODEモデルを提案する。
静的変数仕様に基づいて,本モデルではシステムへの入力毎の変動要因を学習し,潜在空間におけるシステム入力の影響を分離する。
論文 参考訳（メタデータ） (2022-02-25T20:00:56Z) - Mixed Effects Neural ODE: A Variational Approximation for Analyzing the
Dynamics of Panel Data [50.23363975709122]
パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。
我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。
次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
論文 参考訳（メタデータ） (2022-02-18T22:41:51Z) - Using scientific machine learning for experimental bifurcation analysis
of dynamic systems [2.204918347869259]
本研究は、極限サイクルを持つ物理非線形力学系に対する普遍微分方程式(UDE)モデルの訓練に焦点をあてる。
数値シミュレーションによりトレーニングデータを生成する例を考察するとともに,提案するモデリング概念を物理実験に適用する。
ニューラルネットワークとガウス過程の両方を、力学モデルと共に普遍近似器として使用し、UDEモデリングアプローチの正確性と堅牢性を批判的に評価する。
論文 参考訳（メタデータ） (2021-10-22T15:43:03Z) - Approximate Latent Force Model Inference [1.3927943269211591]
潜在力モデルは、動的システムにおける推論のための純粋にデータ駆動ツールの解釈可能な代替手段を提供する。
ニューラルネットワークのアプローチは、モデルを数千のインスタンスにスケールし、高速で分散的な計算を可能にします。
論文 参考訳（メタデータ） (2021-09-24T09:55:00Z) - Model-agnostic multi-objective approach for the evolutionary discovery
of mathematical models [55.41644538483948]
現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。
合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
論文 参考訳（メタデータ） (2021-07-07T11:17:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。