論文の概要: A Multimodal PDE Foundation Model for Prediction and Scientific Text Descriptions

• arxiv url: http://arxiv.org/abs/2502.06026v1
• Date: Sun, 09 Feb 2025 20:50:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:29:13.840160
• Title: A Multimodal PDE Foundation Model for Prediction and Scientific Text Descriptions
• Title（参考訳）: 予測・科学テキスト記述のための多モードPDE基礎モデル
• Authors: Elisa Negrini, Yuxuan Liu, Liu Yang, Stanley J. Osher, Hayden Schaeffer,
• Abstract要約: PDE基礎モデルは、ニューラルネットワークを使用して、複数の微分方程式への近似を同時に訓練する。 本稿では,変換器をベースとしたアーキテクチャを応用し,解演算子を近似した新しいマルチモーダル深層学習手法を提案する。 我々のアプローチは解釈可能な科学的テキスト記述を生成し、基礎となる力学と解の性質について深い洞察を提供する。
• 参考スコア（独自算出の注目度）: 13.48986376824454
• License:
• Abstract: Neural networks are one tool for approximating non-linear differential equations used in scientific computing tasks such as surrogate modeling, real-time predictions, and optimal control. PDE foundation models utilize neural networks to train approximations to multiple differential equations simultaneously and are thus a general purpose solver that can be adapted to downstream tasks. Current PDE foundation models focus on either learning general solution operators and/or the governing system of equations, and thus only handle numerical or symbolic modalities. However, real-world applications may require more flexible data modalities, e.g. text analysis or descriptive outputs. To address this gap, we propose a novel multimodal deep learning approach that leverages a transformer-based architecture to approximate solution operators for a wide variety of ODEs and PDEs. Our method integrates numerical inputs, such as equation parameters and initial conditions, with text descriptions of physical processes or system dynamics. This enables our model to handle settings where symbolic representations may be incomplete or unavailable. In addition to providing accurate numerical predictions, our approach generates interpretable scientific text descriptions, offering deeper insights into the underlying dynamics and solution properties. The numerical experiments show that our model provides accurate solutions for in-distribution data (with average relative error less than 3.3%) and out-of-distribution data (average relative error less than 7.8%) together with precise text descriptions (with correct descriptions generated 100% of times). In certain tests, the model is also shown to be capable of extrapolating solutions in time.
• Abstract（参考訳）: ニューラルネットワークは、サロゲートモデリング、リアルタイム予測、最適制御などの科学計算タスクで使用される非線形微分方程式を近似するためのツールである。 PDE基礎モデルは、ニューラルネットワークを用いて複数の微分方程式への近似を同時に訓練し、従って下流タスクに適応できる汎用的な解法である。 現在のPDE基礎モデルは、一般解演算子や方程式の制御系を学習することに集中しており、したがって数値的あるいは記号的モダリティのみを扱う。 しかし、現実世界のアプリケーションは、例えばテキスト分析や記述的な出力など、より柔軟なデータモダリティを必要とするかもしれない。 このギャップに対処するために,変圧器に基づくアーキテクチャを活用し,様々なODEやPDEの解演算子を近似する,新しいマルチモーダル深層学習手法を提案する。 本手法は,方程式パラメータや初期条件などの数値入力を物理過程やシステム力学のテキスト記述と統合する。 これにより、シンボル表現が不完全な場合や利用できない場合の設定をモデルで処理できます。 正確な数値予測に加えて,本手法は解釈可能な科学的テキスト記述を生成し,基礎となる力学と解の性質について深い知見を提供する。 数値実験により,本モデルは, 平均相対誤差が3.3%未満の分布データと平均相対誤差が7.8%未満の分布データに対して, 正確なテキスト記述(100%の精度記述を含む)とともに, 正確な分布データを提供することを示した。 ある種のテストでは、モデルが解を時間内に外挿できることも示されている。

関連論文リスト

• Diffeomorphic Latent Neural Operators for Data-Efficient Learning of Solutions to Partial Differential Equations [5.308435208832696]
  計算された解演算子から偏微分方程式系(PDE)への近似は、科学や工学の様々な分野において必要である。 十分なデータのサンプル化を必要とせず,複数の領域にまたがって一般化可能なPDEソリューション演算子を学習するために,少数の真理解場に潜伏したニューラル演算子を訓練することができることを提案する。
  論文  参考訳（メタデータ） (2024-11-27T03:16:00Z)
• Text2PDE: Latent Diffusion Models for Accessible Physics Simulation [7.16525545814044]
  物理シミュレーションに潜時拡散モデルを適用する方法をいくつか紹介する。 提案手法は、現在のニューラルPDEソルバと、精度と効率の両面で競合することを示す。 スケーラブルで正確で使用可能な物理シミュレータを導入することで、ニューラルPDEソルバを実用化に近づけたいと思っています。
  論文  参考訳（メタデータ） (2024-10-02T01:09:47Z)
• Self-Supervised Learning with Lie Symmetries for Partial Differential Equations [25.584036829191902]
  我々は、自己教師付き学習(SSL)のための共同埋め込み手法を実装することにより、PDEの汎用表現を学習する。 我々の表現は、PDEの係数の回帰などの不変タスクに対するベースラインアプローチよりも優れており、また、ニューラルソルバのタイムステッピング性能も向上している。 提案手法がPDEの汎用基盤モデルの開発に有効であることを期待する。
  論文  参考訳（メタデータ） (2023-07-11T16:52:22Z)
• Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
  ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。 モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。 ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-28T12:02:27Z)
• MAgNet: Mesh Agnostic Neural PDE Solver [68.8204255655161]
  気候予測は、流体シミュレーションにおける全ての乱流スケールを解決するために、微細な時間分解能を必要とする。 現在の数値モデル解法 PDEs on grids that too coarse (3km～200km on each side) 本研究では,空間的位置問合せが与えられたPDEの空間的連続解を予測する新しいアーキテクチャを設計する。
  論文  参考訳（メタデータ） (2022-10-11T14:52:20Z)
• Multi-scale Physical Representations for Approximating PDE Solutions with Graph Neural Operators [14.466945570499183]
  EmphMessage Passing Graph Neural Networks (MPGNN) を近似した積分カーネル演算子を用いた3つのマルチレゾリューションスキーマについて検討する。 本研究では, 定常かつ非定常なPDEを考慮したMPGNN実験を行った。
  論文  参考訳（メタデータ） (2022-06-29T14:42:03Z)
• Mixed Effects Neural ODE: A Variational Approximation for Analyzing the Dynamics of Panel Data [50.23363975709122]
  パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。 我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。 次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-02-18T22:41:51Z)
• Message Passing Neural PDE Solvers [60.77761603258397]
  我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。 本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。 本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
  論文  参考訳（メタデータ） (2022-02-07T17:47:46Z)
• Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
  本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。 解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2021-03-15T17:26:34Z)
• Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
  偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。 最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。 偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。 本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
  論文  参考訳（メタデータ） (2020-09-08T13:26:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。