論文の概要: Paving the way for scientific foundation models: enhancing generalization and robustness in PDEs with constraint-aware pre-training

• arxiv url: http://arxiv.org/abs/2503.19081v1
• Date: Mon, 24 Mar 2025 19:12:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:54:35.875152
• Title: Paving the way for scientific foundation models: enhancing generalization and robustness in PDEs with constraint-aware pre-training
• Title（参考訳）: 科学基盤モデルへの道を開く:制約を考慮した事前学習によるPDEの一般化と堅牢性の向上
• Authors: Amin Totounferoush, Serge Kotchourko, Michael W. Mahoney, Steffen Staab,
• Abstract要約: 科学基盤モデル(SciFM)は、様々な領域にまたがる伝達可能な表現を学習するための有望なツールとして登場しつつある。 本稿では,PDE残差を単独の学習信号として,あるいはデータ損失と組み合わせて事前学習に組み込むことにより,限定的あるいは実用的でないトレーニングデータに補償することを提案する。 以上の結果から, PDE制約による事前学習は, 解データのみを訓練したモデルよりも, 一般化を著しく向上させることが示された。
• 参考スコア（独自算出の注目度）: 49.8035317670223
• License:
• Abstract: Partial differential equations (PDEs) govern a wide range of physical systems, but solving them efficiently remains a major challenge. The idea of a scientific foundation model (SciFM) is emerging as a promising tool for learning transferable representations across diverse domains. However, SciFMs require large amounts of solution data, which may be scarce or computationally expensive to generate. To maximize generalization while reducing data dependence, we propose incorporating PDE residuals into pre-training either as the sole learning signal or in combination with data loss to compensate for limited or infeasible training data. We evaluate this constraint-aware pre-training across three key benchmarks: (i) generalization to new physics, where material properties, e.g., the diffusion coefficient, is shifted with respect to the training distribution; (ii) generalization to entirely new PDEs, requiring adaptation to different operators; and (iii) robustness against noisy fine-tuning data, ensuring stability in real-world applications. Our results show that pre-training with PDE constraints significantly enhances generalization, outperforming models trained solely on solution data across all benchmarks. These findings prove the effectiveness of our proposed constraint-aware pre-training as a crucial component for SciFMs, providing a scalable approach to data-efficient, generalizable PDE solvers.
• Abstract（参考訳）: 偏微分方程式(PDE)は、幅広い物理系を支配しているが、それらを効率的に解くことは大きな課題である。 科学基盤モデル(SciFM)のアイデアは、様々な領域にまたがる伝達可能な表現を学習するための有望なツールとして浮上している。 しかし、SciFMは大量の解データを必要とするため、生成には少ないか計算コストがかかる。 データ依存を減らしつつ、一般化を最大化するために、PDE残差を単独の学習信号として、あるいはデータ損失と組み合わせて事前学習に組み込むことにより、限られた訓練データや不可能な訓練データを補うことを提案する。 この制約対応事前トレーニングを3つの主要なベンチマークで評価する。 i) 物質特性,例えば拡散係数をトレーニング分布に応じてシフトする新しい物理への一般化 (ii)全く新しいPDEへの一般化、異なる演算子への適応、及び 三 ノイズの多い微調整データに対する堅牢性、現実世界のアプリケーションの安定性を確保すること。 以上の結果から,PDE制約による事前学習が一般化を著しく促進し,全てのベンチマークにおいて,ソリューションデータのみに基づいて訓練されたモデルよりも優れた結果が得られた。 これらの結果から,データ効率,一般化可能なPDEソルバに対するスケーラブルなアプローチを提供するSciFMの重要コンポーネントとして,制約対応事前学習の有効性が証明された。

関連論文リスト

• On conditional diffusion models for PDE simulations [53.01911265639582]
  スパース観測の予測と同化のためのスコアベース拡散モデルについて検討した。 本稿では,予測性能を大幅に向上させる自動回帰サンプリング手法を提案する。 また,条件付きスコアベースモデルに対する新たなトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-21T18:31:04Z)
• MaD-Scientist: AI-based Scientist solving Convection-Diffusion-Reaction Equations Using Massive PINN-Based Prior Data [22.262191225577244]
  科学的基礎モデル(SFM)にも同様のアプローチが適用できるかどうかを考察する。 数学辞書の任意の線形結合によって構築された偏微分方程式(PDE)の解の形で、低コストな物理情報ニューラルネットワーク(PINN)に基づく近似された事前データを収集する。 本研究では,1次元対流拡散反応方程式に関する実験的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-10-09T00:52:00Z)
• Adversarial Learning for Neural PDE Solvers with Sparse Data [4.226449585713182]
  本研究では,ロバストトレーニングのためのシステムモデル拡張(Systematic Model Augmentation for Robust Training)という,ニューラルネットワークPDEの普遍的学習戦略を紹介する。 モデルの弱点に挑戦し改善することに集中することにより、SMARTはデータスカース条件下でのトレーニング中の一般化エラーを低減する。
  論文  参考訳（メタデータ） (2024-09-04T04:18:25Z)
• DPOT: Auto-Regressive Denoising Operator Transformer for Large-Scale PDE Pre-Training [87.90342423839876]
  我々は,PDEデータに対するより安定的で効率的な事前学習を可能にする,自己回帰型事前学習戦略を提案する。 我々は,100k以上の軌道を持つ10以上のPDEデータセットに対して,最大0.5BパラメータでPDEファンデーションモデルをトレーニングする。
  論文  参考訳（メタデータ） (2024-03-06T08:38:34Z)
• Data-Efficient Operator Learning via Unsupervised Pretraining and In-Context Learning [45.78096783448304]
  本研究では,PDE演算子学習のための教師なし事前学習を設計する。 シミュレーションソリューションを使わずにラベルなしのPDEデータをマイニングし、物理に着想を得た再構成ベースのプロキシタスクでニューラルネットワークを事前訓練する。 提案手法は,データ効率が高く,より一般化可能であり,従来の視覚予測モデルよりも優れる。
  論文  参考訳（メタデータ） (2024-02-24T06:27:33Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Self-Supervised Learning with Lie Symmetries for Partial Differential Equations [25.584036829191902]
  我々は、自己教師付き学習(SSL)のための共同埋め込み手法を実装することにより、PDEの汎用表現を学習する。 我々の表現は、PDEの係数の回帰などの不変タスクに対するベースラインアプローチよりも優れており、また、ニューラルソルバのタイムステッピング性能も向上している。 提案手法がPDEの汎用基盤モデルの開発に有効であることを期待する。
  論文  参考訳（メタデータ） (2023-07-11T16:52:22Z)
• Elliptic PDE learning is provably data-efficient [7.097838977449412]
  PDE学習は物理と機械学習を組み合わせて未知の物理システムを実験データから復元する。 我々の研究は、PDE学習に必要な入出力トレーニングペアの数に関する理論的保証を提供する。 具体的には、ランダム化された数値線形代数とPDE理論を利用して、入力出力データから3次元楕円型PDEの解演算子を復元する証明可能なデータ効率のアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2023-02-24T20:51:23Z)
• Physics-Informed Neural Operator for Learning Partial Differential Equations [55.406540167010014]
  PINOは、演算子を学ぶために異なる解像度でデータとPDE制約を組み込んだ最初のハイブリッドアプローチである。 結果の PINO モデルは、多くの人気のある PDE ファミリの基底構造解演算子を正確に近似することができる。
  論文  参考訳（メタデータ） (2021-11-06T03:41:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。