論文の概要: HotPOT: Operator Transformer with Heterogeneous Physics Experts for Large-Scale PDE Pre-training

• arxiv url: http://arxiv.org/abs/2610.38218v1
• Date: Wed, 28 Oct 2026 03:17:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.367148
• Title: HotPOT: Operator Transformer with Heterogeneous Physics Experts for Large-Scale PDE Pre-training
• Title（参考訳）: HotPOT:大規模PDE事前トレーニングのための不均一な物理専門家による演算子変換器
• Abstract要約: 大規模PDE事前学習のための不均一な物理専門家を持つ演算子変換器HotPOTを紹介する。 HotPOTは共有エンコーダを使用して、PDE間で共通する情報をキャプチャする一方、PDEファミリーは、学習可能な予測器と固定された数値更新とを組み合わせた、ニューラル数値の専門家を使用する。 実験により、HotPOTは、微調整前後の24のマッチングスケール比較において、MoE-POTよりも優れていた。
• 参考スコア（独自算出の注目度）: 78.65523288530815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale PDE pre-training trains a single model on the data from multiple partial differential equations (PDEs). However, adding heterogeneous PDEs with different governing equations, physical variables, and variable interactions does not always improve predictive performance across tasks. Existing PDE mixture-of-experts models mitigate cross-task interference through learned routing, but typically use homogeneous expert architectures, making it difficult to directly reflect differences in state evolution across equations. We introduce HotPOT, an operator transformer with heterogeneous physics experts for large-scale PDE pre-training. HotPOT uses a shared encoder to capture information common across PDEs, while each PDE family uses a neural-numerical expert that pairs a learnable predictor with a fixed numerical update containing no trainable parameters. Each predictor outputs the quantities required by its paired numerical update, which then computes the next state. This design allows different PDEs to share a common encoder while retaining their own learnable predictors and numerical updates. Experiments across five PDE families and six settings show that HotPOT outperforms MoE-POT in all 24 matched-scale comparisons before and after fine-tuning, reducing rollout error by 50.7% on average. Notably, the 17M model also surpasses substantially larger MoE-POT models, and the performance gains extend to zero-shot prediction under unseen physical conditions. Code is available at https://github.com/cruiseresearchgroup/HotPOT-code.
• Abstract（参考訳）: 大規模PDE事前訓練は、複数の偏微分方程式(PDE)からのデータに基づいて単一のモデルを訓練する。 しかし、異なる支配方程式、物理変数、変数相互作用を持つ異種PDEを追加することは、タスク間の予測性能を常に改善するとは限らない。 既存のPDE混合専門家モデルは、学習されたルーティングを通してクロスタスク干渉を緩和するが、典型的には均質なエキスパートアーキテクチャを使用するため、方程式間の状態進化の相違を直接反映することは困難である。 大規模PDE事前学習のための不均一な物理専門家を持つ演算子変換器HotPOTを紹介する。 HotPOTは共有エンコーダを使用して、PDE間で共通する情報をキャプチャする一方、PDEファミリーは、学習可能な予測器とトレーニング可能なパラメータを含まない固定された数値更新とを組み合わせた、ニューラル数値の専門家を使用する。 各予測器はペアの数値更新に必要な量を出力し、次に次の状態を計算する。 この設計により、異なるPDEが独自の学習可能な予測器と数値更新を保持しながら共通のエンコーダを共有することができる。 5つのPDEファミリーと6つの設定での実験では、HotPOTは24のマッチングスケールの比較でMoE-POTを上回っ、ロールアウトエラーを平均50.7%削減している。 特に17Mモデルは、かなり大きなMoE-POTモデルを超え、性能は、目に見えない物理的条件下でゼロショット予測にまで拡張される。 コードはhttps://github.com/cruiseresearchgroup/HotPOT-codeで入手できる。

関連論文リスト

• Generalizing PDE Emulation with Equation-Aware Neural Operators [1.9410267062889204]
  偏微分方程式(PDE)の解法は、従来の数値法では違法に高価である。 ディープラーニングベースのサロゲートモデルは通常、固定パラメータを持つ単一のPDEを専門とする。 本稿では,PDEを一般化する方程式認識エミュレーションの枠組みを提案する。
  論文  参考訳（メタデータ） (2025-11-12T20:40:05Z)
• Unisolver: PDE-Conditional Transformers Towards Universal Neural PDE Solvers [53.79279286773326]
  我々は、多様なデータに基づいて訓練され、多様なPDEで条件付けされた新しいトランスフォーマーモデルUnisolverを提案する。 Unisolverは3つの挑戦的な大規模ベンチマークで一貫した最先端を実現し、優れたパフォーマンスと一般化性を示している。
  論文  参考訳（メタデータ） (2024-05-27T15:34:35Z)
• DPOT: Auto-Regressive Denoising Operator Transformer for Large-Scale PDE Pre-Training [87.90342423839876]
  我々は,PDEデータに対するより安定的で効率的な事前学習を可能にする,自己回帰型事前学習戦略を提案する。 我々は,100k以上の軌道を持つ10以上のPDEデータセットに対して,最大0.5BパラメータでPDEファンデーションモデルをトレーニングする。
  論文  参考訳（メタデータ） (2024-03-06T08:38:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。