Fugu-MT: arxivの論文翻訳

HotPOT: Operator Transformer with Heterogeneous Physics Experts for Large-Scale PDE Pre-training

著者 Jiayi Li, Guancheng Zhou, Yisi Luo, Ruihua Chen, Penghao Jiang, Deyu Meng, Flora D. Salim, Piotr Koniusz
所属 Xi’an Jiaotong University / The University of New South Wales / Commonwealth Scientific and Industrial Research Organisation
カテゴリ Method / Transformer Models / Operator transformer with heterogeneous experts, Application / Scientific Computing / PDE modeling and prediction, Evaluation / Model Evaluation / Comparative performance on PDE tasks
ライセンス CC BY 4.0

Abstractの概要

HotPOTは、異種の部分微分方程式(PDE)システム間での共同事前学習のために設計されたオペレータートランスフォーマーです。本手法は、共有された場履歴エンコーダーと、PDEファミリー固有のニューラル予測器および固定された数値更新を組み合わせ、次状態予測の教師あり学習を用いて訓練されます。実験では5つのPDEファミリーと6つの設定を対象とし、ファインチューニングの前後で自己回帰ロールアウト評価を実施しています。さらに、既知のファミリー内における未知の条件下での検証や、未知の波動方程式ファミリーへの適応についても検証しています。

新規性

際立った特徴は、異種ニューラル・数値エキスパートを共有のマルチPDEモデルに統合した点にあり、各ファミリーが固有の固定状態更新プログラムに適した量を予測します。これは、主に学習されたルーティングを通じて専門化を行う同質的なエキスパートアーキテクチャとは異なります。

成果

HotPOTは、6つの設定、2つのモデル規模、2つの訓練段階にわたるスケールを揃えた24通りの比較すべてでMoE-POTを上回り、ロールアウト誤差を平均で50.7%削減しました。また、報告されたファミリー内のゼロショットおよびフューショットテストでもより低い誤差を達成し、事前学習済みエンコーダーはランダム初期化エンコーダーと比べて未知の波動ファミリーへの適応性を向上させました。

論文の注目点

  1. 共有エンコーダーが個々の場の履歴を処理し、ファミリー固有の予測器が場の結合と状態発展を担う。
  2. 数値エキスパートのアブレーション検証では、CFDBで直接状態予測がわずかに優れていたものの、全体として予測器と更新の設計の有効性が支持された。
  3. ファミリー固有のエキスパートによりモデルのストレージが増加し、多段階の数値更新はニューラル読み出しの反復によって推論コストを増加させる可能性がある。

参考リンク

このページはGPT-5、Claude Opus 4、Gemini 3、Gemini 3.1 Flash Image 及びその上位バージョンなどの生成AIを用いて作成されています。内容の保証は一切できません。