論文の概要: Towards Reasoning for PDE Foundation Models: A Reward-Model-Driven Inference-Time-Scaling Algorithm

• arxiv url: http://arxiv.org/abs/2509.02846v2
• Date: Thu, 04 Sep 2025 15:40:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-05 11:58:39.469377
• Title: Towards Reasoning for PDE Foundation Models: A Reward-Model-Driven Inference-Time-Scaling Algorithm
• Title（参考訳）: PDE基礎モデルの推論に向けて:逆モデル駆動推論-時間スケーリングアルゴリズム
• Authors: Siddharth Mansingh, James Amarel, Ragib Arnab, Arvind Mohan, Kamaljeet Singh, Gerd J. Kunde, Nicolas Hengartner, Benjamin Migliori, Emily Casleton, Nathan A. Debardeleben, Ayan Biswas, Diane Oyen, Earl Lawrence,
• Abstract要約: 本稿では,シミュレーション中に計算資源を利用するPDEのためのテスト時間コンピューティング(TTC)戦略を導入し,より正確な予測を行う。 TTCは、標準の非適応的自己回帰推論に対して改善された相対予測をキャプチャする。 このフレームワークは、より高度な推論アルゴリズムやPDEモデリングへの基礎的なステップであり、強化学習に基づくアプローチを取り入れている。
• 参考スコア（独自算出の注目度）: 2.203009896164144
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Partial Differential Equations (PDEs) are the bedrock for modern computational sciences and engineering, and inherently computationally expensive. While PDE foundation models have shown much promise for simulating such complex spatio-temporal phenomena, existing models remain constrained by the pretraining datasets and struggle with auto-regressive rollout performance, especially in out-of-distribution (OOD) cases. Furthermore, they have significant compute and training data requirements which hamper their use in many critical applications. Inspired by recent advances in ``thinking" strategies used in large language models (LLMs), we introduce the first test-time computing (TTC) strategy for PDEs that utilizes computational resources during inference to achieve more accurate predictions with fewer training samples and smaller models. We accomplish this with two types of reward models that evaluate predictions of a stochastic based model for spatio-temporal consistency. We demonstrate this method on compressible Euler-equation simulations from the PDEGym benchmark and show that TTC captures improved predictions relative to standard non-adaptive auto-regressive inference. This TTC framework marks a foundational step towards more advanced reasoning algorithms or PDE modeling, inluding building reinforcement-learning-based approaches, potentially transforming computational workflows in physics and engineering.
• Abstract（参考訳）: 偏微分方程式 (Partial Differential Equations, PDE) は現代の計算科学と工学の基盤であり、本質的に計算コストが高い。 PDEファンデーションモデルは、このような複雑な時空間現象をシミュレートする多くの約束を示しているが、既存のモデルは、事前訓練されたデータセットに制約され、特にアウト・オブ・ディストリビューション(OOD)の場合、自動回帰ロールアウトパフォーマンスに苦慮している。 さらに、多くの重要なアプリケーションでの使用を妨げる重要な計算および訓練データ要求がある。 大規模言語モデル (LLM) における 'thinking' 戦略の最近の進歩に触発されて,計算資源を推論中に活用し,より少ないトレーニングサンプルとより小さなモデルでより正確な予測を行う PDE のための最初のテスト時コンピューティング (TTC) 戦略を導入する。 確率的モデルによる時空間整合性の予測を評価する2種類の報奨モデルを用いてこれを実現する。 PDEGymベンチマークを用いて, 圧縮可能なオイラー方程式のシミュレーションを行い, TTCは標準の非適応的自己回帰推論と比較して, 予測精度が向上することを示した。 このTTCフレームワークは、より高度な推論アルゴリズムやPDEモデリングへの基礎的なステップであり、強化学習に基づくアプローチを構築し、物理学や工学における計算ワークフローを変革する可能性がある。

関連論文リスト

• Preconditioned Inexact Stochastic ADMM for Deep Model [35.37705488695026]
  本稿では,拡張性のある並列コンピューティングを実現するアルゴリズムであるPISAを開発し,様々な前提条件をサポートする。 これは、有界領域上の勾配のリプシッツ連続性の唯一の仮定の下で収束し、メソッドによって一般的に課される他の条件の必要性を取り除く。 様々な最先端の繰り返しに比べて優れた数値性能を示す。
  論文  参考訳（メタデータ） (2025-02-15T12:28:51Z)
• Supervised Score-Based Modeling by Gradient Boosting [49.556736252628745]
  本稿では,スコアマッチングを組み合わせた勾配向上アルゴリズムとして,SSM(Supervised Score-based Model)を提案する。 推測時間と予測精度のバランスをとるため,SSMの学習とサンプリングに関する理論的解析を行った。 我々のモデルは、精度と推測時間の両方で既存のモデルより優れています。
  論文  参考訳（メタデータ） (2024-11-02T07:06:53Z)
• On conditional diffusion models for PDE simulations [53.01911265639582]
  スパース観測の予測と同化のためのスコアベース拡散モデルについて検討した。 本稿では,予測性能を大幅に向上させる自動回帰サンプリング手法を提案する。 また,条件付きスコアベースモデルに対する新たなトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-21T18:31:04Z)
• Learning Space-Time Continuous Neural PDEs from Partially Observed States [13.01244901400942]
  格子独立モデル学習偏微分方程式(PDE)を雑音および不規則格子上の部分的な観測から導入する。 本稿では、効率的な確率的フレームワークとデータ効率とグリッド独立性を改善するための新しい設計エンコーダを備えた時空間連続型ニューラルネットワークPDEモデルを提案する。
  論文  参考訳（メタデータ） (2023-07-09T06:53:59Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Deep Convolutional Architectures for Extrapolative Forecast in Time-dependent Flow Problems [0.0]
  深層学習技術は、対流に支配された問題に対するシステムの力学をモデル化するために用いられる。 これらのモデルは、PDEから得られた連続した時間ステップに対する高忠実度ベクトル解のシーケンスとして入力される。 ディープオートエンコーダネットワークのような非侵襲的な低次モデリング技術を用いて高忠実度スナップショットを圧縮する。
  論文  参考訳（メタデータ） (2022-09-18T03:45:56Z)
• Mixed Effects Neural ODE: A Variational Approximation for Analyzing the Dynamics of Panel Data [50.23363975709122]
  パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。 我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。 次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-02-18T22:41:51Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。