論文の概要: Text-Trained LLMs Can Zero-Shot Extrapolate PDE Dynamics

• arxiv url: http://arxiv.org/abs/2509.06322v1
• Date: Mon, 08 Sep 2025 04:08:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:03.967004
• Title: Text-Trained LLMs Can Zero-Shot Extrapolate PDE Dynamics
• Title（参考訳）: テキストトレインLDMはPDEダイナミクスをゼロショット・エクストラポーレートできる
• Authors: Jiajun Bao, Nicolas Boullé, Toni J. B. Liu, Raphaël Sarfati, Christopher J. Earls,
• Abstract要約: 大規模言語モデル(LLM)は、様々なタスクにまたがる創発的なコンテキスト内学習(ICL)機能を示している。 テキスト学習基礎モデルは, 離散偏微分方程式(PDE)の解から, ダイナミックスを正確に予測できることを示す。 我々はトークンレベルの出力分布を分析し、一貫したICL進行を明らかにする:まず、構文パターンの模倣から始まり、探索的高エントロピーフェーズを遷移し、自信と数値的な基底予測を達成する。
• 参考スコア（独自算出の注目度）: 10.472535430038759
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have demonstrated emergent in-context learning (ICL) capabilities across a range of tasks, including zero-shot time-series forecasting. We show that text-trained foundation models can accurately extrapolate spatiotemporal dynamics from discretized partial differential equation (PDE) solutions without fine-tuning or natural language prompting. Predictive accuracy improves with longer temporal contexts but degrades at finer spatial discretizations. In multi-step rollouts, where the model recursively predicts future spatial states over multiple time steps, errors grow algebraically with the time horizon, reminiscent of global error accumulation in classical finite-difference solvers. We interpret these trends as in-context neural scaling laws, where prediction quality varies predictably with both context length and output length. To better understand how LLMs are able to internally process PDE solutions so as to accurately roll them out, we analyze token-level output distributions and uncover a consistent ICL progression: beginning with syntactic pattern imitation, transitioning through an exploratory high-entropy phase, and culminating in confident, numerically grounded predictions.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ゼロショットの時系列予測など、様々なタスクにまたがる創発的なコンテキスト内学習(ICL)機能を示している。 テキスト学習基礎モデルは、微調整や自然言語のプロンプトなしに、離散偏微分方程式(PDE)解から時空間力学を正確に外挿できることを示す。 予測精度は、より長い時間的文脈で改善されるが、より細かい空間的離散化で劣化する。 多段階のロールアウトでは、モデルが複数の時間ステップで将来の空間状態を再帰的に予測するが、誤差は時間水平線とともに代数的に増加し、古典的有限差分解法における大域的誤差の蓄積を連想させる。 これらの傾向を、文脈長と出力長の両方で予測品質が予測可能な、コンテキスト内ニューラルネットワークスケーリング法則として解釈する。 LLMがPDEソリューションを正確にロールアウトするために内部的にどのように処理できるかをよりよく理解するために、トークンレベルの出力分布を分析し、一貫性のあるICLの進行を明らかにする。

関連論文リスト

• When can isotropy help adapt LLMs' next word prediction to numerical domains? [53.98633183204453]
  文脈埋め込み空間におけるLLM埋め込みの等方性は表現の基盤構造を保存することが示されている。 実験により、数値データとモデルアーキテクチャの異なる特性が等方性に異なる影響があることが示されている。
  論文  参考訳（メタデータ） (2025-05-22T05:10:34Z)
• Generative Latent Neural PDE Solver using Flow Matching [8.397730500554047]
  低次元の潜伏空間にPDE状態を埋め込んだPDEシミュレーションのための潜伏拡散モデルを提案する。 我々のフレームワークは、オートエンコーダを使用して、異なるタイプのメッシュを統一された構造化潜在グリッドにマッピングし、複雑なジオメトリをキャプチャします。 数値実験により,提案モデルは,精度と長期安定性の両方において,決定論的ベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2025-03-28T16:44:28Z)
• PDETime: Rethinking Long-Term Multivariate Time Series Forecasting from the perspective of partial differential equations [49.80959046861793]
  本稿では,ニューラルPDEソルバの原理に着想を得た新しいLMTFモデルであるPDETimeを提案する。 7つの異なる時間的実世界のLMTFデータセットを用いた実験により、PDETimeがデータ固有の性質に効果的に適応できることが判明した。
  論文  参考訳（メタデータ） (2024-02-25T17:39:44Z)
• Uncertainty Quantification for Forward and Inverse Problems of PDEs via Latent Global Evolution [110.99891169486366]
  本稿では,効率的かつ高精度な不確実性定量化を深層学習に基づく代理モデルに統合する手法を提案する。 本手法は,フォワード問題と逆問題の両方に対して,堅牢かつ効率的な不確実性定量化機能を備えたディープラーニングに基づく代理モデルを提案する。 提案手法は, 長期予測を含むシナリオに適合し, 拡張された自己回帰ロールアウトに対する不確かさの伝播に優れる。
  論文  参考訳（メタデータ） (2024-02-13T11:22:59Z)
• Neural variational Data Assimilation with Uncertainty Quantification using SPDE priors [28.804041716140194]
  ディープラーニングコミュニティの最近の進歩は、ニューラルネットワークと変分データ同化フレームワークを通じて、この問題に対処することができる。 本研究では、部分微分方程式(SPDE)とガウス過程(GP)の理論を用いて状態の空間的および時間的共分散を推定する。
  論文  参考訳（メタデータ） (2024-02-02T19:18:12Z)
• Generalized Neural Closure Models with Interpretability [28.269731698116257]
  我々は、統合された神経部分遅延微分方程式の新規で汎用的な方法論を開発した。 マルコフ型および非マルコフ型ニューラルネットワーク(NN)の閉包パラメータ化を用いて, 偏微分方程式(PDE)における既存/低忠実度力学モデルを直接拡張する。 本研究では, 非線形波動, 衝撃波, 海洋酸性化モデルに基づく4つの実験セットを用いて, 新しい一般化ニューラルクロージャモデル(gnCMs)の枠組みを実証する。
  論文  参考訳（メタデータ） (2023-01-15T21:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。