論文の概要: Test-Time Forecasting: Recurrent Depth Enables In-Context Dynamics Prediction
- arxiv url: http://arxiv.org/abs/2610.19552v1
- Date: Wed, 14 Oct 2026 04:08:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.952886
- Title: Test-Time Forecasting: Recurrent Depth Enables In-Context Dynamics Prediction
- Title(参考訳): テスト時間予測: コンテクスト内ダイナミクス予測を可能にするRecurrent Depth
- Abstract要約: ループ変換器は動的システムのコンテキスト内におけるプロパゲータをエミュレートできることを示す。
次に、この洞察を、一段階の予測器が繰り返しの深さとして勾配降下の反復を利用する、$textitTest-Time Forecasting$ frameworkに一般化します。
- 参考スコア(独自算出の注目度): 3.8551402560229806
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Foundation models for dynamical systems can forecast unseen partial differential equations (PDEs), ordinary differential equations (ODEs), and time series during inference. However, it remains an open question whether these foundation models truly learn generalizable in-context forecasting strategies. We show that looped transformers are capable of emulating propagators for dynamical systems in-context by first establishing a link between linear attention and (extended) dynamic mode decomposition. We then generalize this insight into the $\textit{Test-Time Forecasting}$ (TTF) framework in which a one-step forecaster leverages iterations of gradient descent as recurrent depth. We demonstrate that lightweight TTF models trained on ODEs and PDEs generalize to out-of-distribution system dynamics during autoregressive rollout after being trained for one-step prediction. Our results reinforce TTF as a theoretically motivated framework for designing recurrent depth models capable of forecasting unseen dynamical systems at test-time.
- Abstract(参考訳): 力学系の基礎モデルは、推論中に目に見えない偏微分方程式(PDE)、常微分方程式(ODE)、時系列を予測することができる。
しかし、これらの基礎モデルが、コンテキスト内予測戦略を真に一般化できるかどうかには疑問が残る。
ループ変換器は、まず、線形注意と(拡張)動的モード分解のリンクを確立することで、動的システムのコンテキスト内でのプロパゲータをエミュレートできることを示す。
次に、この洞察を$\textit{Test-Time Forecasting}$ (TTF)フレームワークに一般化する。
本研究では,ODE と PDE でトレーニングした軽量 TTF モデルが,一段階予測のトレーニングを受けた後,自動回帰ロールアウト中の分散システムダイナミクスに一般化されることを実証する。
本研究は,テスト時に未知の力学系を予測可能な再帰的深度モデルを設計するための理論的動機付けフレームワークとしてTTFを補強する。
関連論文リスト
- Towards Reasoning for PDE Foundation Models: A Reward-Model-Driven Inference-Time-Scaling Algorithm [2.203009896164144]
本稿では,シミュレーション中に計算資源を利用するPDEのためのテスト時間コンピューティング(TTC)戦略を導入し,より正確な予測を行う。
TTCは、標準の非適応的自己回帰推論に対して改善された相対予測をキャプチャする。
このフレームワークは、より高度な推論アルゴリズムやPDEモデリングへの基礎的なステップであり、強化学習に基づくアプローチを取り入れている。
論文 参考訳(メタデータ) (2025-09-02T21:31:32Z) - Context parroting: A simple but tough-to-beat baseline for foundation models in scientific machine learning [6.881798277354561]
ファンデーションモデルは、単純なオウム戦略を通じて予測されることがよくあります。
文脈から直接コピーする単純なコンテキストパロッキングモデルは、主要な時系列基礎モデルよりも高いスコアを得る。
論文 参考訳(メタデータ) (2025-05-16T15:14:47Z) - Dynamical Diffusion: Learning Temporal Dynamics with Diffusion Models [71.63194926457119]
動的拡散(DyDiff, Dynamical Diffusion)は, 時間的に意識された前と逆のプロセスを含む理論的に健全なフレームワークである。
科学的時間的予測、ビデオ予測、時系列予測に関する実験は、動的拡散が時間的予測タスクのパフォーマンスを一貫して改善することを示した。
論文 参考訳(メタデータ) (2025-03-02T16:10:32Z) - Latent Space Energy-based Neural ODEs [73.01344439786524]
本稿では,連続時間列を表現するために設計された新しい深部力学モデルを提案する。
マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。
振動系, ビデオ, 実世界の状態系列(MuJoCo)の実験結果から, 学習可能なエネルギーベース先行モデルの方が既存のモデルより優れていることが示された。
論文 参考訳(メタデータ) (2024-09-05T18:14:22Z) - OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive
Learning [67.07363529640784]
提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。
我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。
リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
論文 参考訳(メタデータ) (2023-06-20T03:02:14Z) - Learning Differential Operators for Interpretable Time Series Modeling [34.32259687441212]
逐次データから解釈可能なPDEモデルを自動的に取得できる学習フレームワークを提案する。
我々のモデルは、貴重な解釈可能性を提供し、最先端モデルに匹敵する性能を達成することができる。
論文 参考訳(メタデータ) (2022-09-03T20:14:31Z) - Physics-Inspired Temporal Learning of Quadrotor Dynamics for Accurate
Model Predictive Trajectory Tracking [76.27433308688592]
クオーロタのシステムダイナミクスを正確にモデル化することは、アジャイル、安全、安定したナビゲーションを保証する上で非常に重要です。
本稿では,ロボットの経験から,四重項系の力学を純粋に学習するための新しい物理インスパイアされた時間畳み込みネットワーク(PI-TCN)を提案する。
提案手法は,スパース時間的畳み込みと高密度フィードフォワード接続の表現力を組み合わせて,正確なシステム予測を行う。
論文 参考訳(メタデータ) (2022-06-07T13:51:35Z) - Stochastically forced ensemble dynamic mode decomposition for
forecasting and analysis of near-periodic systems [65.44033635330604]
本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。
固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。
電力グリッドからの負荷データを用いたテストケースの結果が提示される。
論文 参考訳(メタデータ) (2020-10-08T20:25:52Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳(メタデータ) (2020-06-08T09:53:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。