論文の概要: Transformers for dynamical systems learn transfer operators in-context

• arxiv url: http://arxiv.org/abs/2602.18679v1
• Date: Sat, 21 Feb 2026 01:03:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.23368
• Title: Transformers for dynamical systems learn transfer operators in-context
• Title（参考訳）: 動的システムのためのトランスフォーマーは、コンテキスト内で転送演算子を学習する
• Authors: Anthony Bao, Jeffrey Lai, William Gilpin,
• Abstract要約: インコンテキスト学習は、物理システムにおける学習と適応の従来の理解に挑戦する。 1つの力学系を予測するために小さな2層単頭変圧器を訓練し、再学習せずに異なる力学系を予測する能力を評価する。 注意に基づくモデルがコンテキスト内で伝達演算予測戦略を適用していることが判明した。
• 参考スコア（独自算出の注目度）: 4.211463778317431
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale foundation models for scientific machine learning adapt to physical settings unseen during training, such as zero-shot transfer between turbulent scales. This phenomenon, in-context learning, challenges conventional understanding of learning and adaptation in physical systems. Here, we study in-context learning of dynamical systems in a minimal setting: we train a small two-layer, single-head transformer to forecast one dynamical system, and then evaluate its ability to forecast a different dynamical system without retraining. We discover an early tradeoff in training between in-distribution and out-of-distribution performance, which manifests as a secondary double descent phenomenon. We discover that attention-based models apply a transfer-operator forecasting strategy in-context. They (1) lift low-dimensional time series using delay embedding, to detect the system's higher-dimensional dynamical manifold, and (2) identify and forecast long-lived invariant sets that characterize the global flow on this manifold. Our results clarify the mechanism enabling large pretrained models to forecast unseen physical systems at test without retraining, and they illustrate the unique ability of attention-based models to leverage global attractor information in service of short-term forecasts.
• Abstract（参考訳）: 科学機械学習のための大規模な基礎モデルは、乱流スケール間のゼロショット転送など、トレーニング中に見えない物理的な設定に適応する。 この現象は、文脈内学習(in-context learning)であり、物理系における学習と適応の従来の理解に挑戦する。 そこで本研究では, 動的システムのコンテキスト内学習を最小限の設定で検討し, 1つの力学系を予測するための2層単頭変圧器を訓練し, 再学習なしに異なる力学系を予測する能力を評価する。 二次二重降下現象として現れる分布内と分布外性能の訓練における早期のトレードオフを見いだす。 注意に基づくモデルがコンテキスト内で伝達演算予測戦略を適用していることが判明した。 これらは(1)遅延埋め込みを用いて低次元時系列を持ち上げてシステムの高次元力学多様体を検出し、(2)この多様体上の大域的な流れを特徴づける長寿命不変集合を特定し予測する。 本研究は,大規模な事前学習モデルにおいて,再学習を伴わずに未確認の物理系を予測できるメカニズムを解明し,短時間の予測でグローバルなアトラクタ情報を活用するための注意ベースモデルのユニークな能力を示すものである。

関連論文リスト

• A Mechanistic Analysis of Transformers for Dynamical Systems [4.590170084532207]
  動的データに適用した場合の単一層変換器の表現能力と限界について検討する。 線形系に対しては、ソフトマックスアテンションによって課される凸性制約が、表現できる力学のクラスを根本的に制限していることが示される。 部分可観測性を持つ非線形系では、注意は適応的な遅延埋め込み機構として機能する。
  論文  参考訳（メタデータ） (2025-12-24T11:21:07Z)
• Learning and Current Prediction of PMSM Drive via Differential Neural Networks [13.370017978792479]
  本研究では,ディファレンシャルニューラルネットワーク(DNN)を用いた非線形システムのモデル化手法を提案する。 本手法の有効性は, 各種負荷乱れおよび無負荷条件下で行った実験により検証した。
  論文  参考訳（メタデータ） (2024-12-12T07:43:27Z)
• Learning System Dynamics without Forgetting [60.08612207170659]
  本研究では,CDL(Continuous Dynamics Learning)の問題,タスク構成の検証,既存手法の適用性について検討する。 本稿では、LG-ODEとサブネットワーク学習の長所をモデムスイッチングモジュールと統合したモードスイッチンググラフODE(MS-GODE)モデルを提案する。 CDLのための生体動態システムの新しいベンチマーク、Bio-CDLを構築し、異なるダイナミクスを持つ多様なシステムを特徴付ける。
  論文  参考訳（メタデータ） (2024-06-30T14:55:18Z)
• In-Context Convergence of Transformers [63.04956160537308]
  勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。 不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
  論文  参考訳（メタデータ） (2023-10-08T17:55:33Z)
• Constraining Chaos: Enforcing dynamical invariants in the training of recurrent neural networks [0.0]
  本稿では,カオス力学系に対する機械学習に基づく予測手法の新しいトレーニング手法を提案する。 この訓練は、リヤプノフ指数スペクトルやフラクタル次元のような動的不変量を適用し、限られたデータで操作する場合、より長くより安定した予測を可能にする。
  論文  参考訳（メタデータ） (2023-04-24T00:33:47Z)
• Physics-Inspired Temporal Learning of Quadrotor Dynamics for Accurate Model Predictive Trajectory Tracking [76.27433308688592]
  クオーロタのシステムダイナミクスを正確にモデル化することは、アジャイル、安全、安定したナビゲーションを保証する上で非常に重要です。 本稿では,ロボットの経験から,四重項系の力学を純粋に学習するための新しい物理インスパイアされた時間畳み込みネットワーク(PI-TCN)を提案する。 提案手法は,スパース時間的畳み込みと高密度フィードフォワード接続の表現力を組み合わせて,正確なシステム予測を行う。
  論文  参考訳（メタデータ） (2022-06-07T13:51:35Z)
• Supervised DKRC with Images for Offline System Identification [77.34726150561087]
  現代の力学系はますます非線形で複雑なものになりつつある。 予測と制御のためのコンパクトで包括的な表現でこれらのシステムをモデル化するフレームワークが必要である。 本手法は,教師付き学習手法を用いてこれらの基礎関数を学習する。
  論文  参考訳（メタデータ） (2021-09-06T04:39:06Z)
• GEM: Group Enhanced Model for Learning Dynamical Control Systems [78.56159072162103]
  サンプルベースの学習が可能な効果的なダイナミクスモデルを構築します。 リー代数ベクトル空間上のダイナミクスの学習は、直接状態遷移モデルを学ぶよりも効果的であることを示す。 この研究は、ダイナミクスの学習とリー群の性質の関連性を明らかにし、新たな研究の方向への扉を開く。
  論文  参考訳（メタデータ） (2021-04-07T01:08:18Z)
• Using Data Assimilation to Train a Hybrid Forecast System that Combines Machine-Learning and Knowledge-Based Components [52.77024349608834]
  利用可能なデータがノイズの多い部分測定の場合,カオスダイナミクスシステムのデータ支援予測の問題を検討する。 動的システムの状態の部分的測定を用いることで、不完全な知識ベースモデルによる予測を改善するために機械学習モデルを訓練できることを示す。
  論文  参考訳（メタデータ） (2021-02-15T19:56:48Z)
• Bridging Physics-based and Data-driven modeling for Learning Dynamical Systems [36.04381259949935]
  モデルパラメータを推定するために自動微分を利用した物理モデル学習をAutoODEとして定式化する。 本手法は,7日間の先進的な予測における平均絶対誤差を57.4%削減する。
  論文  参考訳（メタデータ） (2020-11-20T20:16:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。