論文の概要: Learning Chaos Without Seeing Chaos: Extrapolation of Global Dynamics in Autoregressive Transformers
- arxiv url: http://arxiv.org/abs/2609.38814v1
- Date: Wed, 30 Sep 2026 02:42:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.049121
- Title: Learning Chaos Without Seeing Chaos: Extrapolation of Global Dynamics in Autoregressive Transformers
- Title（参考訳）: カオスを見ないカオス学習:自己回帰変換器のグローバルダイナミクスの補間
- Abstract要約: 非線形力学系の制約パラメータ構造から抽出した軌道上のスクラッチから訓練した小型自己回帰変圧器について検討した。
これらのモデルにより,視覚的および数値的忠実度の高い自己相似周期共役カスケード,カオス力学,アトラクタ構造を復元できることを示す。
- 参考スコア（独自算出の注目度）: 45.537314119898106
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autoregressive models are trained to predict a system's behavior one step at a time, and recursive generation allows the learned dynamics to unfold over long horizons. To what extent can such dynamics learned from local observations recover broader organization of an underlying system that was only partially observed during training? Here we study small autoregressive transformers trained from scratch on trajectories sampled from restricted parameter regimes of several non-linear dynamical systems, including logistic and sine maps, the Lorenz system, and the generalized Hopf system, with control parameters and state trajectories represented as sequences of continuous tokens. Under closed-loop evaluation at parameters far outside the training distribution, the models can recover self-similar period-doubling cascades, chaotic dynamics, and attractor structures with remarkable visual and numerical fidelity. For the logistic map, a transformer reproduces successive period doublings up to period 128, yielding a finite-order scaling ratio of 4.6687, matching the Feigenbaum constant to within $5\times10^{-4}$. We further investigate how these structures emerge over the course of training, and reveal with causal interventions how control-parameter information is processed through attention into state prediction and shapes the resulting closed-loop dynamics. These results suggest that a surprisingly narrow window into a system's local behavior may suffice for autoregressive transformers to generalize to its unseen global dynamical organization.
- Abstract（参考訳）: 自己回帰モデルはシステムの振る舞いを1ステップずつ予測するために訓練され、再帰的生成によって学習されたダイナミクスが長い地平線を越えて展開できる。
局所的な観察から学んだこのようなダイナミクスは、トレーニング中に部分的にのみ観察された基盤システムのより広範な組織を回復できるだろうか?
本稿では,ロジスティックおよび正弦写像,ローレンツ系,一般化ホップ系などの非線形力学系の制約パラメータ構造から抽出されたトラジェクトリに対して,スクラッチから訓練した小さな自己回帰変換器について,制御パラメータと状態トラジェクトリを連続トークンのシーケンスとして表現した。
トレーニング分布の外側のパラメータにおけるクローズドループ評価の下で、モデルは、顕著な視覚的および数値的忠実さを持つ自己相似周期二重化カスケード、カオス力学、アトラクタ構造を復元することができる。
ロジスティック写像では、変圧器は周期128までの連続周期を再現し、有限階スケーリング比は4.6687となり、Feigenbaum定数は5\times10^{-4}$に一致する。
さらに、これらの構造がトレーニングの過程でどのように現れるのかを考察し、制御パラメータ情報がどのように処理されるかの因果的介入によって、状態予測に注意を払い、結果として生じる閉ループ力学を形作るかを明らかにする。
これらの結果から, システムの局所挙動に驚くほど狭い窓を埋め込むことで, 自己回帰変換器が不明瞭なグローバルな動的組織に一般化できる可能性が示唆された。
関連論文リスト
- Interpreting learning dynamics of autoencoders: Transient scaling and emerging concepts of the Ising model [0.0]
イジングモデルからの顕微鏡的スピン構成で訓練された教師なしオートエンコーダは、マクロ的、理論関連変数を学習する。
複数の空間スケールでの学習を定量化し、2つの異なる力学状態を明らかにする。
学習のダイナミックな視点は、内在的特性が強制的変化の影響を表わすことによって確立される。
論文 参考訳（メタデータ） (2026-07-11T12:31:34Z) - CaLiSym: Learning Symplectic Dynamics of Real-World Systems through Structured Canonical Lifts [5.265601895449634]
CaLiSymは、幾何学的事前が課される場所を変更することで、シンプレクティック学習をそのようなシステムに拡張する軽量フレームワークである。
フレームワークをSympNet予測器でインスタンス化し、正確なシンプレクティック構造と近似を組み合わせたB-スプライン変種であるGRB-SympNetを導入する。
持ち上げられた力学はシンプレクティックな形式を数値的な精度に保ち、シンプレクティックな学習は保守的な力学を超えて現実世界のロボティクスへと拡張する。
論文 参考訳（メタデータ） (2026-07-07T21:41:59Z) - KoopGen: Koopman Generator Networks for Representing and Predicting Dynamical Systems with Continuous Spectra [65.11254608352982]
生成元をベースとしたニューラル・クープマン・フレームワークを導入し,構造的かつ状態に依存したクープマン・ジェネレータの表現を通じて動的にモデル化する。
固有のカルテス分解をスキュー結合および自己結合成分に利用することにより、KoopGenは可逆的な散逸から保守的な輸送を分離する。
論文 参考訳（メタデータ） (2026-02-15T06:32:23Z) - Transformer Learning of Chaotic Collective Dynamics in Many-Body Systems [0.0]
本稿では,自己注意に基づくトランスフォーマー・フレームワークが,カオス的集団力学をモデル化するための効果的なアプローチを提供することを示す。
相互作用クエンチが強い非線形およびカオス力学を誘導する一次元半古典的ホルシュタインモデルについて検討する。
本研究は, カオス多体システムにおいて, 効果的還元力学を学習するための強力なメカニズムとして, 自己意識を確立した。
論文 参考訳（メタデータ） (2026-01-27T01:33:33Z) - A Mechanistic Analysis of Transformers for Dynamical Systems [4.590170084532207]
動的データに適用した場合の単一層変換器の表現能力と限界について検討する。
線形系に対しては、ソフトマックスアテンションによって課される凸性制約が、表現できる力学のクラスを根本的に制限していることが示される。
部分可観測性を持つ非線形系では、注意は適応的な遅延埋め込み機構として機能する。
論文 参考訳（メタデータ） (2025-12-24T11:21:07Z) - Forecasting Continuous Non-Conservative Dynamical Systems in SO(3) [51.510040541600176]
コンピュータビジョンにおける移動物体の回転をモデル化するための新しい手法を提案する。
我々のアプローチは、入力ノイズに対して頑健でありながら、エネルギーと運動量保存に非依存である。
トレーニング中の雑音状態から物体のダイナミクスを近似させることで、シミュレーションや様々な現実世界の設定において頑健な外挿能力が得られる。
論文 参考訳（メタデータ） (2025-08-11T09:03:10Z) - Langevin Flows for Modeling Neural Latent Dynamics [81.81271685018284]
逐次変分自動エンコーダであるLangevinFlowを導入し、潜伏変数の時間的進化をアンダーダム化したLangevin方程式で制御する。
われわれのアプローチは、慣性、減衰、学習されたポテンシャル関数、力などの物理的事前を組み込んで、ニューラルネットワークにおける自律的および非自律的プロセスの両方を表現する。
本手法は,ロレンツ誘引器によって生成される合成神経集団に対する最先端のベースラインより優れる。
論文 参考訳（メタデータ） (2025-07-15T17:57:48Z) - Physics-Inspired Temporal Learning of Quadrotor Dynamics for Accurate
Model Predictive Trajectory Tracking [76.27433308688592]
クオーロタのシステムダイナミクスを正確にモデル化することは、アジャイル、安全、安定したナビゲーションを保証する上で非常に重要です。
本稿では,ロボットの経験から,四重項系の力学を純粋に学習するための新しい物理インスパイアされた時間畳み込みネットワーク(PI-TCN)を提案する。
提案手法は,スパース時間的畳み込みと高密度フィードフォワード接続の表現力を組み合わせて,正確なシステム予測を行う。
論文 参考訳（メタデータ） (2022-06-07T13:51:35Z) - Learning stochastic dynamics and predicting emergent behavior using
transformers [0.0]
ニューラルネットワークは,システムの1つの動的軌跡を観察することにより,システムの動的規則を学習可能であることを示す。
我々はモデルの1つの軌道上でトランスフォーマーと呼ばれるニューラルネットワークを訓練する。
変換器は、速度の明示的な列挙や構成空間の粗粒化なしに観察から動的規則を学習する柔軟性を持つ。
論文 参考訳（メタデータ） (2022-02-17T15:27:21Z) - Stochastically forced ensemble dynamic mode decomposition for
forecasting and analysis of near-periodic systems [65.44033635330604]
本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。
固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。
電力グリッドからの負荷データを用いたテストケースの結果が提示される。
論文 参考訳（メタデータ） (2020-10-08T20:25:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。