論文の概要: A Mechanistic Analysis of Transformers for Dynamical Systems

• arxiv url: http://arxiv.org/abs/2512.21113v1
• Date: Wed, 24 Dec 2025 11:21:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-25 19:43:21.766416
• Title: A Mechanistic Analysis of Transformers for Dynamical Systems
• Title（参考訳）: 力学系における変圧器の力学解析
• Authors: Gregory Duthé, Nikolaos Evangelou, Wei Liu, Ioannis G. Kevrekidis, Eleni Chatzi,
• Abstract要約: 動的データに適用した場合の単一層変換器の表現能力と限界について検討する。 線形系に対しては、ソフトマックスアテンションによって課される凸性制約が、表現できる力学のクラスを根本的に制限していることが示される。 部分可観測性を持つ非線形系では、注意は適応的な遅延埋め込み機構として機能する。
• 参考スコア（独自算出の注目度）: 4.590170084532207
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers are increasingly adopted for modeling and forecasting time-series, yet their internal mechanisms remain poorly understood from a dynamical systems perspective. In contrast to classical autoregressive and state-space models, which benefit from well-established theoretical foundations, Transformer architectures are typically treated as black boxes. This gap becomes particularly relevant as attention-based models are considered for general-purpose or zero-shot forecasting across diverse dynamical regimes. In this work, we do not propose a new forecasting model, but instead investigate the representational capabilities and limitations of single-layer Transformers when applied to dynamical data. Building on a dynamical systems perspective we interpret causal self-attention as a linear, history-dependent recurrence and analyze how it processes temporal information. Through a series of linear and nonlinear case studies, we identify distinct operational regimes. For linear systems, we show that the convexity constraint imposed by softmax attention fundamentally restricts the class of dynamics that can be represented, leading to oversmoothing in oscillatory settings. For nonlinear systems under partial observability, attention instead acts as an adaptive delay-embedding mechanism, enabling effective state reconstruction when sufficient temporal context and latent dimensionality are available. These results help bridge empirical observations with classical dynamical systems theory, providing insight into when and why Transformers succeed or fail as models of dynamical systems.
• Abstract（参考訳）: トランスフォーマーは時系列のモデリングや予測にますます採用されているが、その内部メカニズムは力学系の観点からは理解されていない。 確立された理論基盤の恩恵を受ける古典的自己回帰モデルや状態空間モデルとは対照的に、トランスフォーマーアーキテクチャは一般にブラックボックスとして扱われる。 このギャップは、注意に基づくモデルが様々な力学系にまたがる汎用またはゼロショット予測のために考慮されるにつれて特に重要となる。 本研究では,新しい予測モデルを提案するのではなく,動的データに適用した場合の単一層トランスフォーマーの表現能力と制限について検討する。 動的システムの観点から、我々は因果自己認識を線形かつ歴史に依存した再帰と解釈し、時間情報の処理方法を分析する。 一連の線形および非線形ケーススタディを通じて、異なる運用形態を識別する。 線形系の場合、ソフトマックスアテンションによって課される凸性制約は、表現できるダイナミクスのクラスを根本的に制限し、振動的設定における過度なスムーシングをもたらすことを示す。 部分可観測性を持つ非線形系の場合、注意は適応的な遅延埋め込み機構として機能し、十分な時間的文脈と潜在次元が利用できる場合に有効な状態再構成を可能にする。 これらの結果は、古典力学系理論による経験的観測を橋渡しし、トランスフォーマーが力学系のモデルとしていつ、なぜ成功し、失敗するのかについての洞察を与えるのに役立つ。

関連論文リスト

• Attention Mechanisms in Dynamical Systems: A Case Study with Predator-Prey Models [0.0]
  時系列データに基づく単純な線形アテンションモデルを用いて,システム軌跡の再構成を行う。 興味深いことに、学習された注意重みはリャプノフ函数の幾何学的構造と一致している。 結果から,非線形システムの解釈,データ駆動分析,制御にAIによる注目が新たに導入されたことが示唆された。
  論文  参考訳（メタデータ） (2025-05-10T04:14:28Z)
• Learning System Dynamics without Forgetting [60.08612207170659]
  本研究では,CDL(Continuous Dynamics Learning)の問題,タスク構成の検証,既存手法の適用性について検討する。 本稿では、LG-ODEとサブネットワーク学習の長所をモデムスイッチングモジュールと統合したモードスイッチンググラフODE(MS-GODE)モデルを提案する。 CDLのための生体動態システムの新しいベンチマーク、Bio-CDLを構築し、異なるダイナミクスを持つ多様なシステムを特徴付ける。
  論文  参考訳（メタデータ） (2024-06-30T14:55:18Z)
• eXponential FAmily Dynamical Systems (XFADS): Large-scale nonlinear Gaussian state-space modeling [9.52474299688276]
  非線形状態空間グラフィカルモデルのための低ランク構造化変分オートエンコーダフレームワークを提案する。 我々のアプローチは、より予測的な生成モデルを学ぶ能力を一貫して示している。
  論文  参考訳（メタデータ） (2024-03-03T02:19:49Z)
• Attractor Memory for Long-Term Time Series Forecasting: A Chaos Perspective [63.60312929416228]
  textbftextitAttraosはカオス理論を長期時系列予測に取り入れている。 本研究では,AttraosがPatchTSTと比較して,パラメータの12分の1しか持たない主流データセットやカオスデータセットにおいて,LTSF法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-18T05:35:01Z)
• Physics-Inspired Temporal Learning of Quadrotor Dynamics for Accurate Model Predictive Trajectory Tracking [76.27433308688592]
  クオーロタのシステムダイナミクスを正確にモデル化することは、アジャイル、安全、安定したナビゲーションを保証する上で非常に重要です。 本稿では,ロボットの経験から,四重項系の力学を純粋に学習するための新しい物理インスパイアされた時間畳み込みネットワーク(PI-TCN)を提案する。 提案手法は,スパース時間的畳み込みと高密度フィードフォワード接続の表現力を組み合わせて,正確なシステム予測を行う。
  論文  参考訳（メタデータ） (2022-06-07T13:51:35Z)
• Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
  トレーニングセットとその構造が長期予測の品質に与える影響を考察する。 トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-12-15T20:09:20Z)
• Physics-guided Deep Markov Models for Learning Nonlinear Dynamical Systems with Uncertainty [6.151348127802708]
  我々は物理誘導型Deep Markov Model(PgDMM)という物理誘導型フレームワークを提案する。 提案手法は,動的システムの駆動物理を維持しながら,ディープラーニングの表現力を利用する。
  論文  参考訳（メタデータ） (2021-10-16T16:35:12Z)
• Supervised DKRC with Images for Offline System Identification [77.34726150561087]
  現代の力学系はますます非線形で複雑なものになりつつある。 予測と制御のためのコンパクトで包括的な表現でこれらのシステムをモデル化するフレームワークが必要である。 本手法は,教師付き学習手法を用いてこれらの基礎関数を学習する。
  論文  参考訳（メタデータ） (2021-09-06T04:39:06Z)
• Stochastically forced ensemble dynamic mode decomposition for forecasting and analysis of near-periodic systems [65.44033635330604]
  本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。 固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。 電力グリッドからの負荷データを用いたテストケースの結果が提示される。
  論文  参考訳（メタデータ） (2020-10-08T20:25:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。