論文の概要: On the Diverse Dynamical Behaviors Arising in Deep Linear Transformers
- arxiv url: http://arxiv.org/abs/2607.18584v1
- Date: Mon, 20 Jul 2026 23:43:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.276953
- Title: On the Diverse Dynamical Behaviors Arising in Deep Linear Transformers
- Title（参考訳）: 深部線形変圧器における横動挙動について
- Abstract要約: 本研究では, ディープ線形エンコーダのみの変圧器の干渉粒子系のレンズによる推定時間挙動について検討した。
この力学は、純粋第二高調波結合を持つ一般化された倉本型モデルとして再構成可能であることを示す。
- 参考スコア（独自算出の注目度）: 34.73438474762916
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the inference-time behavior of deep linear encoder-only transformers through the lens of interacting particle systems. In this perspective, tokens are modeled as particles that interact dynamically through successive linear self-attention layers. We show that in embedding dimension two, for any key, query, and value matrices, the dynamics can be reformulated as a generalized Kuramoto-type model with pure second-harmonic coupling. This formulation is amenable to Watanabe--Strogatz theory which reveals the dynamics are intrinsically low-dimensional regardless of the parameter matrices. For a class of token initializations associated with the Ott--Antonsen (OA) manifold, we show that the parameter matrices induce a diverse variety of long-time behaviors in linear transformers, including clustering, oscillations, and bifurcations. The oscillations and bifurcations are characterized by uncovering a hidden Hamiltonian structure in the dynamics. By establishing a structural stability result, we further show that dynamics initialized near the OA manifold exhibit the same long-time behavior as those initialized exactly on the manifold. Motivated by our theory in dimension two, we conduct numerical experiments for analogous parameter regimes in higher-dimensional transformers. Our numerical experiments suggest that the long-time behaviors characterized in our theoretical results persist in higher dimensions.
- Abstract（参考訳）: 本研究では, ディープ線形エンコーダのみの変圧器の干渉粒子系のレンズによる推定時間挙動について検討した。
この観点では、トークンは連続する線形自己認識層を通して動的に相互作用する粒子としてモデル化される。
埋め込み次元2において、任意のキー、クエリ、値行列に対して、このダイナミクスは純粋第二高調波結合を持つ一般化された倉本型モデルとして再構成可能であることを示す。
この定式化は、パラメータ行列によらず内在的に低次元であることを明らかにする渡辺-ストロガッツ理論(英語版)(Watanabe-Strogatz theory)に従うことができる。
Ott--Antonsen(OA)多様体に関連するトークンの初期化のクラスについて、パラメータ行列はクラスタリング、発振、分岐を含む線形変圧器における様々な長期挙動を誘導することを示す。
振動と分岐は、力学において隠れたハミルトン構造を明らかにすることで特徴づけられる。
さらに、構造安定性の結果を確立することにより、OA多様体の近くで初期化された力学が、多様体上で正確に初期化された力学と同じ長時間挙動を示すことを示す。
次元2における我々の理論に動機付けられ、高次元変圧器における類似パラメータ状態の数値実験を行う。
数値実験により, 理論結果に特徴付けられる長時間の挙動が, より高次元に持続していることが示唆された。
関連論文リスト
- Multibath Influence Matrices: Universal Scaling from Real-Time Dynamics [0.005023988093549015]
変動する時間スケールは臨界力学の目印であり、古典的および量子シミュレーションのボトルネックである。
時空テンソルネットワークを半群影響行列に時間的に圧縮し,空間的に行列生成状態を通じて表現する。
これらの結果は、強く相関したマルチ軌道系におけるリアルタイムダイナミクスの実践的ツールとして、マルチバス影響行列を確立した。
論文 参考訳（メタデータ） (2026-07-17T18:04:36Z) - Invariant Learning Dynamics of Transformers in Inductive Reasoning Tasks [50.79340930913805]
文献で知られているいくつかの合成タスクを統一する帰納的タスクのクラスについて検討する。
低次元力学現象として回路形成を鋳造することにより、トランスフォーマーの学習方法に関する予測理論へと進む。
論文 参考訳（メタデータ） (2026-07-13T17:56:11Z) - Emergent Manifold Separability during Reasoning in Large Language Models [46.78826734548872]
Chain-of-Thoughtは大規模言語モデルの推論を大幅に改善する。
本研究では,潜伏表現の線形分離性について,探究訓練の難易度を考慮せずに定量化する。
論文 参考訳（メタデータ） (2026-02-23T20:36:17Z) - Multicriticality in stochastic dynamics protected by self-duality [0.0]
本研究では, 1次元の運動的制約のあるモデルの大規模な動的偏差(LD)について検討する。
ドメインウォール(DW)Fredrickson-Andersen(FA)、DW East、ZZZ-FA、XOR-FAの4つのモデルを詳細に検討する。
論文 参考訳（メタデータ） (2025-04-02T00:10:57Z) - Nonlinear Dynamics of a Dicke Model for V-Type Atoms [0.0]
従来のディックモデルの開スピン-1(3レベル)多様体の非線形半古典力学について検討する。
周期振動と2周波振動の両方が出現し、多重性やカオス力学が現れる。
論文 参考訳（メタデータ） (2025-03-12T21:35:14Z) - Dyson Brownian motion and random matrix dynamics of weight matrices during learning [0.0]
まず、ダイソン・ブラウン運動を用いて、ダイナミクスを汎用的に記述できることを実証する。
レベルは学習率とミニバッチサイズに比例して示される。
次に,初期化時の固有値に対するマルテンコ・パストゥル分布から学習終了時の付加構造との組合せへの進化に続く変圧器の重み行列ダイナミクスについて検討する。
論文 参考訳（メタデータ） (2024-11-20T18:05:39Z) - Universal Approximation of Mean-Field Models via Transformers [3.8916312075738273]
本稿では, 相互作用粒子系の平均場ダイナミクスを近似するために, 変圧器を用いた場合について検討する。
このようなシステムは、意見形成、生物学的ネットワーク、および群ロボット工学を含む物理学、生物学、工学の現象をモデル化する上で基本的なものである。
論文 参考訳（メタデータ） (2024-10-06T19:47:24Z) - Visualizing Dynamics of Charges and Strings in (2+1)D Lattice Gauge Theories [103.95523007319937]
格子ゲージ理論(LGT)は、幅広い現象を理解するために用いられる。
本稿では,超伝導量子ビットの二次元格子を用いた$mathZ$ LGTにおける局所励起のダイナミクスについて検討する。
提案手法により,(2+1)D LGTにおける文字列のダイナミックスを実験的に画像化することができる。
論文 参考訳（メタデータ） (2024-09-25T17:59:05Z) - Latent Space Energy-based Neural ODEs [73.01344439786524]
本稿では,連続時間列を表現するために設計された新しい深部力学モデルを提案する。
マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。
振動系, ビデオ, 実世界の状態系列(MuJoCo)の実験結果から, 学習可能なエネルギーベース先行モデルの方が既存のモデルより優れていることが示された。
論文 参考訳（メタデータ） (2024-09-05T18:14:22Z) - Nonlinear dynamical Casimir effect and Unruh entanglement in waveguide QED with parametrically modulated coupling [83.88591755871734]
理論的には、1次元導波路に対して動く2レベル量子ビットの配列について検討する。
この運動の周波数が2倍のクビット共鳴周波数に近づくと、光子のパラメトリック生成と量子ビットの励起を誘導する。
我々は、摂動図式技術と厳密なマスター方程式アプローチの両方を取り入れた包括的一般理論フレームワークを開発する。
論文 参考訳（メタデータ） (2024-08-30T15:54:33Z) - Dynamics of a Generalized Dicke Model for Spin-1 Atoms [0.0]
ディック模型は理論空洞量子力学(キャビティQED)の基礎である
これは、相転移、相乗法、カオスなど、多様なダイナミクスを示している。
モデルによって認識される多様で複雑な振る舞いは、そのダイナミクスをより厳密にマッピングする必要性を強調します。
論文 参考訳（メタデータ） (2024-03-04T04:09:35Z) - Generating function for projected entangled-pair states [0.1759252234439348]
テンソルネットワークのダイアグラム和に対する生成関数アプローチを拡張した。
一粒子励起の形で、生成関数形式において励起状態が効率的に計算可能であることを示す。
我々は多粒子励起への一般化に関する議論を締めくくった。
論文 参考訳（メタデータ） (2023-07-16T15:49:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。