Fugu-MT 論文翻訳(概要): Asymptotic Analysis of Discrete-Time Self-Attention Dynamics in Transformers

論文の概要: Asymptotic Analysis of Discrete-Time Self-Attention Dynamics in Transformers

arxiv url: http://arxiv.org/abs/2610.13518v1
Date: Fri, 09 Oct 2026 12:39:42 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-13 04:06:29.581681
Title: Asymptotic Analysis of Discrete-Time Self-Attention Dynamics in Transformers
Title（参考訳）: 変圧器の離散時間自己注意ダイナミクスの漸近解析
Abstract要約: 機械学習において、自己注意力学は変圧器の注意機構を記述し、変圧器の層指標を時間指標として扱う。平衡の完全な分類が与えられ、その安定性がシングルヘッドとマルチヘッドの場合の両方で研究される。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In machine learning, a self-attention dynamics describes the attention mechanism of transformers, and is obtained treating the layer index of a transformer as time index. Even though naturally discrete-time, this dynamical system is most often studied in continuous-time. Scope of this paper is to provide a thorough investigation of the discrete-time version of the self-attention dynamics: a complete classification of its equilibria is given, and their stability properties are studied, in both the single-head and the multihead case. We show that in both cases the main attractor of the dynamics is a consensus equilibrium aligned with the principal eigenvector of the value matrix (in the single-head case, a corresponding matrix of weights in the multihead case), even though other locally asymptotically stable bipartite equilibria can be show to exist at least in the single-head situation. The behavior is confirmed by looking at the learned weight matrices of a real transformer.
Abstract（参考訳）: 機械学習において、自己注意力学は変圧器の注意機構を記述し、変圧器の層指標を時間指標として扱う。自然に離散時間であっても、この力学系は、しばしば連続時間で研究される。本論文は,自己注意力学の離散時間バージョンについて,その平衡の完全な分類を行い,その安定性について,単頭と多頭の両方のケースで検討する。どちらの場合においても、力学の主誘引子は値行列の主固有ベクトル(単頭の場合、多頭の場合における重みの対応する行列)と一致したコンセンサス平衡であることが示される。この挙動は、実変圧器の学習した重量行列を調べることによって確認される。

関連論文リスト

Observation of far-from-equilibrium scaling in the transient dynamics of 2D quantum magnets [0.004370410088640301]
プログラム可能なRydberg-atom配列を用いた横フィールドIsingモデルのクエンチダイナミクスについて検討する。平均場記述は磁化振動を効果的に再現する。その結果、短距離相互作用する2次元量子マグネットの過渡的ダイナミクスを管理するロバストなスケーリング機構が明らかとなった。
論文参考訳（メタデータ） (2026-08-07T13:26:13Z)
On the Diverse Dynamical Behaviors Arising in Deep Linear Transformers [34.73438474762916]
本研究では, ディープ線形エンコーダのみの変圧器の干渉粒子系のレンズによる推定時間挙動について検討した。この力学は、純粋第二高調波結合を持つ一般化された倉本型モデルとして再構成可能であることを示す。
論文参考訳（メタデータ） (2026-07-20T23:43:26Z)
Solving Nonequilibrium Dynamics via Influence Matrix Bootstrap: Floquet-PXP Model [3.108119331549279]
201」量子セルオートマトンは、PXPハミルトニアンの可積分トロッター化である。我々は、局所力学の正確な解を可能にする一般化ジッパー条件と呼ばれる局所条件を開発する。これは、初期状態依存を示す非平衡挙動の豊かな風景を明らかにする。
論文参考訳（メタデータ） (2026-06-17T18:00:01Z)
Emergent Manifold Separability during Reasoning in Large Language Models [46.78826734548872]
Chain-of-Thoughtは大規模言語モデルの推論を大幅に改善する。本研究では,潜伏表現の線形分離性について,探究訓練の難易度を考慮せずに定量化する。
論文参考訳（メタデータ） (2026-02-23T20:36:17Z)
State Rank Dynamics in Linear Attention LLMs [37.607046806053035]
州の階級階層化は、線形アテンションヘッド間で異なるスペクトル分岐によって特徴づけられる。低ランクの頭部はモデル推論に欠かせないが、高ランクの頭部は顕著な冗長性を示す。我々は,KVキャッシュのオーバーヘッドを38.9%削減し,モデル精度を大きく維持するゼロショット戦略であるJoint Rank-Norm Pruningを提案する。
論文参考訳（メタデータ） (2026-02-02T15:00:42Z)
Multistability of Self-Attention Dynamics in Transformers [0.0]
機械学習において、自己アテンションダイナミクス(セルフアテンションダイナミクス、英: self-attention dynamics)とは、変圧器の注意機構の連続的時間的マルチエージェントのようなモデルである。我々は,シングルヘッドの自己認識システムの平衡を,コンセンサス,二部構成コンセンサス,クラスタリング,平衡という4つのクラスに分類する。
論文参考訳（メタデータ） (2025-11-14T18:45:22Z)
Anomalous transport in U(1)-symmetric quantum circuits [41.94295877935867]
U(1)対称乱れモデルにおける離散時間輸送の研究 : 異なる力学状態の配列で調整された。我々は磁化プロファイルの単純な関数である凝集量、円形統計モーメントを開発する。この量から輸送指数を抽出し、局所化、拡散、および(最も興味深いのは、混乱したシステムにとって)超拡散的レジーム(superdiffusive regimes)と整合した位相図の挙動を明らかにする。
論文参考訳（メタデータ） (2024-11-21T17:56:26Z)
Dyson Brownian motion and random matrix dynamics of weight matrices during learning [0.0]
まず、ダイソン・ブラウン運動を用いて、ダイナミクスを汎用的に記述できることを実証する。レベルは学習率とミニバッチサイズに比例して示される。次に,初期化時の固有値に対するマルテンコ・パストゥル分布から学習終了時の付加構造との組合せへの進化に続く変圧器の重み行列ダイナミクスについて検討する。
論文参考訳（メタデータ） (2024-11-20T18:05:39Z)
Quantum Simulation of Nonlinear Dynamical Systems Using Repeated Measurement [42.896772730859645]
本稿では, 非線形常微分方程式の初期値問題を解くために, 繰り返し測定に基づく量子アルゴリズムを提案する。古典ロジスティック系とローレンツ系に、積分可能かつカオス的条件の両方でこのアプローチを適用する。
論文参考訳（メタデータ） (2024-10-04T18:06:12Z)
Spreading of a local excitation in a Quantum Hierarchical Model [62.997667081978825]
常磁性相における量子ダイソン階層モデルのダイナミクスについて検討する。地磁気場状態の局所励起による初期状態を考慮する。局所化機構が発見され、励起は任意の時間で初期位置に近づいたままである。
論文参考訳（メタデータ） (2022-07-14T10:05:20Z)
Masked Language Modeling for Proteins via Linearly Scalable Long-Context Transformers [42.93754828584075]
我々は、高速注意Via Orthogonal Random機能(FAVOR)に基づく新しいトランスフォーマーアーキテクチャPerformerを提案する。我々の機構は、列内のトークンの数で2次ではなく2次的にスケールし、四次空間の複雑さが特徴であり、スパーシティパターンの先行を含まない。これは強い理論的保証を与える:注意行列の偏りのない推定と一様収束である。
論文参考訳（メタデータ） (2020-06-05T17:09:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。