論文の概要: Two-Clustering Regime of Token Dynamics in Causal Attention
- arxiv url: http://arxiv.org/abs/2611.18088v1
- Date: Fri, 13 Nov 2026 12:12:02 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:29:20.225875
- Title: Two-Clustering Regime of Token Dynamics in Causal Attention
- Title(参考訳): 因果的注意におけるトーケンダイナミクスの2クラスタリング法則
- Abstract要約: 因果的注意力のダイナミクスは、最大固有値に付随する固有ベクトルに一致した2つのクラスタに収束することを示す。
我々の研究の中心的な貢献は、厳密な次元減少現象の同定である。
この知見に基づいて,物理系における不安定現象にインスパイアされたフロー内の不安定性という新たな解析的枠組みを導入する。
- 参考スコア(独自算出の注目度): 14.862565115611632
- License:
- Abstract: We partially resolve Conjecture 1 of [Karagodin et al., Clustering in Causal Attention Masking (NeurIPS 2024)] and extend it to time-dependent parameter regimes. The conjecture predicts that causal attention dynamics converge to two clusters aligned with the eigenvectors associated with the largest eigenvalue $λ_{\max}$ of the value transformation. We prove that this behavior holds when $λ_{\max}>0$ and is generally false when $λ_{\max}\le0$. The resulting two-cluster regime is common in practice and substantially more challenging than the classical single-cluster setting studied previously. A central contribution of our work is the identification of a rigorous dimension reduction phenomenon: despite evolving in a high-dimensional embedding space, token trajectories collapse onto a two-dimensional structure governed by a small number of dominant directions. Building on this insight, we introduce a new analytical framework--instability within the flow--inspired by instability phenomena in physical systems. This framework enables the analysis of steady-regime behavior in non-monotone, non-autonomous attention dynamics. Our theoretical findings are illustrated through simulations and experimental studies using Group Query Attention (GQA) layers.
- Abstract(参考訳): カラゴディンとアル(Karagodin et al , Clustering in Causal Attention Masking (NeurIPS 2024))の導出1を部分的に解決し,時間依存パラメータに拡張する。
この予想は、因果的注意ダイナミクスは、値変換の最大の固有値 $λ_{\max}$ に関連する固有ベクトルと一致する2つのクラスタに収束すると予想する。
我々は、この振る舞いが$λ_{\max}>0$のときに成り立つことを証明し、一般に$λ_{\max}\le0$のときに偽である。
結果として生じる2クラスタ体制は、実際は一般的であり、以前の古典的な単一クラスタ設定よりもかなり困難である。
我々の研究の中心的な貢献は厳密な次元減少現象の同定である: 高次元の埋め込み空間で進化しているにもかかわらず、トークン軌道は少数の支配的な方向によって支配される2次元構造に崩壊する。
この知見に基づいて,物理系における不安定現象にインスパイアされたフロー内の不安定性という新たな解析的枠組みを導入する。
この枠組みは、非単調で非自律的な注意力学における定常レジーム挙動の解析を可能にする。
本稿では,グループクエリアテンション(GQA)層を用いたシミュレーションおよび実験的研究を通して理論的考察を行った。
関連論文リスト
- $M^2Net$: Unifying Scale-Specific Structures and Prototype Decomposition for Spatial-Temporal Forecasting [62.414974731333295]
我々は、スケール固有の構造学習と意味分解を統合するために、$M2Net$という新しいフレームワークを提案する。
M2Net$は、広範な経験的検証において最先端のベースラインを上回っます。
論文 参考訳(メタデータ) (2026-10-17T07:24:57Z) - Entanglement-facilitated macroscopic cluster formation in quantum many-body dynamics [42.89492957665636]
初期状態の絡み合いは真の真空気泡の拡散を抑制し、マクロな連結クラスターを安定化させる。
本研究は, 初期準備とグローバルな構造物の保全の関連性を確立するものである。
論文 参考訳(メタデータ) (2026-05-21T18:21:14Z) - State Rank Dynamics in Linear Attention LLMs [37.607046806053035]
州の階級階層化は、線形アテンションヘッド間で異なるスペクトル分岐によって特徴づけられる。
低ランクの頭部はモデル推論に欠かせないが、高ランクの頭部は顕著な冗長性を示す。
我々は,KVキャッシュのオーバーヘッドを38.9%削減し,モデル精度を大きく維持するゼロショット戦略であるJoint Rank-Norm Pruningを提案する。
論文 参考訳(メタデータ) (2026-02-02T15:00:42Z) - Random-Matrix-Induced Simplicity Bias in Over-parameterized Variational Quantum Circuits [72.0643009153473]
本稿では,観測可能な期待値とパラメータ勾配の両方がシステムサイズに指数関数的に集中するHaar型普遍性クラスに,表現的変分アンサーゼが入ることを示す。
その結果、そのような回路によって誘導される仮説クラスは、近点関数の狭い族に高い確率で崩壊する。
テンソル-ネットワークベースおよびテンソル-ハイパーネットワークパラメータ化を含むテンソル構造VQCは、ハール型普遍性クラスの外にある。
論文 参考訳(メタデータ) (2026-01-05T08:04:33Z) - Out-of-Equilibrium Dynamics in a U(1) Lattice Gauge Theory via Local Information Flows: Scattering and String Breaking [0.0]
格子ゲージ理論における非平衡量子力学を特徴付けるための診断ツールとして局所情報フローを導入する。
リアルタイムプロセスにおける量子相関の伝播と蓄積を特徴付けるために,情報格子フレームワークを用いて全情報を空間的およびスケール的に分解する。
論文 参考訳(メタデータ) (2025-10-17T18:00:01Z) - Clustering in Causal Attention Masking [24.786862288360076]
この研究は、ジェシコフスキーらによって提案された自己注意のダイナミクス(arXiv:2312.10794)を改良し、生成AIのためのトランスフォーマーアーキテクチャで使用される、実用的な、因果的にマスクされた注意を反映させるものである。
この相互作用する粒子系への修正は平均場勾配流と解釈することはできない。
論文 参考訳(メタデータ) (2024-11-07T18:56:37Z) - Fate of dissipative hierarchy of timescales in the presence of unitary
dynamics [0.0]
局所散逸過程を持つ純粋散逸性開量子多体系の一般的な挙動は、ランダム行列理論を用いて研究することができる。
ここでは、強い発散動力学と弱い発散動力学の両方の場合において、このスペクトルがユニタリダイナミクスが存在するときにどのように進化するかを分析する。
物理的に最も関係の深い2体相互作用の場合、摂動の第1次補正は消滅する。
弱い散逸のために、スペクトルはよく分断された固有モデムを持つクラスターに流れ、これはハミルトニアンの局所対称性である。
論文 参考訳(メタデータ) (2023-04-18T14:31:02Z) - Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
平均場ランゲヴィン力学の収束速度解析について述べる。
ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
論文 参考訳(メタデータ) (2022-01-25T17:13:56Z) - Out-of-time-order correlations and the fine structure of eigenstate
thermalisation [58.720142291102135]
量子情報力学と熱化を特徴付けるツールとして、OTOC(Out-of-time-orderor)が確立されている。
我々は、OTOCが、ETH(Eigenstate Thermalisation hypothesis)の詳細な詳細を調査するための、本当に正確なツールであることを明確に示している。
無限温度状態における局所作用素の和からなる可観測物の一般クラスに対して、$omega_textrmGOE$の有限サイズスケーリングを推定する。
論文 参考訳(メタデータ) (2021-03-01T17:51:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。