Fugu-MT 論文翻訳(概要): Nonequilibrium Phases of Repulsive Self-Attention: Chaos, Attention Condensation, and Emergent Locality

論文の概要: Nonequilibrium Phases of Repulsive Self-Attention: Chaos, Attention Condensation, and Emergent Locality

arxiv url: http://arxiv.org/abs/2609.28448v1
Date: Wed, 23 Sep 2026 17:46:38 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-25 00:05:18.13765
Title: Nonequilibrium Phases of Repulsive Self-Attention: Chaos, Attention Condensation, and Emergent Locality
Title（参考訳）: 反発自己注意の非平衡相:カオス, 注意凝縮, 創発的局所性
Abstract要約: 正規化トークンが$N$、Q=K=I$、負の値マップが$V=-I$である最小リカレント変圧器の非平衡ダイナミクスについて検討する。類似性に基づく注目は近くの表現を選択し、負の値マップは選択されたフィールドからトークンを駆逐する。
参考スコア（独自算出の注目度）: 2.4792581096761404
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study the nonequilibrium dynamics of a minimal recurrent transformer with $N$ normalized tokens, $Q=K=I$, and a negative value map $V=-I$. Similarity-based attention selects nearby representations, while the negative value map drives tokens away from the selected field. This feedback can continually reorganize both the representation geometry and the attention network. For $d=2$, the tokens lie on a circle, where the regular polygon is an exact fixed point. As the attention feedback strength $γ$ is increased, the polygon loses stability through a flip bifurcation, giving rise to period-two motion, chaos, and cluster-exchange or cluster-flip states. Despite this temporal complexity, attention remains diffuse as $N\to\infty$ at finite fixed softmax sharpness $β$. Attention condensation instead emerges in the scaling regime $β\sim N^2$. In the hard-routing limit, repulsive updates amplify local perturbations and routing-partner switches transmit them ballistically, producing an emergent butterfly cone in representation space. High-dimensional geometry provides a distinct route to localization. For $d=N\to\infty$, simulations from Gaussian initial conditions provide evidence for a condensation transition at $β=O(1)$, driven by dynamically generated finite overlap gaps. Depending on $γ$, the resulting phases include diffuse simplex-like states, consensus flips, condensed active routing with signatures of chaos, and fragmented cluster flips. These results establish temporal activity, attention condensation, and geometric clustering as distinct collective phenomena, and show that sparse attention can sustain persistent dynamics rather than freeze it.
Abstract（参考訳）: 正規化トークンが$N$、Q=K=I$、負の値マップが$V=-I$である最小リカレント変圧器の非平衡ダイナミクスについて検討する。類似性に基づく注目は近くの表現を選択し、負の値マップは選択されたフィールドからトークンを駆逐する。このフィードバックは、表現幾何学とアテンションネットワークの両方を継続的に再構成することができる。 d=2$ の場合、トークンは円上にあり、正多角形は正確な固定点である。注意フィードバック強度が γ$ になるにつれて、ポリゴンはフリップ分岐により安定性を失い、周期2運動、カオス、クラスタ交換状態またはクラスタフリップ状態が生じる。この時間的複雑さにもかかわらず、注意は有限固定ソフトマックスシャープネス$β$で$N\to\infty$として拡散している。注意凝縮は、スケーリング体系$β\sim N^2$で現れる。ハードルーティング限界において、反発的な更新は局所的な摂動を増幅し、ルーティングパートナースイッチはそれらを弾道的に送信し、表現空間に創発的な蝶の円錐を生成する。高次元幾何学は、局所化への明確な経路を提供する。 d=N\to\infty$ の場合、ガウスの初期条件からのシミュレーションは、動的に生成される有限重なり合いのギャップによって駆動される$β=O(1)$ での凝縮転移の証拠を与える。 $γ$に依存すると、結果として生じるフェーズには、拡散されたSimplexライクな状態、コンセンサスフリップ、カオスのシグネチャを持つ凝縮されたアクティブルーティング、クラスタフリップが含まれる。これらの結果は、時間的活動、注意凝縮、幾何学的クラスタリングを異なる集合現象として確立し、スパースアテンションが凍結するよりも持続的なダイナミクスを維持できることを示す。

論文の概要: Nonequilibrium Phases of Repulsive Self-Attention: Chaos, Attention Condensation, and Emergent Locality

関連論文リスト