論文の概要: Clustered Attractor Manifolds and Dynamical Condensation in Self-Attention

• arxiv url: http://arxiv.org/abs/2608.08922v1
• Date: Sun, 09 Aug 2026 21:28:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.995165
• Title: Clustered Attractor Manifolds and Dynamical Condensation in Self-Attention
• Title（参考訳）: 自己注意におけるクラスター型トラクターマニフォールドと動的凝縮
• Authors: Qucheng Gao, Zuyi Yang, Xiao Chen,
• Abstract要約: トランスフォーマー層は状態依存の相互作用ネットワークを生成する。 トークン表現はアテンション行列を決定し、それが表現を更新する。 我々は、このフィードバックを最小限の正規化された自己注意力学で研究する。
• 参考スコア（独自算出の注目度）: 2.4792581096761404
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer layers generate state-dependent interaction networks: token representations determine the attention matrix, which in turn updates the representations. We study this feedback in a minimal normalized self-attention dynamics and identify the overlap gap as the central quantity governing its attractor structure in the thermodynamic limit. When tokens form internally aligned clusters and their similarity to members of the same cluster exceeds that to every other cluster by a nonvanishing amount, inter-cluster attention is exponentially suppressed as the dimension increases. This mechanism produces a high-dimensional manifold of clustered fixed points, ranging from a few macroscopic clusters to extensive microscopic fragmentation, and also controls their stability against perturbations. Starting from an unstructured Gaussian state, we find that clustered states nucleate from the diffuse background only above a finite threshold in attention sharpness, giving rise to a dynamical attention-condensation transition.
• Abstract（参考訳）: トークン表現はアテンション行列を決定し、次に表現を更新する。 このフィードバックを最小限の正規化自己注意力学で研究し、熱力学限界におけるアトラクタ構造を規定する中心的な量として重なり合いギャップを同定する。 トークンが内部に整列したクラスタを形成し、同一クラスタのメンバと類似性が他のクラスタに対して無消滅量でそれを超えると、次元が増加するにつれてクラスタ間注意が指数関数的に抑制される。 この機構は、いくつかのマクロ的クラスターから広範囲の顕微鏡的断片化まで、クラスタ化された固定点の高次元多様体を生成し、摂動に対する安定性を制御する。 非構造ガウス状態から始めると、集束状態は注意シャープネスの有限しきい値以上の拡散背景から核化し、動的注意凝縮遷移を引き起こす。

関連論文リスト

• Gradient Flow Structure and Quantitative Dynamics of Multi-Head Self-Attention [0.0]
  変圧器の自己アテンションは単位球上の勾配流と解釈できる。 我々は,マルチヘッド自己注意力学の理論的枠組みを開発する。
  論文  参考訳（メタデータ） (2026-05-05T20:31:11Z)
• Introducing the Correlation Concentration Ratio (CCR): Quantitative Framework for Comparing Quantum Cluster States [0.0]
  線形、正方形、T字形の位相を持つクラスター状態を生成する過程を体系的にモデル化した。 シミュレーションの結果,クラスタグラフ構造は2次相関のパターンに直接反映されていることがわかった。 CCRと呼ばれる計量は、系全体の相関関係に対してグラフエッジ上の有効相関の濃度を定量化する。
  論文  参考訳（メタデータ） (2026-04-25T11:50:43Z)
• Weight-Informed Self-Explaining Clustering for Mixed-Type Tabular Data [63.62853416081748]
  WISEは表現、特徴重み付け、クラスタリング、解釈を統一するフレームワークである。 クラスタリングを駆動する同じプリミティブに根ざした、忠実で人間解釈可能な説明を生成する。
  論文  参考訳（メタデータ） (2026-04-07T13:18:31Z)
• Krause Synchronization Transformers [63.8469912831803]
  トランスフォーマーにおける自己注意は、グローバルに正規化されたソフトマックスの重みに依存しており、すべてのトークンがすべての層で影響を競う。 クラーズ・アテンション(Krause Attention)は、有界信頼コンセンサス・ダイナミクスにインスパイアされた注意機構である。
  論文  参考訳（メタデータ） (2026-02-12T03:47:53Z)
• The Mean-Field Dynamics of Transformers [6.008788032203683]
  球面への注意を理想化することにより、トランスフォーマーダイナミクスをワッサーシュタイン勾配流(Kuramoto)と平均シフトクラスタリングに接続する。 その結果、表現の崩壊を促進するメカニズムと、深層アーキテクチャにおける表現力に富んだマルチクラスタ構造を維持する体制の両方を強調した。
  論文  参考訳（メタデータ） (2025-12-01T16:51:00Z)
• Self-Supervised Graph Embedding Clustering [70.36328717683297]
  K-means 1-step dimensionality reduction clustering method は,クラスタリングタスクにおける次元性の呪いに対処する上で,いくつかの進歩をもたらした。 本稿では,K-meansに多様体学習を統合する統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-24T08:59:51Z)
• Calibrating Undisciplined Over-Smoothing in Transformer for Weakly Supervised Semantic Segmentation [51.14107156747967]
  弱教師付きセマンティックセマンティックセマンティクス(WSSS)は、完全な教師付きアプローチよりもアノテーションが少ないため、かなりの注目を集めている。 本研究では,非学際的な過密化に対する深い注意を抑えるための適応的再活性化機構 (AReAM) を提案する。 AReAMは既存のWSSS手法と比較してセグメンテーション性能を大幅に改善し、ノイズを低減し、関連するセマンティック領域に焦点を絞る。
  論文  参考訳（メタデータ） (2023-05-04T19:11:33Z)
• Out-of-time-order correlations and the fine structure of eigenstate thermalisation [58.720142291102135]
  量子情報力学と熱化を特徴付けるツールとして、OTOC(Out-of-time-orderor)が確立されている。 我々は、OTOCが、ETH(Eigenstate Thermalisation hypothesis)の詳細な詳細を調査するための、本当に正確なツールであることを明確に示している。 無限温度状態における局所作用素の和からなる可観測物の一般クラスに対して、$omega_textrmGOE$の有限サイズスケーリングを推定する。
  論文  参考訳（メタデータ） (2021-03-01T17:51:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。