論文の概要: The Mean-Field Dynamics of Transformers

• arxiv url: http://arxiv.org/abs/2512.01868v1
• Date: Mon, 01 Dec 2025 16:51:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.968227
• Title: The Mean-Field Dynamics of Transformers
• Title（参考訳）: 変圧器の平均場動力学
• Abstract要約: 相互作用する粒子系としてのトランスフォーマーアテンションについて検討する。 球面上で連続的な注意を理想化することにより、トランスフォーマーダイナミクスをワッサーシュタイン勾配流、同期モデル、平均シフトクラスタリングに接続する。
• 参考スコア（独自算出の注目度）: 6.008788032203683
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop a mathematical framework that interprets Transformer attention as an interacting particle system and studies its continuum (mean-field) limits. By idealizing attention continuous on the sphere, we connect Transformer dynamics to Wasserstein gradient flows, synchronization models (Kuramoto), and mean-shift clustering. Central to our results is a global clustering phenomenon whereby tokens cluster asymptotically after long metastable states where they are arranged into multiple clusters. We further analyze a tractable equiangular reduction to obtain exact clustering rates, show how commonly used normalization schemes alter contraction speeds, and identify a phase transition for long-context attention. The results highlight both the mechanisms that drive representation collapse and the regimes that preserve expressive, multi-cluster structure in deep attention architectures.
• Abstract（参考訳）: 本研究では,トランスフォーマーの注意を相互作用する粒子系として解釈する数学的枠組みを開発し,その連続体(平均場)限界について検討する。 球面上で連続的な注意を理想化することにより、トランスフォーマーダイナミクスをワッサーシュタイン勾配流、同期モデル(倉本)、平均シフトクラスタリングに接続する。 我々の結果の中心は、トークンが複数のクラスタに配置された長い準安定状態の後に漸近的にクラスタ化されるグローバルクラスタリング現象である。 さらに、抽出可能な等角形状の縮退を解析して正確なクラスタリング率を求め、また、一般的に使われている正規化スキームが収縮速度をいかに変化させるかを示し、長いコンテキストの注意を向けた位相遷移を同定する。 その結果、表現の崩壊を促進するメカニズムと、深層アーキテクチャにおける表現力のあるマルチクラスタ構造を維持する体制の両方を強調した。

関連論文リスト

• Clustered Attractor Manifolds and Dynamical Condensation in Self-Attention [2.4792581096761404]
  トランスフォーマー層は状態依存の相互作用ネットワークを生成する。 トークン表現はアテンション行列を決定し、それが表現を更新する。 我々は、このフィードバックを最小限の正規化された自己注意力学で研究する。
  論文  参考訳（メタデータ） (2026-08-09T21:28:01Z)
• From Self-Attention to Connection Laplacian: A Unified Operator View of Transformers [53.505136935517925]
  自己注意は現代のシーケンスモデルにおいてユビキタスプリミティブであるが、作用素レベルの幾何学は部分的には理解されていない。 単頭注意 (SHA) は, 常に搬送される接続伝播ステップであることを示す。 トレーニングされたトランスフォーマー(124Mから8B)と構造(エンコーダ/デコーダ)は、我々の理論と整合した幾何学的構造を示す。
  論文  参考訳（メタデータ） (2026-07-12T09:44:54Z)
• Controlled Dynamics Attractor Transformer [58.15454173718687]
  トランスフォーマーアーキテクチャは自己認識機構を通じて深層モデルにおける高度な表現学習と推論を行う。 並行して、連想記憶(AM)フレームワークはエネルギーランドスケープに表現をマッピングし、解釈可能な検索メカニズムを提供する。 我々は,ミセス・フィッシャー (Mo-vMF) の注意エネルギーとホップフィールド精製エネルギーを混合した制御型ダイナミクス・アトラクタ変換器 (CCAT) を提案する。 CCATは、グラフ異常検出とグラフ分類において、複数のベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-06-13T09:04:22Z)
• Neural Networks Provably Learn Spectral Representations for Group Composition [51.637084292404616]
  ニューラルネットワークトレーニング中に内部構造がどのように現れるかを検討する。 トレーニング力学は表現理論エネルギー汎関数上の勾配上昇によって支配されていることを証明する。 このフレームワークは特徴学習の表現論的記述を提供し、新しい低ランク圧縮現象を特徴付ける。
  論文  参考訳（メタデータ） (2026-06-02T01:04:21Z)
• Training-Induced Escape from Token Clustering in a Mean-Field Formulation of Transformers [8.121538475202494]
  トランスフォーマーは、層間でトークン表現を反復的に変換することで推論を行う。 トランスフォーマー力学の最近の平均場理論は、どのようにトークン分布をクラスタリングに導くかを説明する。 本稿では,パラメータ線形FFNのみをL2$正規化の下でトレーニングする雑音平均場変換器を用いて,この問題を考察する。
  論文  参考訳（メタデータ） (2026-05-08T14:12:13Z)
• Introducing the Correlation Concentration Ratio (CCR): Quantitative Framework for Comparing Quantum Cluster States [0.0]
  線形、正方形、T字形の位相を持つクラスター状態を生成する過程を体系的にモデル化した。 シミュレーションの結果,クラスタグラフ構造は2次相関のパターンに直接反映されていることがわかった。 CCRと呼ばれる計量は、系全体の相関関係に対してグラフエッジ上の有効相関の濃度を定量化する。
  論文  参考訳（メタデータ） (2026-04-25T11:50:43Z)
• Krause Synchronization Transformers [63.8469912831803]
  トランスフォーマーにおける自己注意は、グローバルに正規化されたソフトマックスの重みに依存しており、すべてのトークンがすべての層で影響を競う。 クラーズ・アテンション(Krause Attention)は、有界信頼コンセンサス・ダイナミクスにインスパイアされた注意機構である。
  論文  参考訳（メタデータ） (2026-02-12T03:47:53Z)
• A multiscale analysis of mean-field transformers in the moderate interaction regime [7.742297876120561]
  本研究では,エンコーダのみの変圧器モデルを用いた推論時間におけるトークンの進化について検討する。 これらの相のそれぞれにおける極限力学の厳密な特徴づけを提供し、上述の極限における収束性を証明する。
  論文  参考訳（メタデータ） (2025-09-29T16:57:04Z)
• Kuramoto Orientation Diffusion Models [67.0711709825854]
  指紋やテクスチャなどのオリエンテーションに富んだ画像は、しばしばコヒーレントな角模様を示す。 生体系における位相同期の役割を動機として,スコアベース生成モデルを提案する。 一般的な画像ベンチマークで競合する結果を実装し,指紋やテクスチャなどの指向性データセットの生成品質を大幅に向上する。
  論文  参考訳（メタデータ） (2025-09-18T18:18:49Z)
• Quantitative Clustering in Mean-Field Transformer Models [32.46389492080837]
  ディープトランスモデルによるトークンの進化は相互作用する粒子系としてモデル化できる。 平均場変圧器モデルの長時間クラスタリングについて検討する。
  論文  参考訳（メタデータ） (2025-04-20T18:21:34Z)
• Investigating Recurrent Transformers with Dynamic Halt [64.862738244735]
  本研究では, 変圧器の繰り返し機構を付加する2つの主要な手法の帰納バイアスについて検討する。 提案手法を拡張・結合する新しい手法を提案し,検討する。
  論文  参考訳（メタデータ） (2024-02-01T19:47:31Z)
• Dynamic Kernel-Based Adaptive Spatial Aggregation for Learned Image Compression [63.56922682378755]
  本稿では,空間アグリゲーション機能の拡張に焦点をあて,動的カーネルベースの変換符号化を提案する。 提案したアダプティブアグリゲーションはカーネルオフセットを生成し、コンテント条件付き範囲の有効な情報をキャプチャして変換を支援する。 実験により,本手法は,最先端の学習手法と比較して,3つのベンチマークにおいて高い速度歪み性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-08-17T01:34:51Z)
• Multi-View Clustering via Semi-non-negative Tensor Factorization [120.87318230985653]
  半負のテンソル因子分解(Semi-NTF)に基づく新しいマルチビュークラスタリングを開発する。 本モデルは、ビュー間の関係を直接考慮し、ビュー間の補完情報を利用する。 さらに,提案手法の最適化アルゴリズムを提案し,そのアルゴリズムが常に定常KKT点に収束することを数学的に証明する。
  論文  参考訳（メタデータ） (2023-03-29T14:54:19Z)
• Koopman-based spectral clustering of directed and time-evolving graphs [0.3655021726150368]
  非指向グラフのためのスペクトルクラスタリングアルゴリズムは十分に確立されており、教師なし機械学習問題にうまく適用されている。 しかし、有向グラフのクラスタ化は依然として困難であり、有向グラフのクラスタの定義は広く受け入れられていない。 ラプラシアンと転送演算子の関係を用いた有向グラフと時間進化グラフのクラスタリングアルゴリズムを導出する。 結果として得られるクラスターはコヒーレントな集合として解釈することができ、流体の輸送と混合過程の解析において重要な役割を果たす。
  論文  参考訳（メタデータ） (2022-04-06T17:33:24Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)
• ClusterVO: Clustering Moving Instances and Estimating Visual Odometry for Self and Surroundings [54.33327082243022]
  ClusterVOはステレオビジュアルオドメトリーで、エゴと周囲の固いクラスタ/オブジェクトの両方の動きを同時にクラスタし、推定する。 以前のソリューションでは、バッチ入力やシーン構造や動的オブジェクトモデルへの事前の指示に頼っていたが、ClusterVOは一般的にオンラインであり、屋内のシーン理解や自律運転など、さまざまなシナリオで使用することができる。
  論文  参考訳（メタデータ） (2020-03-29T09:06:28Z)
• Self-Supervised Learning of Generative Spin-Glasses with Normalizing Flows [0.0]
  一般的な離散問題におけるモデル相関に対する正規化フローを用いた連続スピングラス分布の開発を行う。 スピングラス位相の物理的および計算的特性をうまく学習できることを実証する。 注目すべきは、学習そのものがトレーニングされた正規化フローの層内のスピングラス相転移に対応することである。
  論文  参考訳（メタデータ） (2020-01-02T19:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。