論文の概要: Quantifying Concentration Phenomena of Mean-Field Transformers in the Low-Temperature Regime

• arxiv url: http://arxiv.org/abs/2605.10931v1
• Date: Mon, 11 May 2026 17:58:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:51.05911
• Title: Quantifying Concentration Phenomena of Mean-Field Transformers in the Low-Temperature Regime
• Title（参考訳）: 低温レジームにおける平均場変圧器の濃度現象の定量化
• Authors: Albert Alcalde, Leon Bungert, Konstantin Riedl, Tim Roith,
• Abstract要約: 深部エンコーダのみの変圧器におけるトークンの進化を推論時に検討する。 トークン分布が初期分布のプッシュフォワードに急速に集中することを証明する。
• 参考スコア（独自算出の注目度）: 0.9974630621313314
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers with self-attention modules as their core components have become an integral architecture in modern large language and foundation models. In this paper, we study the evolution of tokens in deep encoder-only transformers at inference time which is described in the large-token limit by a mean-field continuity equation. Leveraging ideas from the convergence analysis of interacting multi-particle systems, with particles corresponding to tokens, we prove that the token distribution rapidly concentrates onto the push-forward of the initial distribution under a projection map induced by the key, query, and value matrices, and remains metastable for moderate times. Specifically, we show that the Wasserstein distance of the two distributions scales like $\sqrt{{\log(β+1)}/β}\exp(Ct)+\exp(-ct)$ in terms of the temperature parameter $β^{-1}\to 0$ and inference time $t\geq 0$. For the proof, we establish Lyapunov-type estimates for the zero-temperature equation, identify its limit as $t\to\infty$, and employ a stability estimate in Wasserstein space together with a quantitative Laplace principle to couple the two equations. Our result implies that for time scales of order $\logβ$ the token distribution concentrates at the identified limiting distribution. Numerical experiments confirm this and, beyond that, complement our theory by showing that for finite $β$ and large $t$ the dynamics enter a different terminal phase, dominated by the spectrum of the value matrix.
• Abstract（参考訳）: 自己アテンションモジュールをコアコンポーネントとするトランスフォーマーは、現代の大規模言語や基礎モデルにおいて重要なアーキテクチャとなっている。 本稿では, 平均場連続性方程式を用いて, 大域極限で記述される深層エンコーダのみの変圧器におけるトークンの進化について検討する。 相互作用する多粒子系の収束解析から、トークンに対応する粒子を用いて、トークン分布が、キー、クエリ、値行列によって誘導される射影写像の下で、初期分布のプッシュフォワードに急速に集中し、中等度にメタスタブルであることを証明する。 具体的には、2つの分布のワッサーシュタイン距離が $\sqrt{{\log(β+1)}/β}\exp(Ct)+\exp(-ct)$ のような温度パラメータ $β^{-1}\to 0$ および推論時間 $t\geq 0$ のスケールを示す。 この証明のために、零温度方程式に対するリャプノフ型推定を定め、その極限を$t\to\infty$と定め、ワッサーシュタイン空間における安定性推定と2つの方程式を結合する定量的なラプラス原理を用いる。 以上の結果から,次数$\logβ$の時間スケールでは,トークン分布は同定された制限分布に集中することが示唆された。 数値実験によりこれを確認し、それ以外は、有限$β$と大$t$に対して、力学が値行列のスペクトルに支配される異なる終端位相に入ることを示すことによって、我々の理論を補完する。

関連論文リスト

• Quantitative Convergence of Wasserstein Gradient Flows of Kernel Mean Discrepancies [10.511277414974613]
  ケルネル平均離散関数のワッサーシュタイン勾配流の定量的収束について検討した。 我々の設定は、特に無限幅および連続時間制限における浅層ニューラルネットワークのトレーニング力学をカバーしている。
  論文  参考訳（メタデータ） (2026-03-02T15:32:54Z)
• Theta-term in Russian Doll Model: phase structure, quantum metric and BPS multifractality [45.88028371034407]
  ロシアドルモデル(RDM)の決定論的および不規則なバージョンにおける位相構造について検討する。 BA方程式から生じる大域電荷$Q(theta,gamma)$における相転移のパターンを見つける。 我々は、RDMモデルのハミルトニアンがヒルベルト空間の特に 2d-4d BPS セクターの混合を記述することを予想する。
  論文  参考訳（メタデータ） (2025-10-23T17:25:01Z)
• KPZ scaling from the Krylov space [83.88591755871734]
  近年,Cardar-Parisi-Zhangスケーリングをリアルタイムの相関器や自動相関器に示す超拡散が報告されている。 これらの結果から着想を得て,Krylov演算子に基づく相関関数のKPZスケーリングについて検討する。
  論文  参考訳（メタデータ） (2024-06-04T20:57:59Z)
• Quantum-critical properties of the one- and two-dimensional random transverse-field Ising model from large-scale quantum Monte Carlo simulations [0.0]
  本研究では1次元と2次元でT = 0$の焼成障害を有する強磁性横磁場イジングモデルについて検討する。 実効的なゼロ温度シミュレーションの強調は、既存の文献におけるいくつかの矛盾を解消する。
  論文  参考訳（メタデータ） (2024-03-08T11:20:42Z)
• Measurement-induced phase transition for free fermions above one dimension [46.176861415532095]
  自由フェルミオンモデルに対する$d>1$次元における測定誘起エンタングルメント相転移の理論を開発した。 臨界点は、粒子数と絡み合いエントロピーの第2累積のスケーリング$$elld-1 ln ell$でギャップのない位相を分離する。
  論文  参考訳（メタデータ） (2023-09-21T18:11:04Z)
• Theory of free fermions under random projective measurements [43.04146484262759]
  本研究では,一次元自由フェルミオンを局所的占有数のランダム射影的測定対象とする解析的手法を開発した。 問題の有効場理論として非線形シグマモデル(NLSM)を導出する。
  論文  参考訳（メタデータ） (2023-04-06T15:19:33Z)
• Entanglement distribution in the Quantum Symmetric Simple Exclusion Process [0.0]
  量子対称性簡易排他過程における絡み合いの確率分布について検討する。 ランダム行列理論によるクーロンガスのアプローチにより、熱力学極限におけるエントロピーの大規模偏差関数を解析的に計算する。
  論文  参考訳（メタデータ） (2021-02-09T10:25:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。