論文の概要: A multiscale analysis of mean-field transformers in the moderate interaction regime

• arxiv url: http://arxiv.org/abs/2509.25040v1
• Date: Mon, 29 Sep 2025 16:57:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:20.141216
• Title: A multiscale analysis of mean-field transformers in the moderate interaction regime
• Title（参考訳）: 中等度相互作用状態における平均場変圧器のマルチスケール解析
• Authors: Giuseppe Bruno, Federico Pasqualotto, Andrea Agazzi,
• Abstract要約: 本研究では,エンコーダのみの変圧器モデルを用いた推論時間におけるトークンの進化について検討する。 これらの相のそれぞれにおける極限力学の厳密な特徴づけを提供し、上述の極限における収束性を証明する。
• 参考スコア（独自算出の注目度）: 7.742297876120561
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we study the evolution of tokens through the depth of encoder-only transformer models at inference time by modeling them as a system of particles interacting in a mean-field way and studying the corresponding dynamics. More specifically, we consider this problem in the moderate interaction regime, where the number $N$ of tokens is large and the inverse temperature parameter $\beta$ of the model scales together with $N$. In this regime, the dynamics of the system displays a multiscale behavior: a fast phase, where the token empirical measure collapses on a low-dimensional space, an intermediate phase, where the measure further collapses into clusters, and a slow one, where such clusters sequentially merge into a single one. We provide a rigorous characterization of the limiting dynamics in each of these phases and prove convergence in the above mentioned limit, exemplifying our results with some simulations.
• Abstract（参考訳）: 本稿では,エンコーダのみの変圧器モデル深度によるトークンの進化を,平均フィールドで相互作用する粒子の系としてモデル化し,対応するダイナミクスについて検討する。 より具体的には、この問題は、トークンの数$N$が大きく、モデルの逆温度パラメータ$\beta$が$N$と共にスケールする穏健な相互作用系において考慮する。 この状態において、システムの力学は、トークン経験測度が低次元空間で崩壊する高速位相、その測度がさらにクラスターに崩壊する中間位相、そしてそのようなクラスターが連続的に1つの空間に合流する遅い位相といったマルチスケールの挙動を示す。 これら各相の極限力学を厳密に評価し、上述の極限の収束を証明し、いくつかのシミュレーションで結果を実証する。

関連論文リスト

• Error stabilized logical qubits in qudit generalizations of the monitored Kitaev model [0.0]
  我々は,ハニカムおよび正方格子上での北エフモデルのカンディット一般化のモニタリングされたダイナミクスについて検討した。 この結果から, 量子スピン液体とモニタ回路のダイナミックスとの豊富な相互作用が明らかになった。
  論文  参考訳（メタデータ） (2025-09-20T17:48:10Z)
• Efficiency of Dynamical Decoupling for (Almost) Any Spin-Boson Model [44.99833362998488]
  構造ボソニック環境と結合した2レベル系の動的疎結合を解析的に検討した。 このようなシステムに対して動的疎結合が機能する十分な条件を見つける。 私たちの境界は、様々な関連するシステムパラメータで正しいスケーリングを再現します。
  論文  参考訳（メタデータ） (2024-09-24T04:58:28Z)
• Entanglement dynamics in the many-body Hatano-Nelson model [0.0]
  非エルミート量子系における絡み合いのダイナミクスを数値解析し,準粒子像の観点から解析した。 以前の研究の主張とは対照的に、この非エルミート量子系における絡み合いのダイナミクスはエルミート量子系のものとは大きく異なる。
  論文  参考訳（メタデータ） (2023-08-06T10:12:41Z)
• Modeling the space-time correlation of pulsed twin beams [68.8204255655161]
  パラメトリックダウンコンバージョンによって生成される絡み合ったツインビームは、画像指向アプリケーションで好まれるソースである。 本研究では,時間消費数値シミュレーションと非現実的な平面波ポンプ理論のギャップを埋めることを目的とした半解析モデルを提案する。
  論文  参考訳（メタデータ） (2023-01-18T11:29:49Z)
• Photoinduced prethermal order parameter dynamics in the two-dimensional large-$N$ Hubbard-Heisenberg model [77.34726150561087]
  2次元相関電子モデルにおいて、競合する秩序相の微視的ダイナミクスについて検討する。 2つの競合する位相間の光誘起遷移をシミュレートする。
  論文  参考訳（メタデータ） (2022-05-13T13:13:31Z)
• Phase synchronization in dissipative non-Hermitian coupled quantum systems [0.0]
  補助モードに結合した$mathcalN$ボソニックモード系における非エルミート力学と位相同期の相互作用について検討する。 数モードから大小$mathcalN$のマクロ限界まで、不均一な周波数拡大の存在下でのシステムに対する解析的および数値解を提供する。
  論文  参考訳（メタデータ） (2021-11-03T13:12:59Z)
• Qubit-photon bound states in topological waveguides with long-range hoppings [62.997667081978825]
  フォトニックバンドギャップ材料と相互作用する量子エミッタは、クビット光子境界状態の出現につながる。 異なる位相におけるバルクモードとエミッタが重なり合うとき, クビット光子境界状態の特徴について検討した。 異なる位相相に現れるエッジモードに対するエミッタの結合について考察する。
  論文  参考訳（メタデータ） (2021-05-26T10:57:21Z)
• Simulation of complex dynamics of mean-field $p$-spin models using measurement-based quantum feedback control [0.0]
  量子計測とフィードバックを用いて多体スピン系の非線形力学をシミュレーションする新しい手法を適用した。 粒子スピンの断熱力学における動的相転移の性質と自発的対称性の破れの出現を含む応用について検討する。
  論文  参考訳（メタデータ） (2020-04-23T18:22:03Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。