論文の概要: Phase transitions for the noisy transformer model in arbitrary dimension

• arxiv url: http://arxiv.org/abs/2606.05140v1
• Date: Wed, 03 Jun 2026 17:49:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.938617
• Title: Phase transitions for the noisy transformer model in arbitrary dimension
• Title（参考訳）: 任意の次元におけるノイズトランスモデルの相転移
• Authors: Kyunghoo Mun, Matthew Rosenzweig,
• Abstract要約: 雑音変換器の非正規化自己アテンション(USA)モデルに付随する単位球上のマッキーン-ブラソフ自由エネルギーについて検討する。 我々は、すべての次元が$dge2$で、鋭い大域最小化二分法を証明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the McKean--Vlasov free energy on the unit sphere associated with the unnormalized self-attention (USA) model for noisy transformer dynamics. We prove a sharp global-minimizer dichotomy in every dimension $d\ge2$. There is a unique $β_*^{(d)}>0$ such that \begin{equation*} \frac{I_{d/2+1}(β_*^{(d)})}{I_{d/2}(β_*^{(d)})}=\frac1d, \end{equation*} where $I_ν$ is the modified Bessel function of the first kind. For $0<β\le β_*^{(d)}$, the uniform density remains the unique global minimizer up to the linear-stability threshold \begin{equation*} K_\#^{(d)}(β)=\frac{β^{d/2}}{2^{d/2}Γ(d/2)I_{d/2}(β)}, \end{equation*} and the phase transition is continuous. For $β>β_*^{(d)}$, the uniform density is not globally minimizing at $K_\#^{(d)}(β)$, so the critical coupling satisfies $K_c<K_\#^{(d)}(β)$ and the transition is discontinuous. This result generalizes the authors' recent $d=2$ work arXiv:2604.16288 to arbitrary dimension. The proof uses the sharp Beckner--Onofri/logarithmic Hardy-Littlewood-Sobolev (HLS) inequality on the sphere, together with a Funk--Hecke/Bessel coefficient computation and a degree-two quartic obstruction.
• Abstract（参考訳）: 雑音変換器の非正規化自己アテンション(USA)モデルに付随する単位球上のマッキーン-ブラソフ自由エネルギーについて検討する。 我々は、すべての次元$d\ge2$において、鋭い大域最小化二分法を証明した。 ユニークな $β_*^{(d)}>0$ が存在して、 \begin{equation*} \frac{I_{d/2+1}(β_*^{(d)})}{I_{d/2}(β_*^{(d)})}=\frac1d, \end{equation*} ここで $I_ν$ は第一種のベッセル函数である。 0<β\le β_*^{(d)}$の場合、一様密度は線形安定しきい値 K_\#^{(d)}(β)=\frac{β^{d/2}}{2^{d/2}\(d/2)I_{d/2}(β)} まで一様大小値のままであり、相転移は連続である。 例えば$β>β_*^{(d)}$の場合、一様密度は全世界で$K_\#^{(d)}(β)$と最小化されないので、臨界結合は$K_c<K_\#^{(d)}(β)$を満足し、遷移は不連続である。 この結果は著者の最近の$d=2$ work arXiv:2604.16288を任意の次元に一般化する。 この証明は、Funk--Hecke/Bessel係数計算と次数2のクォート障害物と共に、球面上の鋭いベックナー--Onofri/logarithmic Hardy-Littlewood-Sobolev(HLS)不等式を用いている。

関連論文リスト

• Tikhonov-regularised projected gradient flow for equality-constrained bilinear quantum control [0.0]
  本研究では,$mathcalH=L(0,T;mathbbR)$に対する等式制約制御対象に対する投影型勾配流について検討する。 i) $(_varepsilon)=(_min2+varepsilon2)$; (ii) Objective monotonicity $mathrmdJ/
  論文  参考訳（メタデータ） (2026-04-29T12:53:58Z)
• Phase transitions in Doi-Onsager, Noisy Transformer, and other multimodal models [0.0]
  円上での反発-誘電性平均場自由エネルギーの相転移について検討した。 臨界結合強度$K_c$は均一分布の線形安定性閾値$K_#$と一致することを証明した。
  論文  参考訳（メタデータ） (2026-04-17T17:50:29Z)
• Optimal Scalar Quantization for Matrix Multiplication: Closed-Form Density and Phase Transition [50.36362492608702]
  乗算前の2つの行列のエントリーワイズスカラー量子化について検討した。 我々は、閉形式の最適点密度 [ star(u) propto exp!left(-fracu26right)bigl( (1-2)+2u22bigr), qquad u=fracx_X を求め、相関駆動相転移を証明した。
  論文  参考訳（メタデータ） (2026-03-20T01:53:44Z)
• Quantum Brownian motion with non-Gaussian noises: Fluctuation-Dissipation Relation and nonlinear Langevin equation [0.0]
  我々は1つの発振器を持つ量子ブラウン運動(QBM)モデルをシステムとみなす。 インフルエンサーアクション$S_IF$は、摂動展開を$$で計算する。 非ガウス雑音核は、対応する力のゼロでない3点相関関数をもたらす。
  論文  参考訳（メタデータ） (2026-02-11T02:03:26Z)
• On the $O(\frac{\sqrt{d}}{T^{1/4}})$ Convergence Rate of RMSProp and Its Momentum Extension Measured by $\ell_1$ Norm [54.28350823319057]
  本稿では、RMSPropとその運動量拡張を考察し、$frac1Tsum_k=1Tの収束速度を確立する。 我々の収束率は、次元$d$を除くすべての係数に関して下界と一致する。 収束率は$frac1Tsum_k=1Tと類似していると考えられる。
  論文  参考訳（メタデータ） (2024-02-01T07:21:32Z)
• A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
  非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。 本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。 また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
  論文  参考訳（メタデータ） (2023-09-25T17:54:19Z)
• Measurement-induced phase transition for free fermions above one dimension [46.176861415532095]
  自由フェルミオンモデルに対する$d>1$次元における測定誘起エンタングルメント相転移の理論を開発した。 臨界点は、粒子数と絡み合いエントロピーの第2累積のスケーリング$$elld-1 ln ell$でギャップのない位相を分離する。
  論文  参考訳（メタデータ） (2023-09-21T18:11:04Z)
• Optimal Mean Estimation without a Variance [103.26777953032537]
  本研究では,データ生成分布の分散が存在しない環境での重み付き平均推定問題について検討する。 最小の信頼区間を$n,d,delta$の関数として得る推定器を設計する。
  論文  参考訳（メタデータ） (2020-11-24T22:39:21Z)
• R\'{e}nyi and Tsallis entropies of the Dirichlet and Neumann one-dimensional quantum wells [0.0]
  1次元量子井戸のディリクレとノイマン境界条件(BCs)を研究する。 BC のどちらに対しても、パラメータ $alpha$ 上の R'enyi 位置成分の依存関係はすべての軌道で同じである。 2つのBCの閾値$alpha_TH$の間のギャップは、$alpha$の関数としてR'enyiの不確実性関係の異なる振る舞いを引き起こす。
  論文  参考訳（メタデータ） (2020-03-09T18:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。