論文の概要: Stochastic Scaling Limits and Synchronization by Noise in Deep Transformer Models

• arxiv url: http://arxiv.org/abs/2604.26898v1
• Date: Wed, 29 Apr 2026 17:09:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-30 15:59:36.50614
• Title: Stochastic Scaling Limits and Synchronization by Noise in Deep Transformer Models
• Title（参考訳）: 深部変圧器モデルにおける雑音による確率的スケーリング限界と同期
• Authors: Andrea Agazzi, Giuseppe Bruno, Eloy Mosig García, Samuele Saviozzi, Marco Romito,
• Abstract要約: MLP(Multi-Layer Perceptron)ブロックを用いた有限深度有限幅変圧器において,トークンの階層進化の経路収束性を証明する。 また、この極限におけるトークン分布の進化を記述した偏微分方程式を同定し、そのようなトークンの数が大きければカオスの伝播を証明する。
• 参考スコア（独自算出の注目度）: 6.60601600774899
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We prove pathwise convergence of the layerwise evolution of tokens in a finite-depth, finite-width transformer model with MultiLayer Perceptron (MLP) blocks to a continuous-time stochastic interacting particle system. We also identify the stochastic partial differential equation describing the evolution of the tokens' distribution in this limit and prove propagation of chaos when the number of such tokens is large. The bounds we establish are quantitative and the limits we consider commute. We further prove that the limiting stochastic model displays synchronization by noise and establish exponential dissipation of the interaction energy on average, provided that the common noise is sufficiently coercive relative to the deterministic self-attention drift. We finally characterize the activation functions satisfying the former condition.
• Abstract（参考訳）: 我々は,MultiLayer Perceptron (MLP)ブロックを用いた有限深度有限幅変圧器モデルにおけるトークンの階層的進化の経路的収束性を連続時間確率的相互作用粒子系に証明する。 また、この極限におけるトークン分布の進化を記述する確率的偏微分方程式を同定し、そのようなトークンの数が大きければカオスの伝播を証明する。 私たちが確立した境界は量的であり、通勤を考える限界である。 さらに,制約確率モデルが雑音による同期を示し,平均的な相互作用エネルギーの指数的消散を確立することを証明し,一般雑音が決定論的自己意図的ドリフトに対して十分に強制的であることを証明した。 最終的に、前者の条件を満たす活性化関数を特徴付ける。

関連論文リスト

• Quantum-to-Classical Computability Transition via Negative Markov Chains [0.0]
  局所的あるいは対的な相互作用の線形結合によって生じるユニタリ進化に対して、システムを効果的に古典化する少なくとも1つのノイズチャネルが存在することを示す。 このクラスのユニタリに対して、非偏極雑音を受ける開量子スピン鎖の力学が古典的シミュラビリティへの正確な遷移をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-04-21T18:11:19Z)
• Homogenized Transformers [5.290251602267728]
  重みを層や頭部で独立に再サンプリングする多頭部自己注意のランダムモデルについて検討した。 この力学系は, 深さ, 残留段数, および頭部の個数の適切な関節スケーリングの下では, 非自明な限界を許容する。
  論文  参考訳（メタデータ） (2026-04-02T12:39:27Z)
• Parallel Complex Diffusion for Scalable Time Series Generation [50.01609741902786]
  PaCoDiは周波数領域における生成モデリングを分離するスペクトルネイティブアーキテクチャである。 本研究では,PaCoDiが生成品質と推論速度の両方において,既存のベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2026-02-10T14:31:53Z)
• Propagation of Chaos in One-hidden-layer Neural Networks beyond Logarithmic Time [46.15741640288809]
  本稿では,a-width ニューラルネットワークの力学と無限幅ニューラルネットワークとの近似ギャップについて検討する。 平均場力学によって支配される微分方程式を通して、この近似ギャップを厳密に束縛する方法を実証する。
  論文  参考訳（メタデータ） (2025-04-17T17:24:38Z)
• Dynamical transitions from slow to fast relaxation in random open quantum systems [0.0]
  我々は、ハミルトン系とそのノイズとのカップリングが、入射が距離の力の法則として崩壊するランダム行列となるモデルについて検討する。 定常状態は常に機能しないが、アプローチされる速度は$alpha_H$と$alpha_L$によって3つのフェーズを示す。 摂動理論では、$(alpha_H, alpha_L)$平面の位相境界は弱く強い散逸に対して異なり、ノイズ強度の関数としての相転移が示唆される。
  論文  参考訳（メタデータ） (2022-11-23T20:56:46Z)
• Decimation technique for open quantum systems: a case study with driven-dissipative bosonic chains [62.997667081978825]
  量子系の外部自由度への不可避結合は、散逸(非単体)ダイナミクスをもたらす。 本稿では,グリーン関数の(散逸的な)格子計算に基づいて,これらのシステムに対処する手法を提案する。 本手法のパワーを,複雑性を増大させる駆動散逸型ボゾン鎖のいくつかの例で説明する。
  論文  参考訳（メタデータ） (2022-02-15T19:00:09Z)
• Entanglement Transitions from Stochastic Resetting of Non-Hermitian Quasiparticles [0.0]
  エンタングルメントエントロピーの統計量に対する更新式を書き、準粒子崩壊率のスペクトルによって異なるエンタングルメントスケーリングが起こり、さらには急激なエンタングルメント相転移が起こることを示した。 量子ジャンプによって横磁化を測定する量子イジングチェーンに適用した場合、この理論はエンタングルメントの対数的スケーリング、領域法相、およびそれらの間の連続相転移を伴う臨界相を予測し、遷移点における正方根として有効中心電荷が消滅する。
  論文  参考訳（メタデータ） (2021-11-05T13:38:04Z)
• Continuous-time dynamics and error scaling of noisy highly-entangling quantum circuits [58.720142291102135]
  最大21キュービットの雑音量子フーリエ変換プロセッサをシミュレートする。 我々は、デジタルエラーモデルに頼るのではなく、微視的な散逸過程を考慮に入れている。 動作中の消散機構によっては、入力状態の選択が量子アルゴリズムの性能に強い影響を与えることが示される。
  論文  参考訳（メタデータ） (2021-02-08T14:55:44Z)
• From stochastic spin chains to quantum Kardar-Parisi-Zhang dynamics [68.8204255655161]
  量子対称性簡易排他プロセスの非対称拡張を導入する。 フェルミオンの時間積分電流は、量子非線形力学を示す高さ場を定義する。
  論文  参考訳（メタデータ） (2020-01-13T14:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。