論文の概要: Reachability and asymptotics of Gaussian Transformer dynamics
- arxiv url: http://arxiv.org/abs/2606.07600v1
- Date: Fri, 29 May 2026 07:51:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 07:09:36.765793
- Title: Reachability and asymptotics of Gaussian Transformer dynamics
- Title（参考訳）: ガウス変圧器力学の到達性と漸近
- Abstract要約: 大規模言語モデルを利用した機械学習アーキテクチャであるTransformerを通じて,データの伝播を定式化する。
ガウス分布が誘導流れに沿ってちょうどガウス分布であることを示す。
我々は、所定のガウスモーメントの到達可能性問題としてトランスフォーマーの表現能力を再構成する。
- 参考スコア（独自算出の注目度）: 2.669398324965473
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We formulate data propagation through the Transformer, the machine learning architecture powering large language models, as a nonlinear control system on the space of probability measures. For the mean-field Transformer model with self-attention and affine feed-forward layers, we prove that Gaussian distributions remain exactly Gaussian along the induced flow. This invariance reduces the infinite-dimensional measure dynamics to a finite-dimensional bilinear control system governing the evolution of the mean and covariance, reformulates the expressive capacity of Transformers as a reachability problem for prescribed Gaussian moments, and reveals a novel connection with Riccati-type equations from classical filtering and control. For time-varying controls, we prove exact finite-time reachability of any target Gaussian distribution whose covariance matrix has the same rank as the initial one, this rank constraint being an intrinsic invariant of the dynamics. For time-invariant parameters, we derive explicit spectral conditions leading either to asymptotic stability toward positive-definite equilibria or to finite-time blow-up of the covariance. Numerical experiments complement the theory by showing that practical Transformers with Gaussian inputs remain close to moment-matched Gaussian distributions through early and intermediate layers, while Transformers with prescribed attention matrices reproduce the predicted covariance regimes: bounded evolution in stabilizing configurations and blow-up in destabilizing ones.
- Abstract（参考訳）: 確率測度空間上の非線形制御系として,大規模言語モデルを利用した機械学習アーキテクチャであるTransformerを用いてデータ伝搬を定式化する。
自己注意層とアフィンフィードフォワード層を持つ平均場変換器モデルに対し、ガウス分布が誘導流れに沿って正確にガウス分布であることを示す。
この不変性は、平均と共分散の進化を管理する有限次元双線型制御系に無限次元測度力学を還元し、所定のガウスモーメントの到達可能性問題としてトランスフォーマーの表現能力を再構成し、古典的なフィルタリングと制御からリカティ型方程式との新たな関係を明らかにする。
時間変化制御では、共分散行列が初期値と同じ階数を持つ任意のガウス分布の正確な有限時間到達性を証明し、この階数制約は力学の本質的不変量である。
時間不変パラメータに対しては、漸近的安定性を正定値平衡に導く明示的なスペクトル条件や、共分散の有限時間ブローアップを導出する。
数値実験は、ガウス入力を持つ実用的な変圧器は、初期層と中間層を通してモーメントマッチングされたガウス分布に近づき、一方、所定の注意行列を持つ変圧器は予測された共分散状態、すなわち、構成の安定化における有界進化と不安定化における爆発的進化を再現することを示すことによって、この理論を補完する。
関連論文リスト
- Generalization Bounds on Optimal Control for Transformer Training and Wasserstein Distributional Robustness [8.564319625930894]
我々は、データセットを経験的入出力尺度のペアの確率法則とみなし、トレーニング問題を有限水平マルコフ制御問題と解釈することができる。
同じ機械がトレーニング問題の分布的に頑健な制御を定式化し、Transformerの一般化とWassersteinの分布的に頑健な最適化を接続することを示す。
論文 参考訳（メタデータ） (2026-07-30T10:22:38Z) - Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。
我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。
重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
論文 参考訳（メタデータ） (2026-02-24T05:32:03Z) - Rethinking Diffusion Models with Symmetries through Canonicalization with Applications to Molecular Graph Generation [56.361076943802594]
CanonFlowは、挑戦的なGEOM-DRUGデータセット上で最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-02-16T18:58:55Z) - Diffusion-Inspired Reconfiguration of Transformers for Uncertainty Calibration [52.017716672255524]
プレトレーニングトランスにおける不確実性校正は、リスクに敏感なアプリケーションへの信頼性の高い展開において重要である。
本稿では,各特徴変換ブロックを確率的写像としてモデル化したトランスフォーマの拡散インスピレーションによる再構成を提案する。
本手法は既存の不確実性認識変換器と比較してキャリブレーションと予測精度が優れている。
論文 参考訳（メタデータ） (2026-02-09T17:24:47Z) - Random-Matrix-Induced Simplicity Bias in Over-parameterized Variational Quantum Circuits [72.0643009153473]
本稿では,観測可能な期待値とパラメータ勾配の両方がシステムサイズに指数関数的に集中するHaar型普遍性クラスに,表現的変分アンサーゼが入ることを示す。
その結果、そのような回路によって誘導される仮説クラスは、近点関数の狭い族に高い確率で崩壊する。
テンソル-ネットワークベースおよびテンソル-ハイパーネットワークパラメータ化を含むテンソル構造VQCは、ハール型普遍性クラスの外にある。
論文 参考訳（メタデータ） (2026-01-05T08:04:33Z) - Closed-Loop Transformers: Autoregressive Modeling as Iterative Latent Equilibrium [0.6820746164515952]
閉ループ予測の原理を導入し、自己整合平衡に達するまで、モデルが反復的に潜在表現を洗練することを要求する。
この原理をEquilibrium Transformerとしてインスタンス化し,標準トランス層をEquilibrium Refinement Moduleで拡張する。
バイナリパリティタスクに関する予備実験では、チャレンジシーケンスの平均改善率は+3.28%で、標準トランスフォーマーがランダムなパフォーマンスに近づくと+8.07%に達する。
論文 参考訳（メタデータ） (2025-11-26T20:02:59Z) - Scalable Equilibrium Sampling with Sequential Boltzmann Generators [60.00515282300297]
Boltzmannジェネレータフレームワークを2つの重要なコントリビューションで拡張する。
1つ目は、全原子カルテシアン座標で直接動作する非常に効率的なトランスフォーマーベースの正規化フローである。
特に,連続モンテカルロの連続時間変種を用いて,流れサンプルの推論時スケーリングを行う。
論文 参考訳（メタデータ） (2025-02-25T18:59:13Z) - Asymptotics of Linear Regression with Linearly Dependent Data [28.005935031887038]
非ガウス共変量の設定における線形回帰の計算について検討する。
本稿では,依存性が推定誤差と正規化パラメータの選択にどのように影響するかを示す。
論文 参考訳（メタデータ） (2024-12-04T20:31:47Z) - Geometric Dynamics of Signal Propagation Predict Trainability of
Transformers [22.25628914395565]
深部変圧器における前方信号伝搬と勾配バック伝搬について検討する。
我々のアプローチは、変換器層を通して伝播する$nトークンの進化を扱う。
実験を通して、トレーニング終了時の最終的なテスト損失は、これらの2つの指数だけで十分に予測されていることを示す。
論文 参考訳（メタデータ） (2024-03-05T01:30:34Z) - Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。
我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。
本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文 参考訳（メタデータ） (2023-06-06T09:12:49Z) - NAG-GS: Semi-Implicit, Accelerated and Robust Stochastic Optimizer [45.47667026025716]
2つの重要な要素に依存した、新しく、堅牢で、加速された反復を提案する。
NAG-GSと呼ばれる手法の収束と安定性は、まず広範に研究されている。
我々は、NAG-arityが、重量減衰を伴う運動量SGDや機械学習モデルのトレーニングのためのAdamWといった最先端の手法と競合していることを示す。
論文 参考訳（メタデータ） (2022-09-29T16:54:53Z) - Signatures of Chaos in Non-integrable Models of Quantum Field Theory [0.0]
1+1)D量子場理論(QFT)モデルにおける量子カオスのシグネチャについて検討する。
我々は、二重正弦ガードンに焦点をあて、巨大な正弦ガードンと$phi4$モデルの研究も行っている。
論文 参考訳（メタデータ） (2020-12-15T18:56:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。