論文の概要: Random Quadratic Form on a Sphere: Synchronization by Common Noise
- arxiv url: http://arxiv.org/abs/2603.06187v1
- Date: Fri, 06 Mar 2026 11:55:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-09 13:17:45.586848
- Title: Random Quadratic Form on a Sphere: Synchronization by Common Noise
- Title（参考訳）: 球面上のランダム2次形式:共通雑音による同期
- Authors: Maximilian Engel, Anna Shalova,
- Abstract要約: 我々はRandom Quadratic Form (RQF)を紹介する。
システムの不変測度とランダムな誘引子を研究することにより,解の分布的特徴と経路的特徴を両立させる。
RQFモデルは、変圧器における線形層の役割の研究に動機付けられ、変圧器の単純化モデルで生じる一般的なノイズ現象による同期を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce the Random Quadratic Form (RQF): a stochastic differential equation which formally corresponds to the gradient flow of a random quadratic functional on a sphere. While the one-point dynamics of the system is a Brownian motion and thus has no preferred direction, the two-point motion exhibits nontrivial synchronizing behaviour. In this work we study synchronization of the RQF, namely we give both distributional and path-wise characterizations of the solutions by studying invariant measures and random attractors of the system. The RQF model is motivated by the study of the role of linear layers in transformers and illustrates the synchronization by common noise phenomena arising in the simplified models of transformers. In particular, we provide an alternative (independent of self-attention) explanation of the clustering behaviour in deep transformers and show that tokens cluster even in the absence of the self-attention mechanism.
- Abstract（参考訳）: ランダム二次形式(RQF: Random Quadratic Form)は、球面上のランダム二次関数の勾配流に正式に対応する確率微分方程式である。
系の一点ダイナミクスはブラウン運動であり、したがって好ましい方向を持たないが、2点運動は非自明な同期動作を示す。
本研究では、RQFの同期、すなわち、システムの不変測度とランダムな誘引子を研究することにより、解の分布的特徴と経路的特徴の両方を与える。
RQFモデルは、変圧器における線形層の役割の研究に動機付けられ、変圧器の単純化モデルで生じる一般的なノイズ現象による同期を示す。
特に、ディープトランスにおけるクラスタリング動作の代替(自己注意に依存しない)説明を提供し、自己注意機構がなくてもトークンがクラスタ化することを示す。
関連論文リスト
- On the Mechanism and Dynamics of Modular Addition: Fourier Features, Lottery Ticket, and Grokking [49.1352577985191]
本稿では,2層ニューラルネットワークがモジュール追加タスクを解くために,機能をどのように学習するかを包括的に分析する。
我々の研究は、学習したモデルの完全な機械論的解釈と、その訓練力学の理論的説明を提供する。
論文 参考訳（メタデータ） (2026-02-18T20:25:13Z) - Spectral Diffusion Models on the Sphere [0.0]
拡散モデル(英: Diffusion model)は、微分方程式と時間反転力学による生成モデリングの原理的な枠組みを提供する。
球面上の実数値関数の有限次元調和表現を直接定義する拡散モデリングフレームワークを開発する。
論文 参考訳（メタデータ） (2026-01-28T11:19:37Z) - Disordered Dynamics in High Dimensions: Connections to Random Matrices and Machine Learning [52.26396748560348]
ランダム行列によって駆動される高次元力学系について概説する。
機械学習理論における学習と一般化の単純なモデルへの応用に焦点を当てる。
論文 参考訳（メタデータ） (2026-01-03T00:12:32Z) - Data-driven ODE modeling of the high-frequency complex dynamics via a low-frequency dynamics model [0.0]
本稿では,流体流の高周波断続挙動を含む流体力学をモデリングする新しい手法を提案する。
1つは基本変数の自律システムであり、もう1つは目的変数が項に影響を受けていることに関するものである。
構成されたジョイントモデルは、短い軌跡だけでなく、長い軌跡から得られたカオス集合と統計的性質の再構築にも成功している。
論文 参考訳（メタデータ） (2024-09-01T09:06:32Z) - On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。
本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
論文 参考訳（メタデータ） (2024-05-18T15:59:41Z) - Causal Modeling with Stationary Diffusions [89.94899196106223]
定常密度が干渉下でのシステムの挙動をモデル化する微分方程式を学習する。
古典的アプローチよりもよく、変数に対する見当たらない介入を一般化することを示します。
提案手法は,再生カーネルヒルベルト空間における拡散発生器の定常状態を表す新しい理論結果に基づく。
論文 参考訳（メタデータ） (2023-10-26T14:01:17Z) - Dual symplectic classical circuits: An exactly solvable model of
many-body chaos [0.0]
2点動的相関関数は光円錐の端にしか存在しないことを証明した。
我々は、古典的なフロケスピン鎖のダイナミクスを記述し、この理論を双共シンプレクティック回路の特定の族で検証する。
論文 参考訳（メタデータ） (2023-07-04T15:48:41Z) - The entanglement membrane in chaotic many-body systems [0.0]
ある種の解析的抽出可能な量子カオスシステムでは、時間外相関関数の計算、クエンチ後の絡み合いエントロピー、その他の関連する動的可観測物は、時空における絡み合い膜の効果的な理論に還元される。
ここでは、ランダムなユニタリ平均を含まない、より現実的なモデルでこの膜を理解する方法を示す。
論文 参考訳（メタデータ） (2019-12-27T19:01:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。