論文の概要: Propagation of Chaos in Contextual Flow Maps
- arxiv url: http://arxiv.org/abs/2605.16747v1
- Date: Sat, 16 May 2026 02:03:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:47.001719
- Title: Propagation of Chaos in Contextual Flow Maps
- Title（参考訳）: 文脈フローマップにおけるカオスの伝播
- Authors: Shi Chen, Zhengjiang Lin, Kaizhao Liu, Philippe Rigollet,
- Abstract要約: 本研究では,文脈フローマップの抽象化を応用して,大域的なコンテクストシステムにおける変圧器の統計的理論を開発する。
カオスの伝播の力学と古典機械のマッキーン-ブラソフ構造を利用する。
- 参考スコア（独自算出の注目度）: 9.424822243203105
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We develop a quantitative statistical theory of transformers in the large-context regime by adopting the abstraction of contextual flow maps (CFMs): dynamical systems that evolve a distinguished token in the presence of a contextual measure across a stack of attention blocks. Within this framework, the finite-context model approximates an idealized infinite-context system in which the contextual measure is replaced by its underlying population, so that the context length $n$ becomes a statistical resource. Exploiting the McKean--Vlasov structure of the dynamics and the classical machinery of propagation of chaos, we establish a forward bound controlling the deviation between the finite- and infinite-context CFMs uniformly along depth, and a backward bound controlling the deviation between the corresponding training trajectories uniformly across iterations of online gradient descent. Both bounds achieve the optimal Wasserstein rate $n^{-1/d}$ for general CFMs and parametric rate $n^{-1/2}$ for a restricted class of CFMs that includes transformers as a special case. The analysis rests on a new Eulerian adjoint formulation of the loss gradient and stability estimates for the resulting forward--adjoint system, both of which may be of independent interest.
- Abstract（参考訳）: 本研究では,コンテキストフローマップ(CFM)の抽象化を応用して,大規模コンテキストシステムにおける変圧器の定量的な統計理論を開発する。
この枠組みの中で、有限コンテキストモデルは、文脈測度がその基礎となる人口に置き換えられる理想化された無限コンテキスト系を近似し、文脈長$n$が統計資源となる。
カオスの伝播の力学と古典機械のマッキーン・ブラソフ構造を爆発させ、有限コンテキスト CFM と無限コンテキスト CFM の間の偏差を一様に制御する前方境界と、オンライン勾配降下の反復を一様に横断する対応する訓練軌跡間の偏差を制御する後方境界を確立する。
どちらの境界も、一般的な CFM に対して最適なワッサーシュタインレート $n^{-1/d}$ と、特別な場合として変換器を含む制限された CFM のクラスに対してパラメトリックレート $n^{-1/2}$ を達成する。
この分析は、損失勾配の新しいユーレアン随伴方程式と、結果として生じる前方随伴系の安定性推定に基づいており、どちらも独立な関心を持つ可能性がある。
関連論文リスト
- Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。
我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。
重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
論文 参考訳（メタデータ） (2026-02-24T05:32:03Z) - A scalable flow-based approach to mitigate topological freezing [34.54607280864912]
マルコフチェインモンテカルロシミュレーションからトポロジカルアーティファクトを除去するフローベース戦略を提案する。
この戦略は、非平衡モンテカルロ更新を局所的で頑丈な欠陥層に置き換える正規化フロー(SNF)に基づいている。
欠点SNFは、同等のコストで非平衡法を再現するよりも優れた性能を示す。
論文 参考訳（メタデータ） (2026-01-28T15:40:46Z) - Noise-induced decoherence-free zones for anyons [0.0]
固定パラメータから変動量への交換位相の促進を行う異種システムのためのフレームワークを開発する。
保護モードは、常に$thetastar = pi/2$というデファを最小化し、$D$の特定の形式とは無関係であることを示す。
これは、ノイズの多い異音系におけるコヒーレンスを最適化するための単純な設計規則を強調している。
論文 参考訳（メタデータ） (2025-10-07T16:21:57Z) - Revisiting boundary-driven method for transport: Finite-size effects and the role of system-bath coupling [0.0]
2つのアプローチから計算したdc拡散定数 $mathcalD_textdc$ を比較して比較する。
我々は,システムバス結合に強い依存を示す$mathcalD_textdc$という,両者の明確なミスマッチを見出した。
現実的な解決法として,我々は境界駆動フレームワーク内での時間依存輸送係数の計算を提唱する。
論文 参考訳（メタデータ） (2025-07-22T12:35:03Z) - Scaling of Stochastic Normalizing Flows in $\mathrm{SU}(3)$ lattice gauge theory [44.99833362998488]
非平衡マルコフ連鎖モンテカルロシミュレーションは、ターゲット確率分布からのサンプルに対するジャージンスキーの等式に基づくよく理解されたフレームワークを提供する。
平衡外進化はフローベースアプローチの同じ枠組みを共有しており、自然に正規化フロー(SNF)と呼ばれる新しいアーキテクチャに結合することができる。
4次元における$mathrmSU(3)$の格子ゲージ理論に対するSNFの最初の実装は、非平衡モンテカルロ更新の間にゲージ同変層を導入することで定義される。
論文 参考訳（メタデータ） (2024-11-29T19:01:05Z) - Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。
我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。
本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文 参考訳（メタデータ） (2023-06-06T09:12:49Z) - Super-model ecosystem: A domain-adaptation perspective [101.76769818069072]
本稿では,ドメイン適応による新たなスーパーモデルパラダイムの理論的基礎を確立することを試みる。
スーパーモデルパラダイムは、計算とデータコストと二酸化炭素排出量を減らすのに役立つ。
論文 参考訳（メタデータ） (2022-08-30T09:09:43Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳（メタデータ） (2022-02-23T06:11:49Z) - Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
平均場ランゲヴィン力学の収束速度解析について述べる。
ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
論文 参考訳（メタデータ） (2022-01-25T17:13:56Z) - FPCR-Net: Feature Pyramidal Correlation and Residual Reconstruction for
Optical Flow Estimation [72.41370576242116]
フレーム対からの光フロー推定のための半教師付き特徴ピラミッド相関・残留再構成ネットワーク(FPCR-Net)を提案する。
ピラミッド相関マッピングと残留再構成の2つの主要なモジュールで構成されている。
実験結果から,提案手法は,平均終点誤差 (AEE) に対して0.80, 1.15, 0.10の改善を達成し,最先端性能を実現していることがわかった。
論文 参考訳（メタデータ） (2020-01-17T07:13:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。