論文の概要: SympFormer: Inertial Attention Blocks from Damped Hamiltonian Dynamics on Spaces of Probability Measures
- arxiv url: http://arxiv.org/abs/2610.31600v1
- Date: Thu, 22 Oct 2026 17:32:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.498249
- Title: SympFormer: Inertial Attention Blocks from Damped Hamiltonian Dynamics on Spaces of Probability Measures
- Title（参考訳）: SympFormer:確率の空間における減衰ハミルトン力学からの慣性注意ブロック
- Abstract要約: 近年の視点では、平均場限界はワッサーシュタイン型計量を備えた$mathbb Rd$上のエネルギー汎関数の勾配流に対応する粒子系として注意ブロックを解釈している。
我々はこの視点を、密度空間上の慣性、ネステロフ型減衰ハミルトン力学から加速された注意ブロックを導出することによって拡張する。
特に、Otto-Wasserstein と Softmax-Wasserstein の設定に対する局所運動量幾何学と、線形アテンション核の縮退を解く商シュタイン幾何学を導入し、よく定義された計量および微分積分を導出する。
- 参考スコア（独自算出の注目度）: 5.291804034886222
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The attention mechanism underpins modern large language models, yet their dynamics remain only partially understood. Recent perspectives interpret attention blocks as interacting particle systems, whose mean-field limits correspond to gradient flows of energy functionals on spaces of probability densities on $\mathbb R^d$ equipped with Wasserstein-type metrics. We extend this viewpoint by deriving accelerated attention blocks from inertial, Nesterov-type damped Hamiltonian dynamics on these density spaces, developing the geometry and differential calculus needed to make the construction rigorous. In particular, we introduce a local-mobility geometry for the Otto-Wasserstein and softmax-Wasserstein settings, and a quotient Stein geometry that resolves the degeneracy of the linear-attention kernel to yield a well-defined metric and differential calculus. We provide rigorous foundations when softmax attention admits a gradient-flow formulation and when its inertial counterpart admits a damped Hamiltonian on explicitly characterized domains. For linear attention, we obtain a finite-dimensional solution theory with sharp conditions for global existence versus finite-time second-moment blow-up. We further prove a quantitative link between continuous moment blow-up and the discrete-layer depth at which token norms cross a prescribed threshold. Finally, motivated by the finite-token geometry, we propose geometric corrections to token and momentum updates. In decoder-only, nanoGPT-style experiments on TinyStories and OpenWebText, these corrections lower validation negative log-likelihood on next-token prediction relative to momentum-only controls.
- Abstract（参考訳）: 注意機構は現代の大きな言語モデルを支えるが、その力学は部分的にしか理解されていない。
近年の視点では、平均場限界は、ワッサーシュタイン型計量を持つ$\mathbb R^d$上の確率密度空間上のエネルギー汎関数の勾配フローに対応する粒子系として注意ブロックを解釈している。
我々は、これらの密度空間上の慣性、ネステロフ型減衰ハミルトン力学から加速された注意ブロックを導出し、構造を厳密にするために必要となる幾何および微分計算を開発することにより、この視点を拡張した。
特に、Otto-Wasserstein と Softmax-Wasserstein の設定に対する局所運動量幾何学と、線形アテンション核の縮退を解く商シュタイン幾何学を導入し、よく定義された計量および微分積分を導出する。
我々は、ソフトマックスアテンションが勾配-フローの定式化を許容し、慣性アテンションが明確に特徴づけられた領域に減衰されたハミルトン多様体を認めるとき、厳密な基礎を提供する。
線形注意のために、有限時間第二モーメントブローアップに対して、大域的存在の鋭い条件を持つ有限次元解理論を得る。
さらに,トークンノルムが所定のしきい値を超えた連続モーメント爆破と離散層深さとの定量的な関係を証明した。
最後に、有限トークン幾何を動機として、トークンとモーメントの更新に対する幾何補正を提案する。
TinyStoriesとOpenWebTextのデコーダのみによるナノGPTスタイルの実験において、これらの補正は運動量のみの制御に対する次のトーケン予測において、負の対数類似度を低くする。
関連論文リスト
- Beyond the Ergodic Wall: A Discrete Geometric Physics Sandbox for Analysing AI Scaling Limits and Complexity Collapse [0.0]
真のセマンティックノベルティは、非エルゴディックな洞察を注入するためにパスに依存し、時間的に制限されたオブザーバー(LifeCone)を必要とする。
本研究では,ホログラフィックE8プロジェクションエンジンを用いて実世界の制約に対するモデル検証を行うデジタル物理サンドボックスを提案する。
論文 参考訳（メタデータ） (2026-10-07T15:58:54Z) - Discrete Wasserstein Flows for One-Step Generative Modeling [42.418429168532406]
有限状態空間上の一段階生成モデリングのための新しいフレームワークを提案する。
可逆マルコフカーネルの遷移に対する目標相対的KL勾配流を定義する。
我々は、マルコフジャンプによる粒子レベルでのこの確率フローを実現し、その結果のトランスポート更新を遅延条件付きジェネレータに記憶させる。
論文 参考訳（メタデータ） (2026-10-01T09:25:25Z) - Teacher Knows It Best: Spontaneous Symmetry Breaking and Tipping Points in Networked Langevin Dynamics AI Sycophancy [5.868852957948178]
我々は,加法雑音と社会的適合性によって駆動される不安定性を示すネットワーク力学系をモデル化する統計物理学の枠組みを定式化する。
我々は,このモデルを用いて,AIによる妄想スパイラルの理解と緩和を行う。これは,大規模言語モデルからのアルゴリズム的梅毒が,不正確な信念を継続的に補強する現象である。
数学的には、特定の条件下では、大規模ハブをターゲットとする高度に集中した迅速な介入が、ネットワークを救うための分散的、遅いアプローチを厳密に上回っていることを証明している。
論文 参考訳（メタデータ） (2026-07-27T11:47:57Z) - SympFormer: Accelerated attention blocks via Inertial Dynamics on Density Manifolds [5.780915747503353]
我々は密度空間上の慣性ネステロフ型力学から導かれる加速された注意ブロックを導入する。
時間離散化と加速密度ダイナミクスの近似により、ハミルトン運動量注意ブロックが得られる。
本研究は,加速された注目ブロックによって楕円的に収束した確率分布が保存されていることを証明した。
論文 参考訳（メタデータ） (2026-03-17T13:56:17Z) - Symmetry-protected topology and deconfined solitons in a multi-link $\mathbb{Z}_2$ gauge theory [45.88028371034407]
球殻の大円として視覚化できるリンクを持つ多重グラフ上で定義された$mathbbZ$格子ゲージ理論を研究する。
これは、ピエルズ不安定性に類似した現象の根底にある状態依存トンネル振幅につながることを示す。
行列積状態に基づいて詳細な解析を行うことで、電荷分解が電荷-摩擦化の結果生じることを証明できる。
論文 参考訳（メタデータ） (2026-03-02T22:59:25Z) - Deep Sequence Modeling with Quantum Dynamics: Language as a Wave Function [0.0]
学習時間依存ハミルトニアンの下で有限次元ヒルベルト空間上で進化する複素数値波動関数を潜在状態とするシーケンスモデリングフレームワークを導入する。
等級と相対位相を結合する2次測定演算子であるボルン則を用いて、トークン確率を抽出する。
我々は、潜在確率質量の連続性方程式を導出し、組込み診断として機能する対流を保存する。
論文 参考訳（メタデータ） (2026-02-24T23:42:18Z) - Emergent Manifold Separability during Reasoning in Large Language Models [46.78826734548872]
Chain-of-Thoughtは大規模言語モデルの推論を大幅に改善する。
本研究では,潜伏表現の線形分離性について,探究訓練の難易度を考慮せずに定量化する。
論文 参考訳（メタデータ） (2026-02-23T20:36:17Z) - From Chern to Winding: Topological Invariant Correspondence in the Reduced Haldane Model [0.4249842620609682]
我々は、ジグザグエッジを持つハニカム格子上で定義されたハルダンモデルの位相的性質とエッジ状態について、正確に分析した。
この$nu$は、位相的に非自明な位相において、親モデルのチャーン数を正確に再現することを示す。
我々の分析により、エッジ状態がバルクエネルギーギャップを横切る臨界運動量$k_c$がさらに明らかになった。
論文 参考訳（メタデータ） (2025-05-26T19:11:43Z) - Propagation of Chaos in One-hidden-layer Neural Networks beyond Logarithmic Time [46.15741640288809]
本稿では,a-width ニューラルネットワークの力学と無限幅ニューラルネットワークとの近似ギャップについて検討する。
平均場力学によって支配される微分方程式を通して、この近似ギャップを厳密に束縛する方法を実証する。
論文 参考訳（メタデータ） (2025-04-17T17:24:38Z) - A Floquet-Rydberg quantum simulator for confinement in $\mathbb{Z}_2$
gauge theories [44.99833362998488]
量子技術分野の最近の進歩は、小型量子シミュレータの実現への道を開いた。
実時間力学の量子シミュレーションのためのスケーラブルなFloquetスキームを$mathbbZ$ LGTで提案する。
Floquet-Rydberg セットアップにおけるゲージ不変閉じ込め力学の観測が,現在の実験手法の到達点であることを示す。
論文 参考訳（メタデータ） (2023-11-28T13:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。