論文の概要: SympFormer: Accelerated attention blocks via Inertial Dynamics on Density Manifolds
- arxiv url: http://arxiv.org/abs/2603.16535v1
- Date: Tue, 17 Mar 2026 13:56:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-18 17:42:07.312942
- Title: SympFormer: Accelerated attention blocks via Inertial Dynamics on Density Manifolds
- Title（参考訳）: SympFormer: 密度多様体上の慣性ダイナミクスによる注意ブロックの高速化
- Authors: Viktor Stein, Wuchen Li, Gabriele Steidl,
- Abstract要約: 我々は密度空間上の慣性ネステロフ型力学から導かれる加速された注意ブロックを導入する。
時間離散化と加速密度ダイナミクスの近似により、ハミルトン運動量注意ブロックが得られる。
本研究は,加速された注目ブロックによって楕円的に収束した確率分布が保存されていることを証明した。
- 参考スコア（独自算出の注目度）: 5.780915747503353
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformers owe much of their empirical success in natural language processing to the self-attention blocks. Recent perspectives interpret attention blocks as interacting particle systems, whose mean-field limits correspond to gradient flows of interaction energy functionals on probability density spaces equipped with Wasserstein-$2$-type metrics. We extend this viewpoint by introducing accelerated attention blocks derived from inertial Nesterov-type dynamics on density spaces. In our proposed architecture, tokens carry both spatial (feature) and velocity variables. The time discretization and the approximation of accelerated density dynamics yield Hamiltonian momentum attention blocks, which constitute the proposed accelerated attention architectures. In particular, for linear self-attention, we show that the attention blocks approximate a Stein variational gradient flow, using a bilinear kernel, of a potential energy. In this setting, we prove that elliptically contoured probability distributions are preserved by the accelerated attention blocks. We present implementable particle-based algorithms and demonstrate that the proposed accelerated attention blocks converge faster than the classical attention blocks while preserving the number of oracle calls.
- Abstract（参考訳）: トランスフォーマーは、自然言語処理における経験的な成功の多くを自己認識ブロックに負っている。
近年の視点では、平均場限界は、ワッサーシュタイン型2$型測定器を備えた確率密度空間上の相互作用エネルギー汎関数の勾配流に対応する相互作用粒子系として注意ブロックを解釈している。
我々は、密度空間上の慣性ネステロフ型力学から導かれる加速された注意ブロックを導入することにより、この視点を拡大する。
提案アーキテクチャでは,トークンには空間(機能)変数と速度変数の両方が格納されている。
加速度密度ダイナミクスの時間離散化と近似により、ハミルトン運動量注意ブロックが得られ、これは提案された加速された注意アーキテクチャを構成する。
特に、線形自己アテンションに対しては、アテンションブロックがポテンシャルエネルギーの双線型核を用いてスタイン変分勾配流を近似していることが示される。
この設定では、加速された注目ブロックによって楕円的に収束した確率分布が保存されていることを示す。
実装可能な粒子ベースアルゴリズムを提案し,提案手法が従来の注目ブロックよりも早く収束することを示した。
関連論文リスト
- Topological Boundary Time Crystal Oscillations [39.146761527401424]
境界時間結晶(BTC)は時間変換対称性を破り、初期条件に敏感な長寿命で頑健な振動を示す。
集合スピン BTC は作用素空間において創発的トポロジカルな巻数を持つことを示す。
以上の結果から, BTC力学をトポロジ的に制約された作用素空間輸送の一形態として捉えた。
論文 参考訳（メタデータ） (2026-02-19T19:00:17Z) - From Black Hole to Galaxy: Neural Operator: Framework for Accretion and Feedback Dynamics [70.27068115318681]
ニューラルベースの「サブグリッドブラックホール」を導入し、小さな局所力学を学習し、直接シミュレーションに組み込む。
微細な進化の大きなスピードアップにより、我々は、降着駆動のフィードバックで固有の変動を捉え、中心ブラックホールと銀河スケールのガスの動的結合を可能にした。
論文 参考訳（メタデータ） (2025-12-01T11:47:49Z) - Quantum dynamics in lattices in presence of bulk dephasing and a localized source [0.0]
本研究では,バルクデファス法の存在下での局在化フェルミオン源の量子系のダイナミクスについて検討する。
我々の詳細な研究は、オープン量子系におけるハミルトン力学と様々な環境誘起機構の間の興味深い相互作用を明らかにしている。
論文 参考訳（メタデータ） (2025-11-01T14:42:52Z) - RainDiff: End-to-end Precipitation Nowcasting Via Token-wise Attention Diffusion [64.49056527678606]
本稿では,U-Net拡散モデルだけでなく,レーダ時間エンコーダにも統合されたトークンワイドアテンションを提案する。
従来の手法とは異なり,本手法は,画素空間拡散の典型的な高資源コストを発生させることなく,アーキテクチャに注意を集中させる。
実験と評価により,提案手法は複雑な降水予測シナリオにおいて,最先端の手法,ロバストネスの局所的忠実度,一般化,優位性を著しく上回ることを示した。
論文 参考訳（メタデータ） (2025-10-16T17:59:13Z) - Fast momentum-selective transport of Bose-Einstein condensates via controlled non-adiabatic dynamics in optical lattices [0.0]
ボース・アインシュタイン凝縮体(BEC)の1次元光学格子における運動量選択的輸送プロトコルについて検討した。
本研究では, 高速負荷条件下でのスペクトル純度の支配機構として, 地中呼吸動態を同定した。
このアプローチは、厳密なタイミング制約の下で動作している量子センサーに特に関係している。
論文 参考訳（メタデータ） (2025-09-19T19:15:44Z) - Constant Memory Attention Block [74.38724530521277]
Constant Memory Attention Block (CMAB) は、新しい汎用アテンションブロックであり、その出力を一定メモリで計算し、一定計算で更新を実行する。
提案手法は,メモリ効率を著しく向上しつつ,最先端技術と競合する結果が得られることを示す。
論文 参考訳（メタデータ） (2023-06-21T22:41:58Z) - Stability and decoherence rates of a GKP qubit protected by dissipation [0.0]
我々はリンドブラッド・マスター方程式の解のエネルギーに対して明らかに上界を与える。
論理量子ビットのブロッホ球座標の進化は、小さな拡散ノイズ過程が存在する場合でも指数関数的に遅くなることを示す。
論文 参考訳（メタデータ） (2023-04-07T18:21:27Z) - Weakly Supervised Representation Learning with Sparse Perturbations [82.39171485023276]
潜伏変数のスパース摂動によって生じる観測の監督が弱い場合、未知の連続潜伏分布の下で識別が達成可能であることを示す。
本稿では,この理論に基づく自然な推定手法を提案し,それを低次元の合成および画像に基づく実験で説明する。
論文 参考訳（メタデータ） (2022-06-02T15:30:07Z) - Critically slow operator dynamics in constrained many-body systems [0.0]
一定の制約のある多体システムでは、保存法則の構造が、この普遍的な振る舞いの劇的な修正を引き起こす可能性があることを示す。
動的凍結相から弾道を分離するOTOC前部をサブ弾道移動させた臨界点を同定する。
論文 参考訳（メタデータ） (2021-06-09T18:00:04Z) - Multi-Temporal Convolutions for Human Action Recognition in Videos [83.43682368129072]
複数の解像度で抽出できる新しい時間・時間的畳み込みブロックを提案する。
提案するブロックは軽量で,任意の3D-CNNアーキテクチャに統合可能である。
論文 参考訳（メタデータ） (2020-11-08T10:40:26Z) - Focus of Attention Improves Information Transfer in Visual Features [80.22965663534556]
本稿では,真のオンライン環境下での視覚情報伝達のための教師なし学習に焦点を当てた。
エントロピー項の計算は、エントロピー項のオンライン推定を行う時間的プロセスによって行われる。
入力確率分布をよりよく構成するために,人間のような注目モデルを用いる。
論文 参考訳（メタデータ） (2020-06-16T15:07:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。