論文の概要: MDN: Parallelizing Stepwise Momentum for Delta Linear Attention

• arxiv url: http://arxiv.org/abs/2605.05838v1
• Date: Thu, 07 May 2026 08:12:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.620367
• Title: MDN: Parallelizing Stepwise Momentum for Delta Linear Attention
• Title（参考訳）: MDN:デルタ線形注意のためのステップワイドモーメントの並列化
• Authors: Yulong Huang, Xiang Liu, Hongxiang Huang, Xiaopeng Lin, Zunchang Liu, Xiaowen Chu, Zeke Xie, Bojun Cheng,
• Abstract要約: 線形注意(LA)は、大規模言語モデルを長いシーケンスにスケールするための有望なパラダイムを提供する。 Mamba2やGDNのような最近のLAモデルは、線形反復を閉形式オンライン勾配勾配として解釈する。 Momentum DeltaNet (MDN) はTritonカーネルを活用して、競合する線形モデルと同等のトレーニングスループットを実現する。
• 参考スコア（独自算出の注目度）: 27.145174798663035
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Linear Attention (LA) offers a promising paradigm for scaling large language models (LLMs) to long sequences by avoiding the quadratic complexity of self-attention. Recent LA models such as Mamba2 and GDN interpret linear recurrences as closed-form online stochastic gradient descent (SGD), but naive SGD updates suffer from rapid information decay and suboptimal convergence in optimization. While momentum-based optimizers provide a natural remedy, they pose challenges in simultaneously achieving training efficiency and effectiveness. To address this, we develop a chunkwise parallel algorithm for LA with a stepwise momentum rule by geometrically reordering the update coefficients. Further, from a dynamical systems perspective, we analyze the momentum-based recurrence as a second-order system that introduces complex conjugate eigenvalues. This analysis guides the design of stable gating constraints. The resulting model, Momentum DeltaNet (MDN), leverages Triton kernels to achieve comparable training throughput with competitive linear models such as Mamba2 and KDA. Extensive experiments on the 400M and 1.3B parameter models demonstrate consistent performance improvements over strong baselines, including Transformers, Mamba2 and GDN, across diverse downstream evaluation benchmarks. Code: https://github.com/HuuYuLong/MomentumDeltaNet .
• Abstract（参考訳）: リニアアテンション(LA)は、大規模言語モデル(LLM)を長期のシーケンスに拡張するための有望なパラダイムを提供する。 Mamba2やGDNのような最近のLAモデルは、線形再発を閉形式オンライン確率勾配勾配(SGD)と解釈するが、単純SGD更新は、最適化において急激な情報減衰と準最適収束に悩まされる。 運動量に基づくオプティマイザは自然な治療を提供するが、トレーニング効率と効果を同時に達成するための課題を提起する。 そこで我々は,更新係数を幾何的に並べ替えることにより,段階的な運動量規則を持つLAのチャンクワイズ並列アルゴリズムを開発した。 さらに、力学系の観点から、運動量に基づく再帰を複素共役固有値を導入する2次系として解析する。 この分析は安定なゲーティング制約の設計を導く。 結果として得られたモデルであるMomentum DeltaNet (MDN) は、Mamba2やKDAといった競合する線形モデルと同等のトレーニングスループットを達成するために、Tritonカーネルを活用している。 400Mと1.3Bのパラメータモデルに対する大規模な実験は、様々なダウンストリーム評価ベンチマークを通じて、トランスフォーマー、Mamba2、GDNといった強力なベースラインよりも一貫したパフォーマンス改善を示している。 コード:https://github.com/HuuYuLong/MomentumDeltaNet。

関連論文リスト

• Preconditioned DeltaNet: Curvature-aware Sequence Modeling for Linear Recurrences [51.38664601405696]
  我々はDeltaNet,GDN,KDAのプレコンディション付き変種を,効率的なチャンクワイズ並列アルゴリズムとともに導入する。 予備条件付きデルタルールの繰り返しは,340M,1Bスケールでの合成リコールベンチマークと言語モデリングにおいて一貫した性能向上をもたらす。
  論文  参考訳（メタデータ） (2026-04-22T21:38:25Z)
• Mamba-3: Improved Sequence Modeling using State Space Principles [74.41028882099846]
  線形モデルの状態空間モデル(SSM)の視点に触発された3つの中核的方法論的改善を紹介する。 アーキテクチャの改良とともに、Mamba-3モデルは、検索、状態追跡、下流言語モデリングタスク間で大きな進歩を遂げます。
  論文  参考訳（メタデータ） (2026-03-16T17:30:08Z)
• Adaptive Cubic Regularized Second-Order Latent Factor Analysis Model [14.755426957558868]
  高次元および不完全HDIデータセットは、様々な現実世界のアプリケーションに広く普及している。 本稿では,情報不安定を緩和するための2つのアプローチを提案する。 ACRS HDIは、ALFが高速進行(SACR)モデルよりも高い表現を示すことを示した。
  論文  参考訳（メタデータ） (2025-07-03T03:15:54Z)
• Sequential-Parallel Duality in Prefix Scannable Models [68.39855814099997]
  近年では Gated Linear Attention (GLA) や Mamba など様々なモデルが開発されている。 ニアコンスタント時間並列評価と線形時間、定数空間シーケンシャル推論をサポートするニューラルネットワークモデルの全クラスを特徴付けることができるだろうか?
  論文  参考訳（メタデータ） (2025-06-12T17:32:02Z)
• Comba: Improving Bilinear RNNs with Closed-loop Control [57.800320390698516]
  本稿では,これらのモデルの利点と限界を包括的に分析したBilinear RNNの概念を紹介する。 我々は,状態フィードバックと出力フィードバックの両補正を併用した,スカラー+低ランク状態遷移を取り入れた新しいバイリニアRNNであるCombaを提案する。 また,大規模コーパス上での340M/1.3Bパラメータのトレーニングモデルと,ハードウェア効率のよいチャンクワイド並列カーネルを実装した。
  論文  参考訳（メタデータ） (2025-06-03T05:44:50Z)
• DeltaProduct: Improving State-Tracking in Linear RNNs via Householder Products [60.72655477351486]
  リニアリカレントニューラルネットワーク(線形RNN)は、シーケンスモデリングのためのトランスフォーマーの競合代替手段として登場した。 既存のアーキテクチャは、表現性と効率の基本的なトレードオフに直面しており、状態遷移行列の構造によって規定されている。
  論文  参考訳（メタデータ） (2025-02-14T16:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。