論文の概要: Preconditioned DeltaNet: Curvature-aware Sequence Modeling for Linear Recurrences

• arxiv url: http://arxiv.org/abs/2604.21100v1
• Date: Wed, 22 Apr 2026 21:38:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-24 14:40:06.188435
• Title: Preconditioned DeltaNet: Curvature-aware Sequence Modeling for Linear Recurrences
• Title（参考訳）: 予備条件付きDeltaNet:線形再帰に対する曲率対応シーケンスモデリング
• Abstract要約: 我々はDeltaNet,GDN,KDAのプレコンディション付き変種を,効率的なチャンクワイズ並列アルゴリズムとともに導入する。 予備条件付きデルタルールの繰り返しは,340M,1Bスケールでの合成リコールベンチマークと言語モデリングにおいて一貫した性能向上をもたらす。
• 参考スコア（独自算出の注目度）: 51.38664601405696
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To address the increasing long-context compute limitations of softmax attention, several subquadratic recurrent operators have been developed. This work includes models such as Mamba-2, DeltaNet, Gated DeltaNet (GDN), and Kimi Delta Attention (KDA). As the space of recurrences grows, a parallel line of work has arisen to taxonomize them. One compelling view is the test-time regression (TTR) framework, which interprets recurrences as performing online least squares updates that learn a linear map from the keys to values. Existing delta-rule recurrences can be seen as first-order approximations to this objective, but notably ignore the curvature of the least-squares loss during optimization. In this work, we address this by introducing preconditioning to these recurrences. Starting from the theory of online least squares, we derive equivalences between linear attention and the delta rule in the exactly preconditioned case. Next, we realize this theory in practice by proposing a diagonal approximation: this enables us to introduce preconditioned variants of DeltaNet, GDN, and KDA alongside efficient chunkwise parallel algorithms for computing them. Empirically, we find that our preconditioned delta-rule recurrences yield consistent performance improvements across synthetic recall benchmarks and language modeling at the 340M and 1B scale.
• Abstract（参考訳）: ソフトマックスアテンションの長文計算の制限に対処するため、いくつかのサブクワッドラティック・リカレント演算子を開発した。 この作業には、Mamba-2、DeltaNet、Gated DeltaNet (GDN)、Kim Delta Attention (KDA)といったモデルが含まれる。 再発の空間が大きくなるにつれて、それらを分類するために平行な作業線が生まれている。 このフレームワークは、繰り返しをオンラインの最小二乗更新の実行と解釈し、キーから値への線形マップを学習する。 既存のデルタルールの再発は、この目的に対する一階近似と見なすことができるが、特に最適化中の最小二乗損失の曲率を無視する。 本稿では,これらの再発に対してプレコンディショニングを導入することで,この問題に対処する。 オンライン最小二乗の理論から始めると、線形注意と正確に条件付きの場合のデルタ則の等価性を導出する。 次に, 対角近似を提案することにより, この理論を実際に実現し, デルタネット, GDN, KDA の事前条件付き変種を, 計算に効率的なチャンクワイズ並列アルゴリズムとともに導入する。 実験により, 予備条件付きデルタルル再帰は, 340M と 1B スケールでの合成リコールベンチマークと言語モデリングにおいて一貫した性能向上をもたらすことがわかった。

関連論文リスト

• Kalman Delta Networks: Uncertainty-aware Associative Memory [27.530297884143604]
  線形ガウス状態空間モデルとして再帰的連想記憶を再構成する。 KDN内では、遷移は記憶状態と不確実性の両方を伝播させる。 KDNの変種は、最先端のリニアアテンションモデルよりも相反するパープレキシティと平均下流精度を向上させる。
  論文  参考訳（メタデータ） (2026-09-07T17:53:29Z)
• MDN: Parallelizing Stepwise Momentum for Delta Linear Attention [27.145174798663035]
  線形注意(LA)は、大規模言語モデルを長いシーケンスにスケールするための有望なパラダイムを提供する。 Mamba2やGDNのような最近のLAモデルは、線形反復を閉形式オンライン勾配勾配として解釈する。 Momentum DeltaNet (MDN) はTritonカーネルを活用して、競合する線形モデルと同等のトレーニングスループットを実現する。
  論文  参考訳（メタデータ） (2026-05-07T08:12:09Z)
• MesaNet: Sequence Modeling by Locally Optimal Test-Time Training [67.45211108321203]
  我々は,最近提案されたMesa層の数値的に安定かつチャンクワイズ可能な並列化版を導入する。 テストタイムの最適トレーニングにより、従来のRNNよりも言語モデリングの難易度が低く、ダウンストリームベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2025-06-05T16:50:23Z)
• Comba: Improving Bilinear RNNs with Closed-loop Control [57.800320390698516]
  本稿では,これらのモデルの利点と限界を包括的に分析したBilinear RNNの概念を紹介する。 我々は,状態フィードバックと出力フィードバックの両補正を併用した,スカラー+低ランク状態遷移を取り入れた新しいバイリニアRNNであるCombaを提案する。 また,大規模コーパス上での340M/1.3Bパラメータのトレーニングモデルと,ハードウェア効率のよいチャンクワイド並列カーネルを実装した。
  論文  参考訳（メタデータ） (2025-06-03T05:44:50Z)
• DeltaProduct: Improving State-Tracking in Linear RNNs via Householder Products [60.72655477351486]
  リニアリカレントニューラルネットワーク(線形RNN)は、シーケンスモデリングのためのトランスフォーマーの競合代替手段として登場した。 既存のアーキテクチャは、表現性と効率の基本的なトレードオフに直面しており、状態遷移行列の構造によって規定されている。
  論文  参考訳（メタデータ） (2025-02-14T16:59:05Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• Algorithms for Non-Stationary Generalized Linear Bandits [0.0]
  ロジスティック回帰は、標準線形モデリングの使用よりも好ましいことが知られている。 スライドウインドウと最大形状推定器のどちらかを利用する2つの高信頼境界ベースアルゴリズムを提案する。 一般的な文脈系列に対するこれらのアルゴリズムの挙動と急激な変化の存在に関する理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-03-23T07:44:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。