論文の概要: Gated Slot Attention-2: Two-Sided Associative Memory Correction in Linear Attention

• arxiv url: http://arxiv.org/abs/2610.02816v1
• Date: Fri, 02 Oct 2026 05:04:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.214294
• Title: Gated Slot Attention-2: Two-Sided Associative Memory Correction in Linear Attention
• Title（参考訳）: Gated Slot Attention-2: 2-sideed Associative Memory Correction in Linear Attention
• Abstract要約: 線形アテンションモデルは標準アテンションに代わる効率的な代替手段として登場したが、固定サイズのリカレントメモリの管理は依然として困難である。 我々はキー側修正のための新しいGated Oja Ruleを導入し、Gated Oja Rule-2を得るために非結合の消去と書き込み制御で拡張する。 次にGated Slot Attention-2(GSA2)を導入し、鍵側修正のためのGated Oja Rule-2と、共有遅延スロットによる値側修正のためのGated Delta Rule-2を組み合わせた。
• 参考スコア（独自算出の注目度）: 33.20534809427745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Linear attention models have emerged as efficient alternatives to standard attention, but effectively managing their fixed-size recurrent memory remains challenging. To improve memory, recent work has explored two distinct directions: delta-rule variants for precise correction of values associated with keys, and slot-based architectures such as Gated Slot Attention for modeling key and value memories in two stages. We observe that these directions are complementary--the delta rule provides effective memory correction, while the two-stage structure provides a natural way to operate on both sides of an association. Building on this insight, we introduce a new Gated Oja Rule for key-side correction and extend it with decoupled erase and write control to obtain Gated Oja Rule-2. We then introduce Gated Slot Attention-2 (GSA2), which combines Gated Oja Rule-2 for key-side correction with Gated Delta Rule-2 for value-side correction through shared latent slots. We further derive a hardware-efficient chunkwise algorithm for parallel training. Experiments demonstrate that GSA2 consistently improves over strong linear-attention baselines across benchmarks while retaining linear-time sequence modeling and constant-memory recurrent decoding.
• Abstract（参考訳）: 線形アテンションモデルは標準アテンションに代わる効率的な代替手段として登場したが、固定サイズのリカレントメモリを効果的に管理することは依然として困難である。 最近の研究は、キーに関連する値の正確な修正のためのデルタルール変種と、キーとバリューメモリをモデル化するためのGated Slot Attentionのようなスロットベースのアーキテクチャの2つの異なる方向を探索している。 これらの方向は相補的であり、デルタ規則は効果的なメモリ補正を提供する一方、2段構造は協会の両側で自然な操作方法を提供する。 この知見に基づいて、キー側修正のための新しいGated Oja Ruleを導入し、Gated Oja Rule-2を得るために非結合の消去および書き込み制御で拡張する。 次にGated Slot Attention-2(GSA2)を導入し、鍵側修正のためのGated Oja Rule-2と、共有遅延スロットによる値側修正のためのGated Delta Rule-2を組み合わせた。 さらに、並列トレーニングのためのハードウェア効率の良いチャンクワイズアルゴリズムを導出する。 実験により、GSA2は、線形時間シーケンスモデリングと定数メモリ再帰復号を保ちながら、ベンチマーク全体で強い線形アテンションベースラインよりも一貫して改善されていることが示された。

関連論文リスト

• LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
  LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。 本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。 その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
  論文  参考訳（メタデータ） (2026-06-03T06:07:33Z)
• G2LoRA: Gradient Orthogonal Low-Rank Adaptation Framework for Graph Continual Learning on Text-Attributed Graphs [16.71580533595328]
  テキスト分散グラフ(TAG)の連続学習フレームワークであるG2LoRAを提案する。 G2LoRAは単一のグラフテキストアライメント目的の下でノード、リンク、グラフレベルのタスクを統一する。 ベンチマークデータセットの実験では、G2LoRAはさまざまなバックボーンアーキテクチャにおいて、一貫して強力なベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-06-01T08:19:47Z)
• Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention [81.79922329750674]
  リニアアテンションは、ソフトマックスアテンションのキャッシュを固定サイズのリカレント状態に置き換え、シーケンシャルミキシングを線形時間に短縮し、定メモリに復号する。 我々はGated DeltaNet-2を紹介し、Gated DeltaNetとKim Delta Attentionの両方を一般化する。 Gated DeltaNet-2は、言語モデリング、常識推論、検索にまたがるMamba Gated DeltaNet、KDA、Mamba-3の変種の中で、最も優れた総合的な結果を得る。
  論文  参考訳（メタデータ） (2026-05-21T17:44:57Z)
• Exact Linear Attention [0.0]
  Exact Linear Attention (ELA) はカーネル関数の正確な分解特性を利用してトランスフォーマー注意のための線形計算複雑性を実現する。 ELAは最大で6倍高速な復号化とKVキャッシュメモリ使用率の75%削減を実現している。 我々は、線形アテンション原理を視覚モデルに拡張し、最大4.3倍のGPU推論速度と7.9倍のパラメータ削減を競合検出精度で達成するYOLO-LATを得る。
  論文  参考訳（メタデータ） (2026-05-13T08:06:48Z)
• LINA: Linear Autoregressive Image Generative Models with Continuous Tokens [56.80443965097921]
  連続トークンを持つ自己回帰モデルは、特にテキスト・トゥ・イメージ(T2I)合成において、視覚生成に有望なパラダイムを形成する。 このフレームワーク内での計算効率のよい線形アテンションの設計法について検討する。 LINAは、線形注意に基づくシンプルで計算効率の良いT2Iモデルであり、ユーザ命令から高忠実度1024x1024画像を生成することができる。
  論文  参考訳（メタデータ） (2026-01-30T06:44:33Z)
• Gated Slot Attention for Efficient Linear-Time Sequence Modeling [59.019501274074564]
  Gated Slot Attention(GSA)は境界メモリ・コントロル(ABC)による注意を高める GSAはGated Linear Attention (GLA)にインスパイアされたゲーティング機構を組み込んでいる
  論文  参考訳（メタデータ） (2024-09-11T09:49:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。