論文の概要: Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity

• arxiv url: http://arxiv.org/abs/2607.07386v1
• Date: Wed, 08 Jul 2026 13:17:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.391111
• Title: Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity
• Title（参考訳）: Sparse Delta Memory: 疎結合による線形RNNのスケールアップ
• Abstract要約: スパース・デルタメモリ(SDM)は,線形RNNの隠れ状態をスパース・アドレッシング・スキームを用いて桁違いに高容量に拡張するアーキテクチャである。 また,IsoFLOP制約の下では,同じ数のパラメータを用いて,テキスト内学習や長文検索タスクの性能を大幅に向上させることを示す。
• 参考スコア（独自算出の注目度）: 34.491686452909526
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linear attention models allow a fixed state size and a fixed amount of compute per token. However, due to their limited state size, linear attention models fall behind in long-context recall compared to softmax-attention-based transformer architectures. Increasing the state size of linear attention improves recall performance but at the cost of higher FLOPs. In this work, we introduce Sparse Delta Memory (SDM), an architecture that scales the hidden state of gated linear RNNs to orders of magnitude higher capacity using a sparse addressing scheme. SDM extends the Gated DeltaNet architecture by replacing the dense key-value outer product with sparse reads and writes to a large explicit memory. We show that, under an isoFLOP constraint and with an identical number of parameters, a higher state memory capacity significantly improves performance on in-context learning and long-context retrieval tasks. Moreover, by learning the initial state of the SDM memory and therefore using it as a parametric memory, we show that the model further improves on a wide range of common-knowledge and reasoning tasks.
• Abstract（参考訳）: 線形アテンションモデルは、固定状態サイズとトークン当たりの計算量の固定化を可能にする。 しかし、状態サイズが限られているため、線形アテンションモデルはソフトマックスアテンションベースのトランスフォーマーアーキテクチャと比較して長いコンテキストリコールで遅れる。 線形アテンションの状態サイズが大きくなるとリコール性能は向上するが、高いFLOPのコストがかかる。 本研究では, Sparse Delta Memory (SDM) を提案する。これは, Sparse addressing scheme を用いて, ゲート線形RNNの隠れ状態を桁違いに高容量にスケールするアーキテクチャである。 SDMはGated DeltaNetアーキテクチャを拡張し、密度の高いキー値の外積をスパース読み込みに置き換え、大きな明示的なメモリに書き込む。 また,IsoFLOP制約の下では,同じ数のパラメータを用いて,テキスト内学習や長文検索タスクの性能を大幅に向上させることを示す。 さらに、SDMメモリの初期状態を学習し、パラメトリックメモリとして使用することにより、モデルはさらに幅広い共通知識および推論タスクを改善していることを示す。

関連論文リスト

• Attend Locally, Remember Linearly: Linear Attention as Cross-Frame Memory for Autoregressive Video Diffusion [61.57938553036056]
  ARL2は、二次的なクロスフレームアテンションを固定サイズのリカレント状態に置き換えるハイブリッドアテンションモジュールである。 本研究では,フレーム内ソフトマックスブランチとフレーム間リカレント線形ブランチの2つに分割し,ストリームコンテキストの固定サイズ状態を維持する。 75%の層がハイブリッドリニアアテンションに置き換えられ、最大2.26ウォールクロックのスピードアップと54%のメモリ削減を実現した。
  論文  参考訳（メタデータ） (2026-05-15T19:33:45Z)
• MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens [38.762431789628074]
  メモリスパース注意(MSA:Memory Sparse Attention)は、エンドツーエンドのトレーニング可能で、効率的で、非常にスケーラブルなメモリモデルフレームワークである。 MSAは、例外的な安定性を維持しながら、トレーニングと推論の両方において線形複雑性を実現する。 また,分散メモリセグメント間の複雑なマルチホップ推論を容易にするメモリインターリービングを提案する。
  論文  参考訳（メタデータ） (2026-03-06T02:29:54Z)
• RAM-Net: Expressive Linear Attention with Selectively Addressable Memory [11.262593123857995]
  RAM-Netは、完全な注意力の表現能力と線形モデルのメモリ効率のギャップを埋めるために設計された新しいアーキテクチャである。 RAM-Netのコアは、明示的なアドレスとして機能する高次元スパースベクトルに入力し、モデルが巨大なメモリ状態に選択的にアクセスできるようにする。
  論文  参考訳（メタデータ） (2026-02-12T13:55:29Z)
• Scaling Linear Attention with Sparse State Expansion [62.749291436866606]
  トランスフォーマーアーキテクチャは、2次計算と線形メモリ成長による長期コンテキストシナリオに苦慮している。 より効率的な文脈圧縮を実現するための2つの重要な革新を提案する。 まず、情報分類として状態更新を概念化し、線形注意のための行スパース更新定式化を導入する。 次に、スパースフレームワーク内にスパース状態拡張(SSE)を示し、コンテキスト状態を複数のパーティションに拡張する。
  論文  参考訳（メタデータ） (2025-07-22T13:27:31Z)
• Quantifying Memory Utilization with Effective State-Size [73.52115209375343]
  「我々は、テキスト・メモリ利用の尺度を策定する。」 この計量は、textitinput-invariant および textitinput-variant linear operator を持つシステムの基本的なクラスに適合する。
  論文  参考訳（メタデータ） (2025-04-28T08:12:30Z)
• CSR:Achieving 1 Bit Key-Value Cache via Sparse Representation [63.65323577445951]
  キャッシュスパース表現(CSR)と呼ばれる新しい手法を提案する。 CSRは、密度の高いKey-Valueキャッシュテンソルをスパースインデックスとウェイトに変換し、LLM推論中によりメモリ効率のよい表現を提供する。 我々の実験は、CSRが最先端KVキャッシュ量子化アルゴリズムに匹敵する性能を達成することを示した。
  論文  参考訳（メタデータ） (2024-12-16T13:01:53Z)
• B'MOJO: Hybrid State Space Realizations of Foundation Models with Eidetic and Fading Memory [91.81390121042192]
  我々はB'MOJOと呼ばれるモデル群を開発し、構成可能なモジュール内で理想的メモリと暗黙的メモリをシームレスに結合する。 B'MOJOのイデオティックメモリとフェードメモリを変調する能力は、32Kトークンまでテストされた長いシーケンスの推論をより良くする。
  論文  参考訳（メタデータ） (2024-07-08T18:41:01Z)
• CAMELoT: Towards Large Language Models with Training-Free Consolidated Associative Memory [38.429707659685974]
  大規模言語モデル(LLM)は、メモリとランタイムのコストが高いため、長い入力シーケンスを扱うのに苦労する。 本稿では,事前学習した(凍結した)注意に基づくLCMに再学習せずに結合可能な連想記憶モジュールを提案する。 CAMELoTと呼ばれるこのアーキテクチャは、128トークンの小さなコンテキストウィンドウでも優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-02-21T01:00:17Z)
• Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
  本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。 我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
  論文  参考訳（メタデータ） (2020-10-14T09:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。