論文の概要: SPARE: Fast Linear Attention Decoding with Compact Recurrent States

• arxiv url: http://arxiv.org/abs/2611.07552v1
• Date: Thu, 05 Nov 2026 07:00:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.57594
• Title: SPARE: Fast Linear Attention Decoding with Compact Recurrent States
• Title（参考訳）: SPARE: コンパクトリカレントステートによる高速リニアアテンションデコーディング
• Abstract要約: リニアアテンションは、固定サイズのリカレント状態を維持することにより、ソフトマックスアテンションの2次シーケンス長の複雑さを低減する。 近年の研究では、リカレント状態において顕著な低ランク冗長性を示し、より効率的な表現の機会が示唆されている。 SPAREは、固定された低次元部分空間、均質なランクアロケーション、軽量な書き込み補償を通じて、この冗長性を利用する訓練不要な手法である。
• 参考スコア（独自算出の注目度）: 4.216236665063787
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Linear attention reduces the quadratic sequence-length complexity of softmax attention by maintaining fixed-size recurrent states. However, these states scale quadratically with the representation dimension and require repeated data transfers during decoding, creating a substantial GPU memory bottleneck. Recent studies have revealed significant low-rank redundancy in recurrent states, suggesting opportunities for more efficient representations. We introduce SPARE (State Projection for Accelerated Recurrent Execution), a training-free method that exploits this redundancy through fixed low-dimensional subspaces, heterogeneous rank allocation, and lightweight write compensation. By performing recurrent reads and updates directly on compact states, SPARE reduces memory traffic without online decomposition or dense-state reconstruction. SPARE achieves 2.55x full-model decoding speedup, 7.49x lower recurrent-kernel DRAM traffic, and 3.31x lower peak GPU memory, while preserving better associative-retrieval accuracy than structured pruning at matched memory budgets.
• Abstract（参考訳）: リニアアテンションは、固定サイズのリカレント状態を維持することにより、ソフトマックスアテンションの2次シーケンス長の複雑さを低減する。 しかし、これらの状態は表現次元と2次的にスケールし、復号時に繰り返しデータ転送を必要とするため、かなりのGPUメモリボトルネックが生じる。 近年の研究では、リカレント状態において顕著な低ランク冗長性を示し、より効率的な表現の機会が示唆されている。 SPARE(State Projection for Accelerated Recurrent Execution)は、固定された低次元部分空間、均質なランクアロケーション、ライトライト補償を通じて、この冗長性を利用する訓練不要な手法である。 SPAREは、リカレント読み込みと更新を直接コンパクトな状態に実行することにより、オンラインの分解や高密度な状態再構成なしにメモリトラフィックを削減する。 SPAREは2.55倍のフルモデルデコードスピードアップ、7.49倍のリカレントカーネルDRAMトラフィック、3.31倍のピークGPUメモリを実現し、一致したメモリ予算での構造化プルーニングよりも優れた連想-検索精度を保っている。

関連論文リスト

• Fast and Memory-Efficient Wavelet Convolutions via I/O-Aware Reformulation [20.810698047691794]
  Wavelet Convolution(WTConv)は、標準のコンボリューションの代替として人気が高まっている。 我々の改定により、モデル化されたトラフィックを約2.55倍に減らし、参照のトレーニング速度を最大4.35倍に向上する。 我々の改定はWTConvの利点を保ちつつ、実行時間とメモリフットプリントを大幅に削減します。
  論文  参考訳（メタデータ） (2026-08-11T11:24:05Z)
• No More K-means: Single-Stage Sparse Coding for Efficient Multi-Vector Retrieval [51.43543998583709]
  SSR(Single-stage Sparse Retrieval)は、高価なクラスタリングを効率的なスパースコーディングに置き換えるパラダイムシフトである。 ColBERTv2と比較してインデックス処理時間を15倍短縮し、検索レイテンシを半減させ、同時に検索性能を向上させる。
  論文  参考訳（メタデータ） (2026-05-28T15:53:34Z)
• Attend Locally, Remember Linearly: Linear Attention as Cross-Frame Memory for Autoregressive Video Diffusion [61.57938553036056]
  ARL2は、二次的なクロスフレームアテンションを固定サイズのリカレント状態に置き換えるハイブリッドアテンションモジュールである。 本研究では,フレーム内ソフトマックスブランチとフレーム間リカレント線形ブランチの2つに分割し,ストリームコンテキストの固定サイズ状態を維持する。 75%の層がハイブリッドリニアアテンションに置き換えられ、最大2.26ウォールクロックのスピードアップと54%のメモリ削減を実現した。
  論文  参考訳（メタデータ） (2026-05-15T19:33:45Z)
• STAC: Plug-and-Play Spatio-Temporal Aware Cache Compression for Streaming 3D Reconstruction [16.772404929988507]
  ストリーミング入力からの3D再構成には、長期的な時間的一貫性と効率的なメモリ使用の両方が必要である。 STACは大きな因果変換器で3D再構成を行うためのフレームワークである。 実験の結果,STACはメモリ消費を10倍近く削減し,VG 4xによる推論を高速化しながら,最先端の再構築品質を実現することがわかった。
  論文  参考訳（メタデータ） (2026-03-18T06:36:46Z)
• LoGeR: Long-Context Geometric Reconstruction with Hybrid Memory [97.14005794889134]
  提案するLoGeRは,高密度な3次元再構成を,後最適化なしで極めて長いシーケンスに拡張する新しいアーキテクチャである。 LoGeRはビデオストリームをチャンクで処理し、高忠実度なチャンク内推論に強力な双方向の事前処理を活用する。 このメモリアーキテクチャにより、LoGeRは128フレームのシーケンスでトレーニングでき、推論中に数千フレームまで一般化できる。
  論文  参考訳（メタデータ） (2026-03-03T18:55:37Z)
• mGRADE: Minimal Recurrent Gating Meets Delay Convolutions for Lightweight Sequence Modeling [0.5236468296934584]
  mGRADEは、時間的1D-畳み込みと学習可能な間隔を統合したハイブリッドメモリシステムである。 我々は,mGRADEがマルチスケールの時間的特徴を効果的に分離し,保存することを示した。 これは、エッジにおけるメモリ制約付きマルチスケールの時間処理の効率的なソリューションとしてのmGRADEの約束を強調している。
  論文  参考訳（メタデータ） (2025-07-02T15:44:35Z)
• Rectified Sparse Attention [61.7702154360081]
  効率的なロングシーケンス生成は、大規模言語モデルにとって重要な課題である。 本稿では,ブロックスパースアテンションと周期的な密度補正を組み合わせた簡易かつ効果的な方法であるRectified Sparse Attention (ReSA)を提案する。 数学推論、言語モデリング、検索タスクにわたる実験は、ReSAがほぼ無作為な生成品質を達成することを示す。
  論文  参考訳（メタデータ） (2025-06-04T16:01:48Z)
• Lattice: Learning to Efficiently Compress the Memory [13.765057453744427]
  本稿では,キャッシュを一定数のメモリスロットに効率よく圧縮する新しいリカレントニューラルネットワーク(RNN)機構であるLatticeを紹介する。 我々は、この圧縮をオンライン最適化問題として定式化し、単一の勾配降下ステップに基づいて動的メモリ更新ルールを導出する。 実験結果から,Latticeはコンテキスト長の異なるすべてのベースラインと比較して,最も難易度が高いことがわかった。
  論文  参考訳（メタデータ） (2025-04-08T03:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。