論文の概要: SketchSSM: Write to the Full State, Read from a Compact Sketch
- arxiv url: http://arxiv.org/abs/2609.33051v2
- Date: Tue, 06 Oct 2026 03:34:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.209721
- Title: SketchSSM: Write to the Full State, Read from a Compact Sketch
- Title（参考訳）: SketchSSM: 完全な状態に書き込み、コンパクトなスケッチから読み込む
- Abstract要約: ハイブリッドアテンションモデルは、ほとんどのソフトマックスアテンション層を線形アテンションで置き換える。
ReplaySSMはキーと値のバッファリングによって状態を更新するが、新しいクエリにはフルステートの読み取りが必要である。
我々はSketchSSMを導入し、読み取りを近似しながらフルステート更新を保存する。
- 参考スコア（独自算出の注目度）: 38.2975311144802
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hybrid-attention models replace most softmax attention layers with linear attention, reducing KV-cache growth and enabling larger decode batches where recurrent-state access becomes a major bottleneck. ReplaySSM amortizes state updates by buffering keys and values, but each new query still requires a full-state read even though the state remains unchanged between state updates. We observe that low-rank state-weighted query approximation accurately preserves state-read outputs. Although future queries are unknown, the basis vectors used to approximate them can be fixed offline. Based on this observation, we introduce SketchSSM, which preserves full-state updates while approximating reads. At each state update, SketchSSM reads the full state once to precompute outputs for these basis vectors, storing them in a compact sketch. Each subsequent decode step combines the sketch vectors with query-dependent coefficients to reconstruct the output without a full-state read. Across four Mamba-2-, GDN-, and KDA-based models, SketchSSM at a mean sketch rank of 8 reduces state-access traffic by approximately 10$\times$ while matching the average accuracy of the FP32 full-state baseline across four decode benchmarks, and preserves recall on four RULER retrieval tasks. At this rank on one NVIDIA B300, linear-attention kernel speedups over the Standard vLLM baseline reach 7.30$\times$, 5.02$\times$, and 5.24$\times$ for Mamba-2, GDN, and KDA, respectively, with up to 2.77$\times$ higher decode throughput on Nemotron 3 Super.
- Abstract（参考訳）: ハイブリッドアテンションモデルは、ほとんどのソフトマックスアテンション層をリニアアテンションに置き換え、KVキャッシュの増大を低減し、リカレントステートアクセスが大きなボトルネックとなる大規模なデコードバッチを可能にする。
ReplaySSMはキーと値のバッファリングによって状態更新を補正するが、各新しいクエリは状態更新の間に状態が変わらないにもかかわらず、依然としてフルステートの読み取りが必要である。
低ランクな状態重み付きクエリ近似は、状態読み取り出力を正確に保存する。
将来のクエリは不明だが、それらを近似するために使われる基底ベクトルはオフラインで固定することができる。
そこで本研究では,SketchSSMについて紹介する。
各状態更新において、SketchSSMは、これらの基底ベクトルの出力をプリ計算するために一度だけ完全な状態を読み出し、それらをコンパクトなスケッチに格納する。
その後のデコードステップは、スケッチベクトルとクエリ依存係数を組み合わせて、フルステート読み取りなしで出力を再構築する。
4つのMamba-2-、GDN-、KDAベースのモデルで、平均スケッチランク8のSketchSSMは、4つのデコードベンチマークでFP32のフルステートベースラインの平均精度に適合しながら、状態アクセストラフィックを約10$\times$に削減し、4つのRULER検索タスクをリコールする。
1つのNVIDIA B300では、標準のvLLMベースライン上のリニアアテンションカーネルのスピードアップが7.30$\times$, 5.02$\times$, 5.24$\times$ for Mamba-2, GDN, KDAとなり、Nemotron 3 Superでは最大2.77$\times$高いデコードスループットを実現した。
関連論文リスト
- DeltaS: Reading the Gated Linear Attention State for KV Cache Eviction in Streaming Video [0.9877411999273223]
本稿では,問合せに依存せず,ビデオチャンクを保ち,より大きな正規化状態変化を引き起こすDeltaSを提案する。
フォワードパスのわずか1.9%のコストで、DeltaSは最強のクエリ非依存のバインドメモリベースラインを超えた。
これらの結果から,ハイブリッドアーキテクチャの2つの記憶は協調的に機能することが示唆された。
論文 参考訳（メタデータ） (2026-09-23T07:35:52Z) - DART: Decoded Attention over Recurrent States for Efficient Long-Context Sequence Modeling [8.96129547422103]
本稿では,共有メモリ表現が繰り返し圧縮と注目スタイル検索の両方をサポートするかどうかを検討する。
本研究では,チャンク状態記憶としてMamba-2チャンクスキャンによって生成されたチャンク状態のコントリビューションを保持するDARTを提案する。
Mamba-2と比較して、DARTは一般的な言語モデリングの品質を維持しながら、連想的リコールと検索を大幅に改善する。
論文 参考訳（メタデータ） (2026-08-03T10:30:27Z) - Execution-State Capsules: Graph-Bound Execution-State Checkpoint and Restore for Low-Latency, Small-Batch, On-Device Physical-AI Serving [0.5076419064097734]
我々は、低レイテンシ、小バッチ、デバイス上の物理AIサービスという、反対の体制について研究する。
完全復元可能な状態に対するグラフバウンドチェックポイントと復元機構である実行状態カプセルを導入する。
これにより、トークンアドレス付きKVフラグメントからグラフバウンド実行状態境界への再利用が実現される。
論文 参考訳（メタデータ） (2026-06-18T17:49:36Z) - FlashMemory-DeepSeek-V4: Lightning Index Ultra-Long Context via Lookahead Sparse Attention [77.12062766962815]
Lookahead Sparse Attention (LSA)は、DeepSeek-V4アーキテクチャ上に構築されたNeural Memory Indexerを利用している。
このアーキテクチャをバックボーンフリーの非結合なトレーニング戦略でインスタンス化する。
FM-DS-V4は、物理KVキャッシュのフットプリントを、フルコンテキストベースラインのわずか13.5%まで圧縮することを示した。
論文 参考訳（メタデータ） (2026-06-08T06:25:54Z) - Attend Locally, Remember Linearly: Linear Attention as Cross-Frame Memory for Autoregressive Video Diffusion [61.57938553036056]
ARL2は、二次的なクロスフレームアテンションを固定サイズのリカレント状態に置き換えるハイブリッドアテンションモジュールである。
本研究では,フレーム内ソフトマックスブランチとフレーム間リカレント線形ブランチの2つに分割し,ストリームコンテキストの固定サイズ状態を維持する。
75%の層がハイブリッドリニアアテンションに置き換えられ、最大2.26ウォールクロックのスピードアップと54%のメモリ削減を実現した。
論文 参考訳（メタデータ） (2026-05-15T19:33:45Z) - The Residual Stream Is All You Need: On the Redundancy of the KV Cache in Transformer Inference [3.378773775514883]
キー値(KV)キャッシュは、トランスフォーマー推論において必須の状態として広く扱われる。
各層におけるキーと値が残留ストリームの決定論的射影であることを証明する。
我々は、境界メモリ推論スキームであるKV-Directを用いて、この結果に基づいて構築する。
論文 参考訳（メタデータ） (2026-03-20T05:59:50Z) - On-the-Fly Adaptive Distillation of Transformer to Dual-State Linear Attention [53.22963042513293]
大規模言語モデル(LLM)は、自己アテンションを通じてグローバルトークンの依存関係をキャプチャするが、長い入力に対する計算とメモリコストに直面する。
まず,二状態線形注意(Dual-state linear attention, A)を提案する。これは2つの隠れ状態を保持する設計であり,その1つは,リニアアテンションアーキテクチャの典型的な短距離バイアスを緩和し,リニアアテンションを追尾するものである。
本稿では,DSLA層を段階的に置き換えるオンライン適応蒸留フレームワークであるDSLA-Serveを紹介する。
論文 参考訳（メタデータ） (2025-06-11T01:25:06Z) - BitDecoding: Unlocking Tensor Cores for Long-Context LLMs with Low-Bit KV Cache [7.306651609758117]
我々は、低ビットKVキャッシュを備えた新しい長文LLM推論システムBitDecodingを提案する。
BitDecodingはCoresとCores Coresを活用することで、効率的な低ビットのKV-cacheデコーディングを可能にする。
BitDecoding は FP16-v2 上で 7.5x と 4.8x と 8.9x のデコーディングを高速化し、最先端のロービットシステム QLaMA-31-8B を上回る。
論文 参考訳（メタデータ） (2025-03-24T15:22:41Z) - Deep Patch Visual Odometry [66.8086971254714]
ディープパッチ・ビジュアル・オドメトリー(DPVO)はモノクル・ビジュアル・オドメトリー(VO)のための新しいディープラーニングシステムである
DPVOは、時間にわたってイメージパッチを追跡するように設計された、新しいリカレントネットワークアーキテクチャを使用している。
標準ベンチマークでは、DPVOは、学習に基づく最先端のVOシステムを含む、これまでのすべての作業より優れています。
論文 参考訳（メタデータ） (2022-08-08T04:47:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。