論文の概要: ReplaySSM: Cache SSM Inputs, Not State
- arxiv url: http://arxiv.org/abs/2610.13778v1
- Date: Fri, 09 Oct 2026 15:59:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.662097
- Title: ReplaySSM: Cache SSM Inputs, Not State
- Title（参考訳）: ReplaySSM:キャッシュSSM入力、状態ではない
- Abstract要約: 状態空間モデル(SSM)は固定サイズのリカレント状態を維持しているが、復号ステップ毎に読み書きすることでハイブリッドモデルをボトルネックにすることができる。
ReplaySSMを導入し、最近のSSM入力のチェックポイントとバッファとして状態を表すために再帰をアンロールする。
We implement ReplaySSM in vLLM for Mamba-2 and Gated DeltaNet。
- 参考スコア（独自算出の注目度）: 19.087459386214885
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: State-space models (SSMs) maintain a fixed-size recurrent state, but reading and writing it at every decoding step can bottleneck hybrid models. This eager state management causes large state I/O with low arithmetic intensity, leaves speculative decoding no cheap rollback, and feeds state quantization error into subsequent recurrent updates. We introduce ReplaySSM, which unrolls the recurrence to represent the state as a checkpoint and a buffer of recent SSM inputs. This separates output computation from checkpoint updates. By updating the checkpoint periodically, ReplaySSM avoids state writes on most steps and roughly halves the dominant state memory traffic. Keeping recent inputs also makes speculative rollback a buffer-pointer operation and enables output-only verification without materializing intermediate states. The same separation allows a low-precision checkpoint to serve output computation on most steps while a higher-precision checkpoint serves recurrent updates, so rounding error in the low-precision copy never enters later updates. We implement ReplaySSM in vLLM for Mamba-2 and Gated DeltaNet. At serving batch size 256, it accelerates standard decoding by $1.20$--$1.47\times$ over a tuned vLLM baseline across four hybrid models, and delivers about $1.8\times$ the throughput of vLLM's speculative decoding on the two 120B-class models. Separate state precisions also reduce output KL divergence and downstream accuracy losses compared with a shared low-precision checkpoint.
- Abstract（参考訳）: 状態空間モデル(SSM)は固定サイズのリカレント状態を維持しているが、復号ステップ毎に読み書きすることでハイブリッドモデルをボトルネックにすることができる。
この熱心な状態管理は、演算強度の低い大きな状態I/Oを引き起こし、投機的復号化は安価なロールバックを残さず、状態量子化エラーをその後の更新に供給する。
ReplaySSMを導入し、最近のSSM入力のチェックポイントとバッファとして状態を表すために再帰をアンロールする。
これにより、チェックポイント更新から出力計算を分離する。
定期的にチェックポイントを更新することで、ReplaySSMはほとんどのステップでステート書き込みを回避し、支配的なステートメモリトラフィックをほぼ半分にする。
最近の入力を保持することで、投機的なロールバックがバッファ・ポインターの操作となり、中間状態を具体化せずに出力のみの検証が可能になる。
同じ分離により、低い精度のチェックポイントが出力計算をほとんどのステップで行うことができ、高い精度のチェックポイントが繰り返し更新するので、低い精度のコピーの丸め誤差は後続の更新に入らない。
We implement ReplaySSM in vLLM for Mamba-2 and Gated DeltaNet。
バッチサイズ256を提供するため、標準デコーディングを1.20$-$1.47\times$で4つのハイブリッドモデルで調整されたvLLMベースラインで高速化し、2つの120BクラスのモデルでvLLMの投機的デコーディングのスループットを約1.8\times$で提供する。
異なる状態精度は、共有低精度チェックポイントと比較して出力KLのばらつきと下流の精度損失を減少させる。
関連論文リスト
- STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization [69.66473136337653]
デルタルール再帰状態の学習後量子化のためのフレームワークSTEPQuantを提案する。
STEPQuantはエラーのマグニチュードとメモリ寿命に応じて精度を割り当てる。
5倍以上のリカレントステート圧縮を実現し、全サービスメモリを最大68.7%削減する。
論文 参考訳（メタデータ） (2026-09-29T17:59:40Z) - LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization [60.59339465850602]
本論文では、8ビットのリカレント状態量子化の下で、ほぼ無作為な性能を実現する学習不要なLeapQuantを提案する。
LeapQuantは、推論中にメモリと計算コストを大幅に削減することを示す。
FP32ベースラインに匹敵する精度で、カーネルレベルでは2.05--3.70$times$、エンドツーエンドの推論では1.47$times$となる。
論文 参考訳（メタデータ） (2026-09-29T17:59:34Z) - SketchSSM: Write to the Full State, Read from a Compact Sketch [38.2975311144802]
ハイブリッドアテンションモデルは、ほとんどのソフトマックスアテンション層を線形アテンションで置き換える。
ReplaySSMはキーと値のバッファリングによって状態を更新するが、新しいクエリにはフルステートの読み取りが必要である。
我々はSketchSSMを導入し、読み取りを近似しながらフルステート更新を保存する。
論文 参考訳（メタデータ） (2026-09-27T00:31:35Z) - Compressed Recurrent Feedback in Tsetlin Machines: A Reproducible Boolean-FSM Study [2.9427962599440822]
小さなデバイス上での逐次推論は、長い入力レコードを繰り返すことなく有用な履歴を保持するモデルを必要とする。
セクションバンクによって直接フィードバックが増加し、不要に繰り返し入力を拡大することができる。
排他的OR(XOR)折りたたみによる節のアクティベーションを組み合わせ、折りたたみビットを2つの時間スケールで保持し、それらをバイナリ状態に戻します。
論文 参考訳（メタデータ） (2026-09-05T14:58:21Z) - DeltaLog: Deferred Materialization of Recurrent States for Linear Attention Decoding [6.8533987856750045]
線形アテンションモデルでは、ペアワイズトークンの相互作用をリカレント状態更新に置き換えることで、2次プレフィックス計算と、ソフトマックスアテンションの文脈成長KVキャッシュを排除している。
既存の復号化実装は、生成されたトークン毎に完全な再帰状態を実現し、書き戻すことが多い。
本稿では,モデルセマンティクスを変更することなく,このオーバヘッドを低減する再帰状態復号方式であるDeltaLogを提案する。
論文 参考訳（メタデータ） (2026-08-16T05:04:11Z) - Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。
より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。
我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
論文 参考訳（メタデータ） (2026-07-30T02:42:51Z) - Gated KalmaNet: A Fading Memory Layer Through Test-Time Ridge Regression [53.48692193399171]
Gated KalmaNet(GKA)は、次のトークンを予測する際に、すべての過去を説明することによってギャップを低減するレイヤである。
テスト時間におけるオンラインリッジ回帰問題を一定メモリと線形計算コストで解決する。
ロングコンテキストでは、GKAは現実世界のRAGタスクとLongQAタスクを最大128kトークンまで拡張し、他の薄型メモリベースラインよりも10ドル%以上の相対的な改善を実現している。
論文 参考訳（メタデータ） (2025-11-26T03:26:37Z) - dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。
既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。
高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
論文 参考訳（メタデータ） (2025-09-30T16:32:52Z) - Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。
我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。
Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
論文 参考訳（メタデータ） (2025-08-27T15:40:25Z) - Value-Driven Mixed-Precision Quantization for Patch-Based Inference on
Microcontrollers [35.666772630923234]
QuantMCUは、値駆動型混合精度量子化を利用して冗長計算を減らす、パッチベースの新しい推論手法である。
我々は,QuantMCUが平均2.2倍の計算量を削減できることを示す。
論文 参考訳（メタデータ） (2024-01-24T04:21:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。