論文の概要: Preserving Updates in Low-Bit Recurrent State Quantization

• arxiv url: http://arxiv.org/abs/2610.15709v1
• Date: Sun, 11 Oct 2026 15:46:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 17:11:45.514547
• Title: Preserving Updates in Low-Bit Recurrent State Quantization
• Title（参考訳）: 低ビットリカレント状態量子化における更新保存
• Abstract要約: 更新毎にリカレント状態がリカレントされるため、その量子化エラーはステップ毎に蓄積される。 分析の結果、これらのエラーはステップ間で高度に一貫性があることが示され、ステップごとのエラーの削減だけでは不十分である。 追加ストレージを使わずに,その更新に向けて逆方向の要素をラウンドする境界方向ラウンドリング(BDR)を提案する。
• 参考スコア（独自算出の注目度）: 11.262593123857995
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Linear attention and recurrent models compress past tokens into a fixed-size state that is updated at every step. However, storing these states in high precision incurs substantial memory and bandwidth costs at large batch sizes, motivating low-bit state quantization. Unlike weights and key--value caches, a recurrent state is requantized after every update, so its quantization errors accumulate across steps. Our analysis shows that these errors are highly coherent across steps, so reducing per-step errors alone is insufficient. This coherence arises mainly from small updates that are lost in rounding. To preserve these updates, we intervene both before and at rounding. Before rounding, we propose Low-Rank Bypass (LRB), which accumulates small updates in a compact low-rank buffer and periodically merges its sufficiently large elements into the state. At rounding, we observe that a state element can even move opposite to its update, and such reversals prove particularly harmful. Therefore, we propose Bounded Directional Rounding (BDR), which rounds reversed elements toward their updates without additional storage. Although BDR enlarges the rounding error, it improves the model, suggesting that the direction of an update matters more than its rounding error at a single step. Across Gated DeltaNet, GLA, Mamba2, and RetNet, our training-free method substantially outperforms INT4, while reducing state memory by up to 5.3$\times$ and speeding up decoding by up to 1.9$\times$ relative to FP32 states.
• Abstract（参考訳）: リニアアテンションとリカレントモデルは過去のトークンを固定サイズの状態に圧縮し、各ステップで更新する。 しかし、これらの状態を高精度に保存すると、大きなバッチサイズでメモリと帯域幅のコストが大きくなり、低ビット状態量子化の動機となる。 重み付けやキー値キャッシュとは異なり、リカレント状態は更新毎に再量子化されるため、その量子化エラーはステップ毎に蓄積される。 分析の結果、これらのエラーはステップ間で高度に一貫性があることが示され、ステップごとのエラーの削減だけでは不十分である。 この一貫性は、主にラウンドで失われる小さな更新によって生じる。 これらの更新を保存するために、前と回の両方に介入します。 ラウンド前には,コンパクトな低ランクバッファに小さな更新を蓄積し,十分に大きな要素を定期的に状態にマージする低ランクバイパス(LRB)を提案する。 ラウンドでは、状態要素がその更新と反対に動くことさえでき、そのような逆転は特に有害である。 そこで,BDR(Bounded Directional Rounding)を提案する。 BDRは丸め誤差を増大させるが、モデルを改善するため、更新の方向は1ステップで丸め誤差よりも重要であることが示唆される。 Gated DeltaNet, GLA, Mamba2, RetNet全体で、トレーニング不要のメソッドはINT4を大幅に上回り、ステートメモリを最大5.3$\times$に、デコードを最大1.9$\times$に短縮します。

関連論文リスト

• ReplaySSM: Cache SSM Inputs, Not State [19.087459386214885]
  状態空間モデル(SSM)は固定サイズのリカレント状態を維持しているが、復号ステップ毎に読み書きすることでハイブリッドモデルをボトルネックにすることができる。 ReplaySSMを導入し、最近のSSM入力のチェックポイントとバッファとして状態を表すために再帰をアンロールする。 We implement ReplaySSM in vLLM for Mamba-2 and Gated DeltaNet。
  論文  参考訳（メタデータ） (2026-10-09T15:59:40Z)
• Low-Discrepancy Dither for Quantized Recurrent State Caches [0.0]
  マンバスタイルおよびハイブリッド言語モデルは過去を固定サイズのリカレント状態に圧縮し、生成されたトークン毎に書き換える。 この状態を低い精度で保存することはメモリ帯域幅を節約しますが、すべてのラウンドエラーは次の更新にフィードバックされ、長い世代にわたって蓄積することができます。 ランダムな数を必要としない決定論的黄金比ワイルディザは、丸みよりも完全精度に近い量子化モデルをもたらす。
  論文  参考訳（メタデータ） (2026-09-30T07:41:07Z)
• STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization [69.66473136337653]
  デルタルール再帰状態の学習後量子化のためのフレームワークSTEPQuantを提案する。 STEPQuantはエラーのマグニチュードとメモリ寿命に応じて精度を割り当てる。 5倍以上のリカレントステート圧縮を実現し、全サービスメモリを最大68.7%削減する。
  論文  参考訳（メタデータ） (2026-09-29T17:59:40Z)
• LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization [60.59339465850602]
  本論文では、8ビットのリカレント状態量子化の下で、ほぼ無作為な性能を実現する学習不要なLeapQuantを提案する。 LeapQuantは、推論中にメモリと計算コストを大幅に削減することを示す。 FP32ベースラインに匹敵する精度で、カーネルレベルでは2.05--3.70$times$、エンドツーエンドの推論では1.47$times$となる。
  論文  参考訳（メタデータ） (2026-09-29T17:59:34Z)
• DeltaLog: Deferred Materialization of Recurrent States for Linear Attention Decoding [6.8533987856750045]
  線形アテンションモデルでは、ペアワイズトークンの相互作用をリカレント状態更新に置き換えることで、2次プレフィックス計算と、ソフトマックスアテンションの文脈成長KVキャッシュを排除している。 既存の復号化実装は、生成されたトークン毎に完全な再帰状態を実現し、書き戻すことが多い。 本稿では,モデルセマンティクスを変更することなく,このオーバヘッドを低減する再帰状態復号方式であるDeltaLogを提案する。
  論文  参考訳（メタデータ） (2026-08-16T05:04:11Z)
• Rectified Sparse Attention [61.7702154360081]
  効率的なロングシーケンス生成は、大規模言語モデルにとって重要な課題である。 本稿では,ブロックスパースアテンションと周期的な密度補正を組み合わせた簡易かつ効果的な方法であるRectified Sparse Attention (ReSA)を提案する。 数学推論、言語モデリング、検索タスクにわたる実験は、ReSAがほぼ無作為な生成品質を達成することを示す。
  論文  参考訳（メタデータ） (2025-06-04T16:01:48Z)
• FRUGAL: Memory-Efficient Optimization by Reducing State Overhead for Scalable Training [51.39495282347475]
  我々は、新しいメモリ効率最適化フレームワークであるtextbfF$ull-$textbfR$ank $textbfU$pdates with $textbfG$r$textbfA$dient sp$textbfL$ittingを紹介します。 当社のフレームワークは,GaLoreやBAdamなど,さまざまな低ランク更新選択技術と統合することが可能です。
  論文  参考訳（メタデータ） (2024-11-12T14:41:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。