論文の概要: STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization

• arxiv url: http://arxiv.org/abs/2609.38169v1
• Date: Tue, 29 Sep 2026 17:59:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.833631
• Title: STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization
• Title（参考訳）: STEPQuant: Delta-Ruleリカレントステート量子化におけるエラーの時期と場所
• Abstract要約: デルタルール再帰状態の学習後量子化のためのフレームワークSTEPQuantを提案する。 STEPQuantはエラーのマグニチュードとメモリ寿命に応じて精度を割り当てる。 5倍以上のリカレントステート圧縮を実現し、全サービスメモリを最大68.7%削減する。
• 参考スコア（独自算出の注目度）: 69.66473136337653
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Linear attention replaces growing KV caches with fixed-size recurrent states, yet these persistent states can become a substantial memory bottleneck under concurrent serving. Directly quantizing recurrent states to low precision often leads to severe accuracy degradation, as quantization errors propagate through successive state updates. We discover that the impact of these errors depends on two complementary dimensions: temporally, errors in long-lived memory can persist across many decoding steps; spatially, errors in different key rows affect model outputs differently, while state magnitudes vary substantially along both rows and columns. Motivated by these observations, we propose STEPQuant, a spatial-temporal post-training quantization framework for Delta-rule recurrent states. STEPQuant allocates precision according to error magnitude and memory lifetime, and jointly fits key-row and value-column scales based on state distributions and key-row impact on output error. Experiments on Qwen3.8-27B and Kimi-Linear-48B-A3B-Instruct across both long- and short-generation benchmarks show that STEPQuant closely matches FP32-state accuracy under a nominal 6-bit budget and outperforms uniform INT8 in its 4-bit configuration. Integrated into SGLang with optimized GPU kernels, 6-bit STEPQuant achieves over 5x recurrent-state compression and reduces total serving memory by up to 68.7%. Our code is available at https://github.com/Dreamer-Toby/STEPQuant.
• Abstract（参考訳）: 線形アテンションは成長するKVキャッシュを固定サイズのリカレントステートに置き換えるが、これらの永続状態は同時実行時のメモリボトルネックとなる可能性がある。 再帰状態を低い精度で直接量子化すると、連続した状態更新を通じて量子化エラーが伝播するため、深刻な精度の劣化が起こる。 これらのエラーの影響は2つの相補的な次元に依存する: 時間的に、長期記憶におけるエラーは、多くのデコードステップにわたって持続しうる; 空間的に、異なるキー行のエラーはモデル出力に異なる影響を及ぼすが、状態の大きさは行と列の両方で大きく異なる。 これらの観測から得られたSTEPQuantは,デルタルール再帰状態の時空間時間後量子化フレームワークである。 STEPQuantは、エラーの規模とメモリ寿命に応じて精度を割り当て、状態分布とキーロウが出力エラーに与える影響に基づいて、キーロウとバリューカラムのスケールを共同で適合させる。 Qwen3.8-27B と Kimi-Linear-48B-A3B の長期および短期のベンチマークによる実験により、STEPQuant は名目上の6ビットの予算の下で FP32 状態の精度と密に一致し、4ビット構成のINT8 よりも優れていた。 最適化されたGPUカーネルでSGLangに統合された6ビットSTEPQuantは5倍のリカレントステート圧縮を実現し、全サービスメモリを最大68.7%削減する。 私たちのコードはhttps://github.com/Dreamer-Toby/STEPQuant.comから入手可能です。

関連論文リスト

• LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization [60.59339465850602]
  本論文では、8ビットのリカレント状態量子化の下で、ほぼ無作為な性能を実現する学習不要なLeapQuantを提案する。 LeapQuantは、推論中にメモリと計算コストを大幅に削減することを示す。 FP32ベースラインに匹敵する精度で、カーネルレベルでは2.05--3.70$times$、エンドツーエンドの推論では1.47$times$となる。
  論文  参考訳（メタデータ） (2026-09-29T17:59:34Z)
• Low-Bit Recurrent States in Hybrid Language Models [0.0]
  量子化誤差はチャネル崩壊率に従って持続する。 可観測性グラミアンから歪み重みを導出する。 トーケン状態の量子化により、4ビット平均ペイロードは過剰な負の対数類似度を減少させる。
  論文  参考訳（メタデータ） (2026-09-25T08:01:56Z)
• DAMP: Decay-Aware Mixed-Precision Recurrent-State Quantization [25.544698411141642]
  Gated DeltaNet (GDN) やKim Delta Attention (KDA) を取り入れた最近の言語モデルは、ほとんどの層でKVキャッシュを固定サイズのリカレントステートに置き換えることで、このコストを削減している。 これらのリカレントステートは一般的にFP32に格納され、かなりのGPUメモリを消費する。 我々は,GDNおよびKDAに基づく言語モデルにおいて,再帰状態の学習後の量子化を初めて研究する。
  論文  参考訳（メタデータ） (2026-08-27T09:11:48Z)
• Runtime-Certified Bounded-Error Quantized Attention [0.0]
  本稿では,実行時対応型KVキャッシュアーキテクチャを提案する。 二項誤差分解は、キー量子化および(ii)値再構成誤差から、(i)注目分布歪みに対するヘッド当たり、ステップ当たりのバウンダリが得られる。 PG-19、NIAH、RULERのベンチマークにおいて、このシステムは言語モデリングと検索タスクのためのノイズ内の密度の高いFP16 KV品質と一致している。
  論文  参考訳（メタデータ） (2026-05-20T08:04:40Z)
• BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
  本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
  論文  参考訳（メタデータ） (2026-02-04T02:54:37Z)
• Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [64.62231094774211]
  ステートフル(例えばアダム)は、最適収束を達成するために、モデルサイズを2倍も補助情報を維持する。 SOLOにより、アダムスタイルは3ビットまたは2ビットの精度で量子化された状態を維持することができる。 したがって、SOLOはAdamスタイルにシームレスに適用でき、精度の低下を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2025-05-01T06:47:45Z)
• Quantize What Counts: More for Keys, Less for Values [63.51476878610841]
  大規模言語モデル(LLM)は、キーバリュー(KV)キャッシュに支配される推論時のメモリボトルネックに悩まされる。 本稿ではトランスフォーマーモデルの内在幾何学における混合精度KV量子化を固定する2つの定理を提案する。
  論文  参考訳（メタデータ） (2025-02-20T22:24:27Z)
• Fault-tolerant parity readout on a shuttling-based trapped-ion quantum computer [64.47265213752996]
  耐故障性ウェイト4パリティチェック測定方式を実験的に実証した。 フラグ条件パリティ測定の単発忠実度は93.2(2)%である。 このスキームは、安定化器量子誤り訂正プロトコルの幅広いクラスにおいて必須な構成要素である。
  論文  参考訳（メタデータ） (2021-07-13T20:08:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。