論文の概要: LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization

• arxiv url: http://arxiv.org/abs/2609.38166v1
• Date: Tue, 29 Sep 2026 17:59:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.832173
• Title: LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization
• Title（参考訳）: LeapQuant: 正確なリカレントステート量子化による効率的な線形アテンション
• Abstract要約: 本論文では、8ビットのリカレント状態量子化の下で、ほぼ無作為な性能を実現する学習不要なLeapQuantを提案する。 LeapQuantは、推論中にメモリと計算コストを大幅に削減することを示す。 FP32ベースラインに匹敵する精度で、カーネルレベルでは2.05--3.70$times$、エンドツーエンドの推論では1.47$times$となる。
• 参考スコア（独自算出の注目度）: 60.59339465850602
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent LLMs increasingly adopt hybrid designs that replace standard attention with linear attention, such as Gated DeltaNet (GDN) and Kimi Delta Attention (KDA). Although they compress the context into a fixed-size recurrent state and substantially reduce the cost of long-context processing, repeatedly reading and updating that state remains a major inference bottleneck. Quantization offers a natural way to reduce this cost, but can significantly degrade model quality, due to the accumulation of rounding errors and the presence of outlier rows and columns in the state. To address these challenges, we propose LeapQuant, a training-free method that achieves near-lossless performance under 8-bit recurrent-state quantization. First, to mitigate error accumulation, we propose per-window quantization, which leaps over a window of tokens and quantizes the state only once at its end. Within a window, outputs are computed from the fixed low-bit state together with high-precision buffered updates. Second, to reduce the error introduced by each quantization, LeapQuant retains the state's largest outliers as a few high-precision Compensator Tokens, which share the update path of real tokens. We then smooth the remaining residual before quantization to further reduce the error. Comprehensive experiments across the Qwen, Kimi, and GLM model families show that LeapQuant substantially reduces memory and compute costs during inference. With accuracy comparable to the FP32 baseline, it achieves average speedups of 2.05--3.70$\times$ at the kernel level and 1.47$\times$ for end-to-end inference on NVIDIA B200, RTX PRO 6000, and RTX 5090 GPUs.
• Abstract（参考訳）: 近年のLLMは、Gated DeltaNet (GDN) やKim Delta Attention (KDA) といった標準の注意を線形の注意に置き換えるハイブリッド設計を採用するようになっている。 彼らはコンテキストを固定サイズのリカレント状態に圧縮し、長いコンテキスト処理のコストを大幅に削減するが、その状態を繰り返し読み、更新することは大きな推論ボトルネックのままである。 量子化は、このコストを削減する自然な方法を提供するが、ラウンドエラーの蓄積と、状態に外れた行や列が存在するため、モデル品質を著しく低下させる可能性がある。 これらの課題に対処するために,8ビットのリカレント状態量子化の下でほぼ無作為な性能を実現するトレーニングフリーのLeapQuantを提案する。 まず、エラーの蓄積を軽減するために、トークンのウィンドウを飛び越え、最後に一度だけ状態を定量化するウィンドウごとの量子化を提案する。 ウィンドウ内では、高い精度のバッファ化された更新とともに、固定された低ビット状態から出力が計算される。 次に、各量子化によって導入されたエラーを減らすために、LeapQuantは、実際のトークンの更新パスを共有するいくつかの高精度補償トークンとして、州最大の外れ値を保持する。 次に、残余を量子化する前に滑らかにし、さらに誤差を減少させる。 Qwen、Kim、GLMモデルファミリの総合的な実験により、LeapQuantは推論時にメモリと計算コストを大幅に削減することが示された。 FP32ベースラインに匹敵する精度で、カーネルレベルでは2.05--3.70$\times$、NVIDIA B200、RTX PRO 6000、RTX 5090 GPU上では1.47$\times$となる。

関連論文リスト

• STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization [69.66473136337653]
  デルタルール再帰状態の学習後量子化のためのフレームワークSTEPQuantを提案する。 STEPQuantはエラーのマグニチュードとメモリ寿命に応じて精度を割り当てる。 5倍以上のリカレントステート圧縮を実現し、全サービスメモリを最大68.7%削減する。
  論文  参考訳（メタデータ） (2026-09-29T17:59:40Z)
• Event-Driven Language Models with Sparse Neural Activity for Neuromorphic Hardware [5.066906328188419]
  トランスフォーマーベースの大規模言語モデル(LLM)による推論は、メモリバウンドなKVキャッシュと二次的注意コストによって制限されることが多い。 本稿では,性能損失を最小限に抑えた重量子化線形アテンションモデルにおいて,スパースニューラルアクティビティを誘導する手法を提案する。
  論文  参考訳（メタデータ） (2026-08-31T08:28:01Z)
• BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
  本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
  論文  参考訳（メタデータ） (2026-02-04T02:54:37Z)
• Sliced-Wasserstein Distribution Alignment Loss Improves the Ultra-Low-Bit Quantization of Large Language Models [0.5964436882344729]
  超低ビット後量子化における分布認識キャリブレーションのためのスライスされたワッサースタイン損失関数を提案する。 提案した損失は、ランダムな線形射影の下での完全精度および量子化モデルの出力分布を整列する。 OmniQuant と TesseraQ という2つのフロンティア手法を組み込むことで,提案モデルの性能向上を実証する。
  論文  参考訳（メタデータ） (2026-01-11T15:14:05Z)
• MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
  我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
  論文  参考訳（メタデータ） (2025-07-06T08:16:50Z)
• FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
  重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。 本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。 LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
  論文  参考訳（メタデータ） (2024-10-12T08:10:28Z)
• LeanQuant: Accurate and Scalable Large Language Model Quantization with Loss-error-aware Grid [36.33062038680275]
  大規模言語モデル(LLM)は、様々な領域において大きな可能性を示している。 トレーニング後の量子化は、メモリ要求を減らし、遅延をデコードするための有望なテクニックとして登場した。 正確で汎用的でスケーラブルな新しい量子化手法であるLeanQuantを提案する。
  論文  参考訳（メタデータ） (2024-07-14T00:23:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。