論文の概要: Quantizing Recurrent Language Models Is Easier Than You Think

• arxiv url: http://arxiv.org/abs/2611.01864v1
• Date: Sun, 01 Nov 2026 12:55:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.504825
• Title: Quantizing Recurrent Language Models Is Easier Than You Think
• Title（参考訳）: リカレント言語モデルの量子化は思ったより簡単
• Abstract要約: 繰り返しモデルに対する量子化法の設計空間について検討する。 研究結果は、状態量子化パイプラインであるLoReSとしてインスタンス化します。 我々は、vLLMでLoReSを実装し、エンドツーエンドのデコードスピードアップを実証する。
• 参考スコア（独自算出の注目度）: 49.219843966457155
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linear recurrences are becoming an increasingly common building block in large language models, replacing the growing KV cache of softmax attention with a fixed-size recurrent state that enables efficient decoding. However, the quantization stack has largely been developed around softmax Transformers, whose numerical properties and inference state differ from those of recurrent models. Our goal is to understand these differences and study the design space of quantization methods for recurrent models. In our analysis, we differentiate between two targets. First, extra-state quantization concerns weights and activations outside the recurrent state, whose distributions are shaped indirectly by the sequence mixer during training. In controlled 1.3B parameter models, we find that decayed recurrences develop weaker residual outlier channels than softmax attention and are therefore easier to quantize without incoherence processing. Second, intra-state quantization concerns the recurrent state itself during decode, where repeated updates create a different numerical problem from KV cache quantization. We instantiate our findings as LoReS, a state quantization pipeline combining value-axis scale grouping to match output channel magnitude, decay-based mixed-precision to protect slowly decaying heads or channels, and stochastic rounding to limit error accumulation under repeated requantization. Across Qwen-3.5 9B, Nemotron-H 8B, and Kimi-Linear 48B-A3B, LoReS supports robust 8-bit state quantization and lower effective precision on shorter decode horizons. We implement LoReS in vLLM and demonstrate end-to-end decode speedups.
• Abstract（参考訳）: 線形再帰は、ソフトマックスアテンションの増大するKVキャッシュを、効率的な復号化を可能にする固定サイズのリカレント状態に置き換える、大規模言語モデルにおいて、ますます一般的なビルディングブロックになりつつある。 しかし、量子化スタックは主にソフトマックス変換器を中心に開発されており、その数値的性質と推論状態は再帰モデルとは異なる。 我々のゴールは、これらの違いを理解し、反復モデルのための量子化手法の設計空間を研究することである。 分析では、2つの目標を区別する。 第一に、外部状態の量子化は、リカレント状態の外での重みと活性化に関係し、その分布はトレーニング中にシーケンスミキサーによって間接的に形成される。 制御された1.3Bパラメータモデルでは、崩壊した再発はソフトマックスアテンションよりも弱い残差外れチャネルを形成し、不整合処理をせずに定量化が容易である。 第二に、状態内量子化(Intra-state Quantization)は、復号時に再カレント状態自体に関係し、繰り返し更新することでKVキャッシュ量子化とは異なる数値問題を発生させる。 出力チャネルの規模に合わせて値軸スケールをグループ化した状態量子化パイプラインであるLoReS, 緩やかに減衰する頭やチャネルを保護するための減衰に基づく混合精度, 繰り返し再量子化による誤差の蓄積を制限する確率的ラウンドリングなどについて検討した。 Qwen-3.5 9B、Nemotron-H 8B、Kim-Linear 48B-A3Bをまたいで、LoReSはロバストな8ビット状態量子化と短い復号水平線の有効精度の低下をサポートする。 我々は、vLLMでLoReSを実装し、エンドツーエンドのデコードスピードアップを実証する。

関連論文リスト

• Activation Denoising: A Robustness View on Parallel vs Sequential LLM Quantization [58.53931135216174]
  トレーニング後の量子化は、大きな言語モデルを圧縮するための強力なツールである。 逐次量子化(Sequential Quantization)は、各層を前者の既に定量化されている出力に再計算することで、エラーの複雑化の原因となる。 本稿では, 量子化を完全に並列に保ちながら, 逐次的利益の多くを回復する, アクティベーションデノイングによる並列量子化を提案する。
  論文  参考訳（メタデータ） (2026-10-05T23:41:48Z)
• LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization [60.59339465850602]
  本論文では、8ビットのリカレント状態量子化の下で、ほぼ無作為な性能を実現する学習不要なLeapQuantを提案する。 LeapQuantは、推論中にメモリと計算コストを大幅に削減することを示す。 FP32ベースラインに匹敵する精度で、カーネルレベルでは2.05--3.70$times$、エンドツーエンドの推論では1.47$times$となる。
  論文  参考訳（メタデータ） (2026-09-29T17:59:34Z)
• RUQuant: Towards Refining Uniform Quantization for Large Language Models [17.258420059228808]
  ポストトレーニング量子化(PTQ)は、再トレーニングを必要とせずにモデルを圧縮することで、実用的なソリューションとして登場した。 既存の方法は、アクティベーション分布の非一様性により、かなりの精度の劣化に悩まされることが多い。 本研究では,ロイド-マックス最適条件に基づく理論的な観点から,活性化量子化問題を再考する。
  論文  参考訳（メタデータ） (2026-04-05T08:04:39Z)
• Variational Quantum Dimension Reduction for Recurrent Quantum Models [3.112711246449628]
  リカレント量子モデル(RQM)は、メモリシステムへのユニタリ演算の繰り返し適用を通じて、シーケンシャル量子プロセスを実現する。 本稿では,無関係なメモリ自由度を識別・除去するテクスチタリシジョン量子次元減少フレームワークを提案する。 我々のフレームワークは, 変量行列の積状態乱れに比べて, 最大で3桁小さいQFDRを実現している。
  論文  参考訳（メタデータ） (2026-03-10T12:12:16Z)
• MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
  我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
  論文  参考訳（メタデータ） (2025-07-06T08:16:50Z)
• DilateQuant: Accurate and Efficient Diffusion Quantization via Weight Dilation [9.612860507356702]
  後トレーニング量子化(PTQ)は、低ビットのケースで破滅的に失敗する。 量子化対応トレーニング(QAT)が不可欠である。 拡散モデルのための新しいQATフレームワークであるDilateQuantを提案する。
  論文  参考訳（メタデータ） (2024-09-22T04:21:29Z)
• CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
  ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。 LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。 CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
  論文  参考訳（メタデータ） (2023-12-13T07:56:27Z)
• TFMQ-DM: Temporal Feature Maintenance Quantization for Diffusion Models [52.454274602380124]
  拡散モデルは非常に時間ステップ$t$に大きく依存し、良好なマルチラウンドデノジングを実現している。 本稿では,時間情報ブロック上に構築した時間的特徴保守量子化(TFMQ)フレームワークを提案する。 先駆的なブロック設計により、時間情報認識再構成(TIAR)と有限集合キャリブレーション(FSC)を考案し、完全な時間的特徴を整列させる。
  論文  参考訳（メタデータ） (2023-11-27T12:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。