論文の概要: PN-Mix: Pair-Norm Guided Mixed-Precision Key Cache Quantization for Efficient Long-Output LLM Inference
- arxiv url: http://arxiv.org/abs/2610.19605v1
- Date: Wed, 14 Oct 2026 05:29:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 12:10:45.447386
- Title: PN-Mix: Pair-Norm Guided Mixed-Precision Key Cache Quantization for Efficient Long-Output LLM Inference
- Title（参考訳）: PN-Mix: Pair-Norm Guided Mixed-Precision Key Cache Quantization for Efficient Long-Output LLM Inference
- Abstract要約: 大規模言語モデルにおける長期出力推論は、厳しいKVキャッシュメモリと帯域幅のボトルネックに悩まされる。
KVキャッシュの量子化はこの問題を軽減するが、低ビットの量子化はモデルの精度を著しく低下させる。
最近の混合精度キーキャッシュ量子化法は、この劣化を軽減し、高い精度を重要なキーチャネルに割り当てる。
そこで我々は,PN-Mixを提案する。PN-Mixは,ロペ型デコーダのみのLLMに対する混合精度の鍵キャッシュ量子化手法である。
- 参考スコア（独自算出の注目度）: 9.188178438603975
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Long-output inference in large language models suffers from severe KV cache memory and bandwidth bottlenecks. While KV cache quantization alleviates this issue, low-bit quantization (e.g., 2-bit) severely degrades model accuracy. Recent mixed-precision key-cache quantization methods mitigate this degradation by allocating higher precision to important key channels, but estimate channel saliency using only key statistics. Through attention logit perturbation analysis at the RoPE channel-pair level, we show that quantization errors in channel pairs with large query--key pair-norm products contribute significantly to logit variation. Based on this insight, we propose PN-Mix, a mixed-precision key-cache quantization method for RoPE-based decoder-only LLMs, which allocates higher precision to salient channel pairs identified once during the prefill stage and reused throughout decoding. Across standard reasoning, code-generation, and AIME benchmarks, PN-Mix with 2.26-bit average precision achieves comparable or better average accuracy than prior mixed-precision methods using 2.32--2.39 bits. Furthermore, in our Pareto sweep, PN-Mix degrades gracefully down to 1.5 bits, whereas the compared baselines exhibit sharper performance drops below 2.25 bits.
- Abstract（参考訳）: 大規模言語モデルにおける長期出力推論は、厳しいKVキャッシュメモリと帯域幅のボトルネックに悩まされる。
KVキャッシュの量子化はこの問題を軽減するが、低ビットの量子化(例えば、2ビット)はモデルの精度を著しく低下させる。
最近の混合精度キーキャッシュ量子化法は、この劣化を軽減し、重要なキーチャネルに高い精度を割り当てるが、キー統計のみを用いてチャネルのサリエンシを推定する。
また,RoPEチャネルペアレベルでのアテンションロジット摂動解析により,大きなクエリ-キー対ノルム積を持つチャネルペアにおける量子化誤差がロジット変動に大きく寄与することを示した。
この知見に基づいて, プリフィル段階において1度同定され, 復号期間中に再利用された高精度なチャネル対に高い精度を割り当てる, RoPE ベースのデコーダ専用 LLM の混合精度キーキャッシュ量子化手法である PN-Mix を提案する。
2.26ビットの平均精度を持つPN-Mixは、2.32ビット-2.39ビットを使用した従来の混合精度の手法と同等またはより良い平均精度を達成する。
さらに、PN-Mixは1.5ビットまで優雅に劣化するのに対し、比較したベースラインは2.25ビット以下でよりシャープな性能低下を示す。
関連論文リスト
- OScaR: The Occam's Razor for Extreme KV Cache Quantization in LLMs and Beyond [50.440302567029654]
マルチモーダルインテリジェンスにより、Key-Valueキャッシュは効率的なデプロイメントのための主要なメモリボトルネックとなった。
本研究では、チャネルごとの量子化パラダイムの本質的な限界を再考する。
X-LLMのための高精度かつ軽量なKVキャッシュ圧縮フレームワークOScaRを提案する。
論文 参考訳（メタデータ） (2026-05-19T10:53:03Z) - MixKVQ: Query-Aware Mixed-Precision KV Cache Quantization for Long-Context Reasoning [30.527521568636242]
Long Chain-of-Thought (CoT)推論は、Large Language Models (LLM)の機能を大幅に進歩させた。
既存の低ビット量子化法は、複雑な推論タスクにおいて深刻な性能劣化を示すことが多い。
重要鍵チャネルを識別・保存するための軽量なクエリ対応アルゴリズムであるMixKVQを提案する。
論文 参考訳（メタデータ） (2025-12-22T09:44:26Z) - TaDA: Training-free recipe for Decoding with Adaptive KV Cache Compression and Mean-centering [10.427881558469442]
量子化精度の高いKVキャッシュ圧縮のためのトレーニング不要なレシピであるTaDAを紹介する。
提案手法は,様々なコンテキスト長をサポートする複数のモデルに対して,大幅な精度向上を実現する。
本手法は,言語モデルにおけるスケーラブルで高性能な推論手法である。
論文 参考訳（メタデータ） (2025-06-05T05:23:38Z) - SVDq: 1.25-bit and 410x Key Cache Compression for LLM Attention [0.0]
KVキャッシュ圧縮技術の主な3つのタイプ、すなわちスパシティ、チャネル圧縮、量子化が同定された。
本研究は,Kキャッシュの混合精度定量化法であるSVDqを提案する。
論文 参考訳（メタデータ） (2025-02-21T08:55:21Z) - Quantize What Counts: More for Keys, Less for Values [63.51476878610841]
大規模言語モデル(LLM)は、キーバリュー(KV)キャッシュに支配される推論時のメモリボトルネックに悩まされる。
本稿ではトランスフォーマーモデルの内在幾何学における混合精度KV量子化を固定する2つの定理を提案する。
論文 参考訳（メタデータ） (2025-02-20T22:24:27Z) - MPQ-DM: Mixed Precision Quantization for Extremely Low Bit Diffusion Models [37.061975191553]
本稿では,拡散モデルのための混合精度量子化法MPQ-DMを提案する。
重み付き外周波による量子化誤差を軽減するために,外周波混合量子化手法を提案する。
時間ステップを横断する表現を頑健に学習するために,時間-平滑な関係蒸留方式を構築した。
論文 参考訳（メタデータ） (2024-12-16T08:31:55Z) - SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [63.118592279833656]
後学習量子化(PTQ)は,大規模言語モデル(LLM)の圧縮に有効な手法である
本稿では,SliM-LLMを提案する。SliM-LLMは,グループ単位でビット幅を割り当てるサリエンス駆動の混合精度量子化フレームワークである。
実験により、SliM-LLMは低ビット幅の様々なLLMにおいて優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2024-05-23T16:21:48Z) - DB-LLM: Accurate Dual-Binarization for Efficient LLMs [83.70686728471547]
大規模言語モデル(LLM)は自然言語処理の分野を著しく進歩させてきた。
既存の超低ビット量子化は、常に深刻な精度低下を引き起こす。
本稿では,LLM,すなわちDB-LLMのための新しいデュアルバイナライズ手法を提案する。
論文 参考訳（メタデータ） (2024-02-19T09:04:30Z) - Value-Driven Mixed-Precision Quantization for Patch-Based Inference on
Microcontrollers [35.666772630923234]
QuantMCUは、値駆動型混合精度量子化を利用して冗長計算を減らす、パッチベースの新しい推論手法である。
我々は,QuantMCUが平均2.2倍の計算量を削減できることを示す。
論文 参考訳（メタデータ） (2024-01-24T04:21:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。