論文の概要: HyQuant: Hybrid-Precision Quantization for LLM Attention

• arxiv url: http://arxiv.org/abs/2608.27875v1
• Date: Fri, 28 Aug 2026 03:30:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.192724
• Title: HyQuant: Hybrid-Precision Quantization for LLM Attention
• Title（参考訳）: HyQuant: LLM注意のためのハイブリッド精度量子化
• Abstract要約: インパハテンションモジュールの低ビット量子化は、しばしば非常に低ビット幅で大きなエラーが発生し、性能が低下する。 既存の手法は主にアウトレーラを扱うための平滑化技術に依存しているが、我々は精度と効率のバランスを改善するためのハイブリッド量子化設計を提案する。 HyQuantは、ほとんどの注意状態を小さな垂直線トークンと局所ウィンドウ状態のセットを高い精度で保持しながら、低ビット形式に量子化する。
• 参考スコア（独自算出の注目度）: 15.526390604312525
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quantization has been widely adopted in LLM training and inference to reduce cost and improve efficiency. However, low-bit quantization of the \emph{attention} module often introduces large errors at very low bit-widths, causing performance degradation. Existing methods mainly rely on smoothing techniques to handle outliers, while we propose a hybrid quantization design to better balance accuracy and efficiency. Specifically, we propose \textbf{HyQuant}, an efficient hybrid quantization framework for LLM attention. HyQuant quantizes most attention states into low-bit formats while retaining a small set of vertical-line tokens and local-window states in high precision. These accuracy-critical regions are selected using lightweight vertical-line-aware attention-pattern signals, reducing quantization error with limited overhead. In the Prefill stage, HyQuant uses a hybrid-precision quantized attention operator that preserves vertical-line tokens and a local sliding window in full precision while quantizing the remaining context. In the Decode stage, HyQuant applies the same principle to KV-cache compression and fuses KV dequantization with attention computation to improve memory and hardware efficiency. Across diverse tasks, models, and datasets, HyQuant maintains nearly lossless accuracy with an extremely simple design, demonstrating the efficiency and practical feasibility of hybrid quantization for LLM attention. Code is available at: https://github.com/jerrysfls/HyQuant .
• Abstract（参考訳）: 量子化は、LLMのトレーニングと推論において、コスト削減と効率向上のために広く採用されている。 しかしながら、 \emph{attention} モジュールの低ビット量子化は、しばしば非常に低いビット幅で大きなエラーが発生し、性能が低下する。 既存の手法は主にアウトレーラを扱うための平滑化技術に依存しているが、我々は精度と効率のバランスを改善するためのハイブリッド量子化設計を提案する。 具体的には、LLM注目のための効率的なハイブリッド量子化フレームワークである「textbf{HyQuant}」を提案する。 HyQuantは、ほとんどの注意状態を小さな垂直線トークンと局所ウィンドウ状態のセットを高い精度で保持しながら、低ビット形式に量子化する。 これらの精度クリティカル領域は、軽量な垂直線対応アテンションパターン信号を用いて選択され、オーバーヘッドに制限のある量子化誤差を低減する。 Prefillの段階では、HyQuantは垂直線トークンと局所スライディングウィンドウを完全精度で保存し、残りのコンテキストを定量化するハイブリッド精度の量子化アテンション演算子を使用している。 Decode の段階では、HyQuant は同じ原理を KV-cache 圧縮に適用し、KV dequantization を注意計算と融合させ、メモリとハードウェアの効率を向上させる。 多様なタスク、モデル、データセットにわたって、HyQuantは極めて単純な設計でほぼ損失のない精度を維持しており、LLMの注目のためにハイブリッド量子化の効率性と実用性を示している。 コードは、https://github.com/jerrysfls/HyQuant で入手できる。

関連論文リスト

• Mix-Quant: Quantized Prefilling, Precise Decoding for Agentic LLMs [78.01752802974855]
  高速エージェント推論のための簡易かつ効果的な位相認識量子化フレームワークであるMix-Quantを提案する。 我々は,Mix-Quantがタスク性能を保ち,高い効率向上を実現し,プリフィル時に最大3倍の高速化を実現していることを示す。
  論文  参考訳（メタデータ） (2026-05-19T17:50:17Z)
• Fitting Is Not Enough: Smoothness in Extremely Quantized LLMs [46.88109820641649]
  大規模言語モデル(LLM)は高いパフォーマンスを実現するが、高いデプロイメントコストがかかる。 既存の量子化アルゴリズムは主に前方計算の数値的精度の向上に焦点を当てている。 極端に量子化されたLLMは,数値的損失を超える系統的劣化に悩まされていることを示す。
  論文  参考訳（メタデータ） (2026-05-09T11:19:51Z)
• End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost [53.25965863436039]
  量子化対応トレーニング(QAT)は、より原則化されたソリューションを提供するが、バックプロパゲーションに依存しているため、メモリコストは禁じられている。 重み付けとアクティベーション量子化の両方をサポートするゼロオーダー最適化ベースのQATフレームワークであるZeroQATを提案する。 実験の結果、ZeroQATはPTQとQATのベースラインを一貫して上回り、メモリは大幅に削減された。
  論文  参考訳（メタデータ） (2025-08-21T01:18:27Z)
• MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
  我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
  論文  参考訳（メタデータ） (2025-07-06T08:16:50Z)
• FineQ: Software-Hardware Co-Design for Low-Bit Fine-Grained Mixed-Precision Quantization of LLMs [13.951330786310262]
  FineQは、ソフトウェアとハードウェアの共同設計であり、大規模言語モデルの低ビット細粒度混合精度量子化のための設計である。 重みをよりきめ細かいクラスタに分割し、これらのクラスタ内の外れ値の分布を考慮する。 近似平均ビット幅でのSOTA混合精度量子化アルゴリズムと比較してモデル精度が向上する。
  論文  参考訳（メタデータ） (2025-04-28T12:47:23Z)
• Channel-Wise Mixed-Precision Quantization for Large Language Models [47.00361921910259]
  大規模言語モデル(LLM)は、幅広い言語タスクで顕著な成功を収めている。 重みのみの量子化は、LCMのメモリフットプリントを削減するための有望な解決策である。 本稿では,CMPQ(Channel-Wise Mixed-Precision Quantization)を提案する。
  論文  参考訳（メタデータ） (2024-10-16T21:34:41Z)
• QSpec: Speculative Decoding with Complementary Quantization Schemes [53.960146187821685]
  大規模言語モデル(LLM)における推論の高速化とメモリ消費削減のために量子化が広く採用されている 品質から効率を分離する新しい量子化パラダイムであるQSpecを提案する。 QSpecは重みとKVキャッシュの両方を段階的に再利用し、再トレーニングや補助モデルなしでほぼゼロコストで切り替えることができる。
  論文  参考訳（メタデータ） (2024-10-15T05:57:51Z)
• Unlocking Data-free Low-bit Quantization with Matrix Decomposition for KV Cache Compression [87.5604418100301]
  キー値(KV)キャッシングは,大規模言語モデルの推論を高速化する重要な手法である。 既存の手法はしばしば精度を損なうか、キャリブレーションのために余分なデータを必要とする。 テンソル分解法に基づく新しいデータフリー低ビット量子化手法である textbfDecoQuant を導入する。
  論文  参考訳（メタデータ） (2024-05-21T08:35:10Z)
• WKVQuant: Quantizing Weight and Key/Value Cache for Large Language Models Gains More [55.0856305773081]
  大規模言語モデル (LLM) は、そのメモリ要求と自動回帰テキスト生成プロセスの計算要求のために、重要なデプロイメント課題に直面している。 本稿では、モデルパラメータとアクティベーションを低ビット整数に変換することでメモリ消費を低減する手法であるLCMの量子化に着目し、これらの課題に対処する。
  論文  参考訳（メタデータ） (2024-02-19T11:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。