論文の概要: Disaggregated Quantization: Specializing LLM Prefill and Decode

• arxiv url: http://arxiv.org/abs/2609.26333v1
• Date: Tue, 22 Sep 2026 12:44:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.361357
• Title: Disaggregated Quantization: Specializing LLM Prefill and Decode
• Title（参考訳）: 分散量子化: LLMプリフィルとデコード
• Abstract要約: 両相の計算形式,重み,ストレージ配置を専門とする分散量子化(DQ)を提案する。 Qwen 3 と Gemma 3 では、デコードに特化してアクティベーション量子化を取り除くことで、推論コストを増大させることなく、デコード重タスクの精度が向上する。 Qwen3.8B GGUFデコーダのリリースにより、NVFP4プリフィルのトレーニングでは、デコードチェックポイントを変更することなくMMLU-Proで32.5点、MMMU-Proで35.3点の精度が向上した。
• 参考スコア（独自算出の注目度）: 40.01359064188211
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prefill and decode reward different approaches to quantization: low-precision arithmetic accelerates prompt processing, while compact weights reduce memory traffic during generation. We propose "disaggregated quantization" (DQ), which specializes computation formats, weights and storage placement to both of these phases. On Qwen 3 and Gemma 3, removing activation quantization specifically on decode improves accuracy on decode-heavy tasks without increasing inference cost. Training separate compute-native prefill weights accelerates prompt processing relative to weight-only inference while matching or exceeding its accuracy at 2-3-bit decode on both decode-heavy and prefill-heavy tasks. With released Qwen3.8-27B GGUF decoders, training an NVFP4 prefiller improves 1-bit accuracy by 32.5 points on MMLU-Pro and 35.3 on MMMU-Pro without modifying the decode checkpoint. To accommodate the additional checkpoint on a single device, offloaded disaggregated prefill (ODP) streams its weights from SSD, amortizing loading over prompt length. On the same 27B model, ODP delivers a 1.78x time-to-first-token speedup over the weight-only baseline at 8K prompt length in llama.cpp. We evaluate accuracy under disaggregated serving in vLLM and further validate shared-weight format disaggregation through post-training quantization on models up to 2.8T parameters.
• Abstract（参考訳）: 低精度演算はプロンプト処理を加速し、コンパクトウェイトは生成時のメモリトラフィックを減少させる。 両相の計算形式,重み,ストレージ配置を専門とする分散量子化(DQ)を提案する。 Qwen 3 と Gemma 3 では、デコードに特化してアクティベーション量子化を取り除くことで、推論コストを増大させることなく、デコード重タスクの精度が向上する。 異なる計算ネイティブのプリフィルウェイトをトレーニングすることで、デコード重とプリフィル重の両タスクで2～3ビットのデコードに一致または精度を越えながら、ウェイトのみの推論に対するプロンプト処理を加速する。 リリースされたQwen3.8-27B GGUFデコーダにより、NVFP4プリフィルのトレーニングでは、デコードチェックポイントを変更することなくMMLU-Proで32.5点、MMMU-Proで35.3点の精度が向上した。 単一デバイス上の追加チェックポイントに対応するため、オフロードされた非集約型プリフィル(ODP)はその重量をSSDからストリーミングし、即時長よりも負荷を減らした。 同じ27Bモデルでは、ODPはラマ.cppで重量のみのベースラインを8Kのプロンプト長で1.78倍のタイム・ツー・ファーストのスピードアップを提供する。 我々は,vLLMにおけるデアグリゲーションサーブの下での精度を評価し,最大2.8Tパラメータのトレーニング後量子化による共有重み付きフォーマットデアグリゲーションを検証する。

関連論文リスト

• GRINQH: Graded Input-based Quantization Hierarchy for Efficient LLM Generation [6.515041755039866]
  GRINQHは、量子化とスパーシフィケーションを統合することでデコーディングを加速する、重量のみのポストトレーニング量子化フレームワークである。 Llama3とQwen3モデルで評価すると、GRINQHは3ビットと4ビットの設定で最先端の固定精度と混合精度のベースラインを上回っている。 我々は、階層型ネストメモリレイアウトをカスタムGPUカーネルのマルチ精度ストレージに活用することにより、理論的スピードアップを実験的に検証する。
  論文  参考訳（メタデータ） (2026-06-22T14:42:34Z)
• LAQuant: A Simple Overhead-free Large Reasoning Model Quantization by Layer-wise Lookahead Loss [8.481133435038839]
  大規模な推論モデルは、長い自己回帰復号によって競合レベルの数学と符号化精度に達する。 ウェイト量子化はアクセラレーションの標準ツールであるが、長復号推論ベンチマークでは、代表的なレシピが正確さを失う。 そこで我々はLookAhead Quantization (LAQuant) を提案する。
  論文  参考訳（メタデータ） (2026-05-09T07:35:38Z)
• CodeGEMM: A Codebook-Centric Approach to Efficient GEMM in Quantized LLMs [14.5426213901124]
  本稿では,コードブック中心のGEMMカーネルであるCodeGEMMについて紹介する。 Llama-3 モデルでは、CodeGEMM は2ビット構成で 1.83x (8B) と 8.93x (70B) のスピードアップを提供する。
  論文  参考訳（メタデータ） (2025-12-19T06:16:32Z)
• FGMP: Fine-Grained Mixed-Precision Weight and Activation Quantization for Hardware-Accelerated LLM Inference [25.6644057021512]
  量子化は、大きな言語モデル(LLM)推論効率を改善する強力なツールである。 LLM重みとアクティベーションを高精度に定量化することは、モデルの精度を劣化させることなく困難である。 ハードウェア-ソフトウェア共設計手法であるFGMP量子化法を提案する。
  論文  参考訳（メタデータ） (2025-04-19T02:51:45Z)
• Task-Circuit Quantization: Leveraging Knowledge Localization and Interpretability for Compression [55.323397702682506]
  後トレーニング量子化(PTQ)は、コストのかかる再トレーニングなしに全精度重みを低ビット重みにマッピングすることで、モデルのメモリフットプリントを削減する。 我々は,自動回路発見に並列性を持つ新しい混合精度PTQ手法であるTask-Circuit Quantization (TaCQ)を開発した。
  論文  参考訳（メタデータ） (2025-04-10T02:19:03Z)
• FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
  重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。 本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。 LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
  論文  参考訳（メタデータ） (2024-10-12T08:10:28Z)
• EfficientQAT: Efficient Quantization-Aware Training for Large Language Models [50.525259103219256]
  量子化対応トレーニング(QAT)は、低ビット表現によるメモリ消費を最小限の精度で削減することで、ソリューションを提供する。 より有効なQATアルゴリズムであるEfficient QAT(Efficient Quantization-Aware Training)を提案する。 効率的なQATは、全てのパラメータのブロックワイドトレーニング(Block-AP)と量子化パラメータのエンドツーエンドトレーニング(E2E-QP)の2つのフェーズを含む。
  論文  参考訳（メタデータ） (2024-07-10T17:53:30Z)
• GPTQT: Quantize Large Language Models Twice to Push the Efficiency [1.3149617027696827]
  本稿では,学習後量子化手法であるGPTQTを導入し,メモリ使用量の削減と処理速度の向上を図る。 重みの量子化誤差の最小化は非効率であり、過度に適合することを示した。 GPTQTは、最初は線形量子化を用いて重みを相対的に高いビットに量子化し、続いて得られた重みを低ビットバイナリ符号化に変換する。
  論文  参考訳（メタデータ） (2024-07-03T08:08:01Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。