論文の概要: Replay the Curvature: Accurate and Scalable NVFP4 Quantization for Large Language Model Inference

• arxiv url: http://arxiv.org/abs/2609.36654v1
• Date: Tue, 29 Sep 2026 03:55:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.16858
• Title: Replay the Curvature: Accurate and Scalable NVFP4 Quantization for Large Language Model Inference
• Title（参考訳）: 曲線の再生:大規模言語モデル推論のための高精度でスケーラブルなNVFP4量子化
• Abstract要約: 本稿では,各ブロックスケールによるGPTQ更新を再現し,不定格列からの補償を考慮した結果のブロックエラーをスコアするスケール選択であるemphSchur Replayを紹介する。
• 参考スコア（独自算出の注目度）: 26.657115303065485
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models make weight storage and memory traffic major inference costs, motivating low-precision formats that represent each weight with only a few bits. Such formats use a scale to map floating-point values into a small codebook; NVFP4 improves local range utilization by letting every 16 E2M1 weights share an E4M3 block scale. Choosing that scale is difficult in GPTQ because quantizing one column updates those that follow, so evaluating a block independently can misestimate its final reconstruction error. Large models pose a second challenge: full-precision weights, calibration activations, and second-order state cannot all remain on one accelerator, while assigning complete layers to devices leaves each time-consuming layer solve serial. We introduce \emph{Schur Replay}, a scale-selection algorithm that reproduces the GPTQ updates caused by each block scale and scores the resulting block error after accounting for compensation from unquantized columns. Separately, our execution infrastructure keeps only the active layer resident, tiers activations across device, host, and disk, retires full-precision layers after export, and distributes independent output rows across tensor-parallel ranks. Together, the algorithm and infrastructure attain $99.35\%$ and $100.84\%$ question-weighted recovery from BF16 across seven benchmarks on Qwen3.5-397B-A17B and Llama-3.3-70B-Instruct. On the 397B model, the infrastructure reduces measured per-layer time by $15.17\times$ over ModelOpt and $23.14\times$ over LLM Compressor, with lower memory used per GPU.
• Abstract（参考訳）: 大規模言語モデルは、重み付けとメモリトラフィックの大きな推論コストを生み出し、各重みをわずか数ビットで表現する低精度フォーマットを動機付けている。 これらのフォーマットは浮動小数点値を小さなコードブックにマッピングするためにスケールを使用し、NVFP4は16のE2M1重みごとにE4M3ブロックスケールを共有することでローカルレンジの利用率を改善する。 このスケールを選択することは、GPTQでは、1つの列の量子化がそれを更新するので難しいため、ブロックを独立して評価することは、最終的な再構築エラーを誤算する可能性がある。 フル精度の重み、キャリブレーションアクティベーション、そして2階の状態を全て1つのアクセラレータに残すことはできない。 本稿では,各ブロックスケールによるGPTQ更新を再現したスケール選択アルゴリズムである \emph{Schur Replay} を紹介する。 別として、当社の実行インフラストラクチャはアクティブなレイヤのみを保持し、デバイス、ホスト、ディスク間でのアクティベーションを階層化し、エクスポート後にフル精度のレイヤを廃止し、テンソルパラレルのランクに独立した出力行を分散します。 アルゴリズムとインフラは、Qwen3.5-397B-A17BとLlama-3.3-70B-Instructの7つのベンチマークで、BF16から99.35\%と100.84\%の質問強調リカバリを得た。 397Bモデルでは、ModelOptよりも15.17\times$、LLM Compressorより23.14\times$、GPUあたりのメモリ使用量が少ない。

関連論文リスト

• Does the VGGT Family Need All Its Layers? [55.81487806596663]
  VGGT,3ドル,VGGT-$:3,018プルーニング構成における層冗長性について検討した。 取り外し可能な層が2つの冗長領域に集結しているのに対して、層間をまたがる削除は、常に破壊的である。 CKAは、間隔分解のためのより安価な表現ベースのプロキシを提供し、プルーニング品質とキャリブレーションコストのトレードオフを提供する。
  論文  参考訳（メタデータ） (2026-09-29T06:52:07Z)
• UE5M3 FP4 Block Scaling for Stable Language Model Pretraining [6.963061311516306]
  NVIDIAのTransformer Engine nvレシピを使用して、約190億トークンのモデルを事前トレーニングします。 Transformer Engine nvと比較して、提案したブロック16レシピは、最終ウィンドウのトレーニング損失が低く、各量子化推論ポリシーの下で、保持された負のログライクな状態として測定された検証損失が低い。 RHTとBF16の最終ブロック免除を共同で除去するネイティブなnv実行アブレーションは、測定されたモデルボディトークンのスループットを21.2%向上させる。
  論文  参考訳（メタデータ） (2026-09-02T17:32:07Z)
• QTEA: Ternary LLMs with Sparse Residual Salient Weight and By-Column Optimization [9.778816613621848]
  3次値に重みを量子化し,残差補償器として正重みを用いるサブ2ビットPTQフレームワークQTEAを提案する。 Qwen3-14Bでは、QTEAは全ての重量を1重量あたり1.7ビットに圧縮し、最強の3次PTQベースラインの平均精度を16.7%向上させた。 また、WikiTextとC4では、それぞれ1.40$times$と2.61$times$低いパープレキシティを達成している。
  論文  参考訳（メタデータ） (2026-08-31T18:33:36Z)
• SharQ: Bridging Activation Sparsity and FP4 Quantization for LLM Inference [4.219937026460372]
  SharQは、オンラインスパース-デンス分解による活性化空間とFP4量子化を橋渡しする。 スパースFP4 GEMMはバックボーンを処理し、密度の高いFP4 GEMMはマスク誘起活性化損失とスパースパス量子化誤差の両方を補償する。
  論文  参考訳（メタデータ） (2026-06-25T04:19:04Z)
• AAAC: Activation-Aware Adaptive Codebooks for 4-bit LLM Weight Quantization [2.9721401411878254]
  トレーニング後の4ビットへの重みのみの量子化は、大規模言語モデル推論のメモリと計算コストの削減に広く用いられている。 4ビットLLM重み量子化のための軽量なAAAC(Activation-Aware Adaptive Codebooks)を提案する。 AWQ, GPTQ, IF4, GPTVQ, OmniQuant, SqueezeLLM, QuIP#をモデルファミリー間で評価した。
  論文  参考訳（メタデータ） (2026-05-09T04:59:21Z)
• The Structural Scalpel: Automated Contiguous Layer Pruning for Large Language Models [33.90597962418094]
  大規模言語モデルのための新しい連続層プルーニングフレームワークであるCLPを提案する。 CLPは、プルーニングに最適な連続層セグメントを自動的に識別する、微分可能な凹面ゲートアルゴリズムを使用している。 CLPは量子化とシームレスに結合して、わずかな性能損失だけでモデルをさらに圧縮することができる。
  論文  参考訳（メタデータ） (2025-10-25T16:40:17Z)
• SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
  拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。 この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。 We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
  論文  参考訳（メタデータ） (2024-11-07T18:59:58Z)
• FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
  重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。 本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。 LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
  論文  参考訳（メタデータ） (2024-10-12T08:10:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。