論文の概要: Deflating the Hessian: Rank-4 W4A4 Quantization for Multimodal Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2610.11315v2
• Date: Fri, 09 Oct 2026 04:09:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.190396
• Title: Deflating the Hessian: Rank-4 W4A4 Quantization for Multimodal Diffusion Transformers
• Title（参考訳）: マルチモーダル拡散変換器のランク4 W4A4量子化
• Abstract要約: 拡散変圧器において、低ランク分岐は、各重量を低ビット残差と高精度の低ランク成分に分解することで、4ビット重量活性化(W4A4)後トレーニング量子化(PTQ)の損失を軽減することができる。 しかし、既存の低ランクPTQアプローチでは、低ランク補償と残留量子化を別々に最適化するか、アクティベーション量子化誤差を明示的にモデル化せずに2階重み更新に依存する。 HSVDQuantは、低ランク支援W4A4 PTQを結合キャリブレーション問題としてモデル化し、最適化に基づく解法を共同目的から導出する統合フレームワークである。
• 参考スコア（独自算出の注目度）: 4.3209092324747775
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In diffusion transformers, low-rank branches can mitigate 4-bit weight--activation (W4A4) post-training quantization (PTQ) loss by decomposing each weight into a low-bit residual and a high-precision low-rank component. Existing low-rank PTQ approaches, however, either optimize low-rank compensation and residual quantization separately, often requiring higher ranks, or rely on second-order weight updates without explicitly modeling activation quantization error, which becomes particularly pronounced under 4-bit quantization. To address these limitations, we present HSVDQuant, a unified framework modeling low-rank-assisted W4A4 PTQ as a coupled calibration problem and deriving optimization-based solvers from the joint objective. Eliminating the output-side low-rank factor yields a deflated Hessian that discounts residual errors already captured by the low-rank component, while an activation-noise surrogate is incorporated to suppress activation quantization error. Across five diffusion backbones, rank-4 HSVDQuant consistently outperforms rank-4 SVDQuant in PSNR and LPIPS. It further surpasses rank-32 SVDQuant on SANA-1.6B, FLUX.1-schnell, and FLUX.1-dev with an $8\times$ smaller rank and up to $6.25\times$ faster quantization. Furthermore, on the Qwen3-8B LLM, rank-4 HSVDQuant improves MMLU accuracy from 61.50% to 68.17% over rank-32 SVDQuant. Overall, HSVDQuant achieves better W4A4 performance with substantially lower rank and quantization cost.
• Abstract（参考訳）: 拡散変圧器において、低ランク分岐は、各重みを低ビット残差と高精度の低ランク成分に分解することで、4ビット重量活性化(W4A4)後トレーニング量子化(PTQ)損失を軽減することができる。 しかし、既存の低ランクPTQアプローチでは、低いランクの補償と残留量子化を別々に最適化し、高いランクを必要とする場合が多いか、アクティベーション量子化誤差を明示的にモデル化せずに2階の重み更新に依存する場合があり、4ビットの量子化の下で特に顕著に発音される。 これらの制約に対処するため、HSVDQuantは、低ランク支援W4A4 PTQを結合キャリブレーション問題としてモデル化し、最適化に基づく解法を共同目的から導出する統合フレームワークである。 出力側低ランク係数の除去は、既に低ランク成分によって捕捉された残差誤差を低減させるデフレーションされたヘシアンとなり、アクティベーションノイズサロゲートはアクティベーション量子化誤差を抑制するために組み込まれる。 5つの拡散バックボーンのうち、ランク4 HSVDQuant は PSNR と LPIPS でランク4 SVDQuant を一貫して上回っている。 SANA-1.6B、FLUX.1-schnell、FLUX.1-devでランク32のSVDQuantを上回り、より小さなランクで最大6.25-timesの高速量子化が可能である。 さらに、Qwen3-8B LLMでは、ランク4 HSVDQuant はランク32 SVDQuant よりも MMLU の精度を 61.50% から 68.17% に向上させる。 全体として、HSVDQuantは、かなり低いランクと量子化コストでW4A4のパフォーマンスを向上させる。

関連論文リスト

• Align, Then Correct: Training-Free Two-Stage Low-Rank Compensation for Extremely Quantized Large Language Models [9.974090237284312]
  低ランク量子化誤差補償(LQEC)は、攻撃的な重み量子化の下で失われた精度を回復する。 既存の補償器は2つの共有単純化によって制限されていることを示す。 本稿では,2段階のクローズドフォームフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-10-06T11:16:37Z)
• LoRaQ: Optimized Low Rank Approximation for 4-bit Quantization [39.25504627568235]
  トレーニング後の量子化(PTQ)は、リソース制約のあるハードウェアに大規模な拡散トランスフォーマーをデプロイするために不可欠である。 LoRaQ (Low-Rank Approximated Quantization) は、量子化誤差補償を最適化する単純なデータフリーキャリブレーション手法である。 Pixart-$とSANAのネイティブ実装において、LoRaQが最先端のメソッドよりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-04-20T11:37:10Z)
• SERQ: Saliency-Aware Low-Rank Error Reconstruction for LLM Quantization [7.372706701787234]
  学習後量子化(PTQ)は,大規模言語モデルを効率的に展開するための一般的な手法として登場した。 SERQは1つの低ランク補償行列を用いる低ビットLLM推論のためのサリエンシ対応誤差再構成法である。
  論文  参考訳（メタデータ） (2026-03-09T10:04:12Z)
• SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
  拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。 この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。 We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
  論文  参考訳（メタデータ） (2024-11-07T18:59:58Z)
• FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
  重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。 本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。 LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
  論文  参考訳（メタデータ） (2024-10-12T08:10:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。