論文の概要: Post-Training Quantization via Residual Truncation and Zero Suppression for Diffusion Models

• arxiv url: http://arxiv.org/abs/2509.26436v1
• Date: Tue, 30 Sep 2025 15:55:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 14:45:00.191749
• Title: Post-Training Quantization via Residual Truncation and Zero Suppression for Diffusion Models
• Title（参考訳）: 拡散モデルにおける残留トラニケーションとゼロ抑制による後学習量子化
• Authors: Donghoon Kim, Dongyoung Lee, Ik Joon Chang, Sung-Ho Bae,
• Abstract要約: 拡散モデルは、高品質な画像生成を実現するが、高い計算要求のため、デプロイメントの課題に直面している。 拡散モデルのための4ビットPTQスキームであるResidual Truncation and Zero Suppression (QuaRTZ) による量子化を提案する。 提案手法は,外乱保存とLSB精度のバランスをとることにより,丸め誤差を低減し,量子化効率を向上させる。
• 参考スコア（独自算出の注目度）: 10.000323762676633
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models achieve high-quality image generation but face deployment challenges due to their high computational requirements. Although 8-bit outlier-aware post-training quantization (PTQ) matches full-precision performance, extending PTQ to 4 bits remains challenging. Larger step sizes in 4-bit quantization amplify rounding errors in dense, low-magnitude activations, leading to the loss of fine-grained textures. We hypothesize that not only outliers but also small activations are critical for texture fidelity. To this end, we propose Quantization via Residual Truncation and Zero Suppression (QuaRTZ), a 4-bit PTQ scheme for diffusion models. QuaRTZ applies 8-bit min-max quantization for outlier handling and compresses to 4 bits via leading-zero suppression to retain LSBs, thereby preserving texture details. Our approach reduces rounding errors and improves quantization efficiency by balancing outlier preservation and LSB precision. Both theoretical derivations and empirical evaluations demonstrate the generalizability of QuaRTZ across diverse activation distributions. Notably, 4-bit QuaRTZ achieves an FID of 6.98 on FLUX.1-schnell, outperforming SVDQuant that requires auxiliary FP16 branches.
• Abstract（参考訳）: 拡散モデルは、高品質な画像生成を実現するが、高い計算要求のため、デプロイメントの課題に直面している。 8ビットのアウトリー・アウェア・ポストトレーニング量子化(PTQ)は完全精度に適合するが、PTQを4ビットに拡張することは依然として困難である。 4ビット量子化におけるより大きなステップサイズは、密度の低い高次の活性化における丸め誤差を増幅し、きめ細かいテクスチャが失われる。 我々は、アウトレーヤだけでなく、小さなアクティベーションもテクスチャの忠実度に重要であると仮定する。 そこで本研究では,拡散モデルのための4ビットPTQスキームであるResidual Truncation and Zero Suppression (QuaRTZ) による量子化を提案する。 QuaRTZ は8ビットの min-max 量子化を外周処理に適用し、LSB を保持するために先行ゼロの抑圧によって4ビットに圧縮し、テクスチャの詳細を保存する。 提案手法は,外乱保存とLSB精度のバランスをとることにより,丸め誤差を低減し,量子化効率を向上させる。 理論的導出と経験的評価の両方が、様々な活性化分布における QuaRTZ の一般化可能性を示している。 4ビットのQuaRTZはFLUX.1-schnell上で6.98のFIDを達成し、補助的なFP16ブランチを必要とするSVDQuantを上回っている。

関連論文リスト

• ARCQuant: Boosting NVFP4 Quantization with Augmented Residual Channels for LLMs [4.431548809730958]
  ARCQuantは、Augmented Residual Channelsを通じてNVFP4パフォーマンスを向上させるフレームワークである。 ARCQuantは、複雑なタスクや下流タスクにおいて、完全精度のベースラインに匹敵する、最先端の精度を実現する。
  論文  参考訳（メタデータ） (2026-01-12T12:27:22Z)
• Qrazor: Reliable and Effortless 4-bit LLM Quantization by Significant Data Razoring [2.983583925806601]
  QRazorは、ウェイト、アクティベーション、KVキャッシュの4ビット量子化をトランスフォーマーベース言語モデルで実現可能な、シンプルで効果的な量子化方式である。 まず、8ビットまたは16ビットの整数を用いてデータを量子化し、絶対的な最大スケーリングで完全精度のモデルに近い精度で保存し、次に、重要なデータレイソーシング(SDR)技術を用いて4ビットに圧縮する。
  論文  参考訳（メタデータ） (2025-01-23T02:20:08Z)
• ResQ: Mixed-Precision Quantization of Large Language Models with Low-Rank Residuals [10.860081994662645]
  大規模言語モデル(LLM)の学習後の量子化は、推論時の計算コストを抑えるという約束を果たす。 本稿では,最先端技術をさらに推し進めるPTQ手法であるResQを提案する。 ResQは、様々なベンチマークにおいて、最近の一様および混合精度のPTQ法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-18T22:01:55Z)
• SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [58.5019443418822]
  拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。 この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。 We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
  論文  参考訳（メタデータ） (2024-11-07T18:59:58Z)
• 2DQuant: Low-bit Post-Training Quantization for Image Super-Resolution [83.09117439860607]
  低ビット量子化は、エッジ展開のための画像超解像(SR)モデルを圧縮するために広く普及している。 低ビット量子化は、フル精度(FP)と比較してSRモデルの精度を低下させることが知られている。 本稿では2DQuantという画像超解像のための2段階の低ビット後量子化(PTQ)法を提案する。
  論文  参考訳（メタデータ） (2024-06-10T06:06:11Z)
• MixDQ: Memory-Efficient Few-Step Text-to-Image Diffusion Models with Metric-Decoupled Mixed Precision Quantization [16.83403134551842]
  最近の数ステップの拡散モデルでは、デノナイジングステップを減らして推論時間を短縮している。 Post Training Quantization (PTQ)は、高ビット幅のFP表現を低ビット整数値に置き換える。 しかし、数ステップの拡散モデルに適用する場合、既存の量子化法は画質とテキストアライメントの両方を維持する上で困難に直面している。
  論文  参考訳（メタデータ） (2024-05-28T06:50:58Z)
• PTQ4DiT: Post-training Quantization for Diffusion Transformers [52.902071948957186]
  ポストトレーニング量子化(PTQ)は、計算とメモリフットプリントを大幅に削減できる高速でデータ効率のソリューションとして登場した。 提案するPTQ4DiTは,DiTのための特別に設計されたPTQ手法である。 PTQ4DiTは8ビットの精度でDiTの量子化に成功した。
  論文  参考訳（メタデータ） (2024-05-25T02:02:08Z)
• CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
  ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。 LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。 CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
  論文  参考訳（メタデータ） (2023-12-13T07:56:27Z)
• Q-ASR: Integer-only Zero-shot Quantization for Efficient Speech Recognition [65.7040645560855]
  ASRモデルに対する整数のみのゼロショット量子化スキームであるQ-ASRを提案する。 全精度ベースラインモデルと比較すると,wrの変化は無視できる。 Q-ASRは、WER劣化が少ない4倍以上の圧縮率を示します。
  論文  参考訳（メタデータ） (2021-03-31T06:05:40Z)
• HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
  現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。 HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
  論文  参考訳（メタデータ） (2020-11-20T23:51:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。