論文の概要: TCAQ-DM: Timestep-Channel Adaptive Quantization for Diffusion Models

• arxiv url: http://arxiv.org/abs/2412.16700v1
• Date: Sat, 21 Dec 2024 16:57:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:58:37.423811
• Title: TCAQ-DM: Timestep-Channel Adaptive Quantization for Diffusion Models
• Title（参考訳）: TCAQ-DM:拡散モデルのためのタイムステップチャネル適応量子化
• Authors: Haocheng Huang, Jiaxin Chen, Jinyang Guo, Ruiyi Zhan, Yunhong Wang,
• Abstract要約: 拡散モデル(TCAQ-DM)のためのタイムステップ・チャネル適応量子化法を提案する。 提案手法は,ほとんどの場合,最先端の手法よりも優れている。
• 参考スコア（独自算出の注目度）: 49.65286242048452
• License:
• Abstract: Diffusion models have achieved remarkable success in the image and video generation tasks. Nevertheless, they often require a large amount of memory and time overhead during inference, due to the complex network architecture and considerable number of timesteps for iterative diffusion. Recently, the post-training quantization (PTQ) technique has proved a promising way to reduce the inference cost by quantizing the float-point operations to low-bit ones. However, most of them fail to tackle with the large variations in the distribution of activations across distinct channels and timesteps, as well as the inconsistent of input between quantization and inference on diffusion models, thus leaving much room for improvement. To address the above issues, we propose a novel method dubbed Timestep-Channel Adaptive Quantization for Diffusion Models (TCAQ-DM). Specifically, we develop a timestep-channel joint reparameterization (TCR) module to balance the activation range along both the timesteps and channels, facilitating the successive reconstruction procedure. Subsequently, we employ a dynamically adaptive quantization (DAQ) module that mitigate the quantization error by selecting an optimal quantizer for each post-Softmax layers according to their specific types of distributions. Moreover, we present a progressively aligned reconstruction (PAR) strategy to mitigate the bias caused by the input mismatch. Extensive experiments on various benchmarks and distinct diffusion models demonstrate that the proposed method substantially outperforms the state-of-the-art approaches in most cases, especially yielding comparable FID metrics to the full precision model on CIFAR-10 in the W6A6 setting, while enabling generating available images in the W4A4 settings.
• Abstract（参考訳）: 拡散モデルは画像およびビデオ生成タスクにおいて顕著な成功を収めた。 それでも、複雑なネットワークアーキテクチャと反復拡散のためのかなりの時間ステップのため、推論中に大量のメモリと時間オーバーヘッドを必要とすることが多い。 近年,ポストトレーニング量子化(PTQ)技術は,浮動小数点演算を低ビット演算に量子化することにより,推論コストを削減できる有望な方法として証明されている。 しかし、それらの多くは、異なるチャネルとタイムステップにわたるアクティベーションの分布の大きなバリエーションに対処することができず、また拡散モデルにおける量子化と推論の間の入力の不整合のため、多くの改善の余地を残している。 そこで本稿では,拡散モデルのためのタイムステップ・チャネル適応量子化法(TCAQ-DM)を提案する。 具体的には、タイムステップとチャネルの双方でアクティベーション範囲のバランスをとるためのTCRモジュールを開発し、連続した再構成手順を容易にする。 次に,動的適応量子化(DAQ)モジュールを用いて,各ソフトマックス層に対して,その分布の種類に応じて最適な量子化器を選択することにより,量子化誤差を緩和する。 さらに,入力ミスマッチによるバイアスを軽減するために,段階的に整列された再建(PAR)戦略を提案する。 W6A6設定でCIFAR-10の完全精度モデルに匹敵するFIDメトリクスを出力し、W4A4設定で利用可能な画像を生成する。

関連論文リスト

• QVD: Post-training Quantization for Video Diffusion Models [33.13078954859106]
  ポストトレーニング量子化(PTQ)は、メモリフットプリントの削減と計算効率の向上に有効な手法である。 本稿では,QVDと呼ばれるビデオ拡散モデルに適した最初のPTQ戦略を紹介する。 我々は、W8A8のほぼロスレス性能劣化を達成し、FVDの205.12倍の性能向上を実現した。
  論文  参考訳（メタデータ） (2024-07-16T10:47:27Z)
• Timestep-Aware Correction for Quantized Diffusion Models [28.265582848911574]
  本稿では,量子化誤差を動的に補正する量子化拡散モデルの時間ステップ対応補正法を提案する。 提案手法を低精度拡散モデルに応用することにより,出力品質の大幅な向上が期待できる。
  論文  参考訳（メタデータ） (2024-07-04T13:22:31Z)
• 2DQuant: Low-bit Post-Training Quantization for Image Super-Resolution [83.09117439860607]
  低ビット量子化は、エッジ展開のための画像超解像(SR)モデルを圧縮するために広く普及している。 低ビット量子化は、フル精度(FP)と比較してSRモデルの精度を低下させることが知られている。 本稿では2DQuantという画像超解像のための2段階の低ビット後量子化(PTQ)法を提案する。
  論文  参考訳（メタデータ） (2024-06-10T06:06:11Z)
• QuEST: Low-bit Diffusion Model Quantization via Efficient Selective Finetuning [52.157939524815866]
  本稿では,現行手法の有効性を損なう量子拡散モデルの3つの特性を実証的に明らかにする。 重要な時間的情報を保持する層と、ビット幅の低減に敏感な層という、2つの重要なタイプの量子化層を同定する。 提案手法は,3つの高分解能画像生成タスクに対して評価し,様々なビット幅設定で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-02-06T03:39:44Z)
• EDA-DM: Enhanced Distribution Alignment for Post-Training Quantization of Diffusion Models [4.21216544443537]
  量子化はモデルの複雑性を効果的に低減し、後学習量子化(PTQ)は拡散モデルの圧縮と加速に非常に有望である。 既存の拡散モデルのPTQ法は, キャリブレーションサンプルレベルと再構成出力レベルの両方の分布ミスマッチ問題に悩まされている。 本稿では,拡散モデル(EDA-DM)の学習後量子化のための分散アライメントの強化について述べる。
  論文  参考訳（メタデータ） (2024-01-09T14:42:49Z)
• Memory-Efficient Fine-Tuning for Quantized Diffusion Model [12.875837358532422]
  本稿では,量子化拡散モデルのためのメモリ効率の良い微調整手法であるTuneQDMを紹介する。 提案手法は, 単目的/多目的の両方の世代において, ベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2024-01-09T03:42:08Z)
• TFMQ-DM: Temporal Feature Maintenance Quantization for Diffusion Models [52.454274602380124]
  拡散モデルは非常に時間ステップ$t$に大きく依存し、良好なマルチラウンドデノジングを実現している。 本稿では,時間情報ブロック上に構築した時間的特徴保守量子化(TFMQ)フレームワークを提案する。 先駆的なブロック設計により、時間情報認識再構成(TIAR)と有限集合キャリブレーション(FSC)を考案し、完全な時間的特徴を整列させる。
  論文  参考訳（メタデータ） (2023-11-27T12:59:52Z)
• Post-training Quantization for Text-to-Image Diffusion Models with Progressive Calibration and Activation Relaxing [49.800746112114375]
  本稿では,テキスト・画像拡散モデルのための学習後量子化手法(プログレッシブ・アンド・リラクシング)を提案する。 我々は,安定拡散XLの量子化を初めて達成し,その性能を維持した。
  論文  参考訳（メタデータ） (2023-11-10T09:10:09Z)
• Q-Diffusion: Quantizing Diffusion Models [52.978047249670276]
  ポストトレーニング量子化(PTQ)は、他のタスクに対するゴーツー圧縮法であると考えられている。 本稿では,一意なマルチステップパイプラインとモデルアーキテクチャに適した新しいPTQ手法を提案する。 提案手法は,完全精度の非条件拡散モデルを同等の性能を維持しつつ4ビットに定量化できることを示す。
  論文  参考訳（メタデータ） (2023-02-08T19:38:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。