論文の概要: Modulated Diffusion: Accelerating Generative Modeling with Modulated Quantization

• arxiv url: http://arxiv.org/abs/2506.22463v1
• Date: Wed, 18 Jun 2025 03:31:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-07 02:47:44.361164
• Title: Modulated Diffusion: Accelerating Generative Modeling with Modulated Quantization
• Title（参考訳）: 変調拡散:変調量子化による生成モデリングの高速化
• Authors: Weizhi Gao, Zhichao Hou, Junqi Yin, Feiyi Wang, Linyu Peng, Xiaorui Liu,
• Abstract要約: 変調拡散(Modulated Diffusion、MoDiff)は、変調量子化と誤り補償によって生成モデリングを加速する革新的で厳密で原則化されたフレームワークである。 MoDiffは、既存のキャッシュと量子化メソッドの利点だけでなく、すべての拡散モデルを加速するための一般的なフレームワークとしても機能する。
• 参考スコア（独自算出の注目度）: 9.655938625686614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have emerged as powerful generative models, but their high computation cost in iterative sampling remains a significant bottleneck. In this work, we present an in-depth and insightful study of state-of-the-art acceleration techniques for diffusion models, including caching and quantization, revealing their limitations in computation error and generation quality. To break these limits, this work introduces Modulated Diffusion (MoDiff), an innovative, rigorous, and principled framework that accelerates generative modeling through modulated quantization and error compensation. MoDiff not only inherents the advantages of existing caching and quantization methods but also serves as a general framework to accelerate all diffusion models. The advantages of MoDiff are supported by solid theoretical insight and analysis. In addition, extensive experiments on CIFAR-10 and LSUN demonstrate that MoDiff significant reduces activation quantization from 8 bits to 3 bits without performance degradation in post-training quantization (PTQ). Our code implementation is available at https://github.com/WeizhiGao/MoDiff.
• Abstract（参考訳）: 拡散モデルは強力な生成モデルとして登場したが、反復サンプリングにおける高い計算コストは依然として大きなボトルネックとなっている。 本研究では,キャッシングや量子化を含む拡散モデルに対する最先端の加速技術について,計算誤差や生成品質の限界を明らかにするとともに,その詳細と洞察に富んだ研究結果を示す。 これらの限界を破るために、この研究は変調量子化と誤り補償を通じて生成モデリングを加速する革新的で厳密で原則化されたフレームワークであるModulated Diffusion (MoDiff)を導入している。 MoDiffは、既存のキャッシュと量子化メソッドの利点だけでなく、すべての拡散モデルを加速するための一般的なフレームワークとしても機能する。 MoDiffの利点は、しっかりとした理論的な洞察と分析によって支えられている。 さらに、CIFAR-10とLSUNの広範な実験により、MoDiffは後トレーニング量子化(PTQ)の性能劣化を伴わない8ビットから3ビットへのアクティベーション量子化を著しく低減することを示した。 コード実装はhttps://github.com/WeizhiGao/MoDiff.comで公開しています。

関連論文リスト

• TCAQ-DM: Timestep-Channel Adaptive Quantization for Diffusion Models [49.65286242048452]
  拡散モデル(TCAQ-DM)のためのタイムステップ・チャネル適応量子化法を提案する。 提案手法は,ほとんどの場合,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2024-12-21T16:57:54Z)
• Timestep-Aware Correction for Quantized Diffusion Models [28.265582848911574]
  本稿では,量子化誤差を動的に補正する量子化拡散モデルの時間ステップ対応補正法を提案する。 提案手法を低精度拡散モデルに応用することにより,出力品質の大幅な向上が期待できる。
  論文  参考訳（メタデータ） (2024-07-04T13:22:31Z)
• QuEST: Low-bit Diffusion Model Quantization via Efficient Selective Finetuning [52.157939524815866]
  本稿では,不均衡な活性化分布を量子化困難の原因として同定する。 我々は,これらの分布を,より量子化しやすいように微調整することで調整することを提案する。 本手法は3つの高解像度画像生成タスクに対して有効性を示す。
  論文  参考訳（メタデータ） (2024-02-06T03:39:44Z)
• Memory-Efficient Fine-Tuning for Quantized Diffusion Model [12.875837358532422]
  本稿では,量子化拡散モデルのためのメモリ効率の良い微調整手法であるTuneQDMを紹介する。 提案手法は, 単目的/多目的の両方の世代において, ベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2024-01-09T03:42:08Z)
• Post-training Quantization for Text-to-Image Diffusion Models with Progressive Calibration and Activation Relaxing [49.800746112114375]
  本稿では,テキスト・画像拡散モデルのための学習後量子化手法(プログレッシブ・アンド・リラクシング)を提案する。 我々は,安定拡散XLの量子化を初めて達成し,その性能を維持した。
  論文  参考訳（メタデータ） (2023-11-10T09:10:09Z)
• Temporal Dynamic Quantization for Diffusion Models [18.184163233551292]
  本稿では,時間ステップ情報に基づいて量子化間隔を動的に調整する新しい量子化手法を提案する。 従来の動的量子化手法とは異なり、本手法は推論時に計算オーバーヘッドを伴わない。 実験により,様々なデータセットにまたがる量子拡散モデルにより,出力品質が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2023-06-04T09:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。