論文の概要: BiDM: Pushing the Limit of Quantization for Diffusion Models

• arxiv url: http://arxiv.org/abs/2412.05926v1
• Date: Sun, 08 Dec 2024 12:45:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:55:04.208426
• Title: BiDM: Pushing the Limit of Quantization for Diffusion Models
• Title（参考訳）: BiDM:拡散モデルにおける量子化の限界を押し上げる
• Authors: Xingyu Zheng, Xianglong Liu, Yichen Bian, Xudong Ma, Yulun Zhang, Jiakai Wang, Jinyang Guo, Haotong Qin,
• Abstract要約: 本稿では,DMの重みとアクティベーションを完全にバイナライズし,量子化を1ビット限界まで押し上げる手法であるBiDMを提案する。 DMを完全にバイナライズする最初の取り組みとして、LSUN-Bedrooms 256$times$256のLDM-4モデルのW1A1 BiDMは22.74という驚くべきFIDを達成した。
• 参考スコア（独自算出の注目度）: 60.018246440536814
• License:
• Abstract: Diffusion models (DMs) have been significantly developed and widely used in various applications due to their excellent generative qualities. However, the expensive computation and massive parameters of DMs hinder their practical use in resource-constrained scenarios. As one of the effective compression approaches, quantization allows DMs to achieve storage saving and inference acceleration by reducing bit-width while maintaining generation performance. However, as the most extreme quantization form, 1-bit binarization causes the generation performance of DMs to face severe degradation or even collapse. This paper proposes a novel method, namely BiDM, for fully binarizing weights and activations of DMs, pushing quantization to the 1-bit limit. From a temporal perspective, we introduce the Timestep-friendly Binary Structure (TBS), which uses learnable activation binarizers and cross-timestep feature connections to address the highly timestep-correlated activation features of DMs. From a spatial perspective, we propose Space Patched Distillation (SPD) to address the difficulty of matching binary features during distillation, focusing on the spatial locality of image generation tasks and noise estimation networks. As the first work to fully binarize DMs, the W1A1 BiDM on the LDM-4 model for LSUN-Bedrooms 256$\times$256 achieves a remarkable FID of 22.74, significantly outperforming the current state-of-the-art general binarization methods with an FID of 59.44 and invalid generative samples, and achieves up to excellent 28.0 times storage and 52.7 times OPs savings. The code is available at https://github.com/Xingyu-Zheng/BiDM .
• Abstract（参考訳）: 拡散モデル (DM) は、その優れた生成特性のために、様々な用途で大きく開発され、広く利用されている。 しかし、高価な計算とDMの膨大なパラメータは、リソース制約のあるシナリオでその実用性を妨げている。 効率的な圧縮手法の1つである量子化により、DMは生成性能を維持しながらビット幅を削減し、ストレージの節約と推論の加速を実現することができる。 しかし、最も極端な量子化形式として、1ビットバイナライゼーションはDMの生成性能を著しく低下させるか、あるいは崩壊させる。 本稿では,DMの重みとアクティベーションを完全にバイナライズし,量子化を1ビット限界まで押し上げる手法であるBiDMを提案する。 時間的観点からは、学習可能なアクティベーションバイナライザとクロスタイムステップ機能接続を用いて、DMの高タイムステップ関連アクティベーション機能に対処する、タイムステップフレンドリーなバイナリ構造(TBS)を導入する。 本研究では, 空間的視点から, 蒸留中の二項特徴の一致の難しさに対処するため, 画像生成タスクと雑音推定ネットワークの空間的局所性に着目し, SPD (Space Patched Distillation) を提案する。 DMを完全にバイナライズする最初の取り組みとして、LSUN-Bedrooms 256$\times$256のLDM-4モデルのW1A1 BiDMは、22.74の顕著なFIDを達成し、現在の最先端の一般バイナライゼーション手法を59.44のFIDと無効な生成サンプルで大幅に上回り、28.0倍のストレージと52.7倍のOPを節約した。 コードはhttps://github.com/Xingyu-Zheng/BiDMで入手できる。

関連論文リスト

• BiMaCoSR: Binary One-Step Diffusion Model Leveraging Flexible Matrix Compression for Real Super-Resolution [63.777210548110425]
  本稿では,バイナライゼーションと1段階蒸留を組み合わせたBiMaCoSRを提案する。 BiMaCoSRはFPに比べて23.8倍圧縮率と27.4倍スピードアップ比を達成した。
  論文  参考訳（メタデータ） (2025-02-01T06:34:55Z)
• MPQ-DM: Mixed Precision Quantization for Extremely Low Bit Diffusion Models [37.061975191553]
  本稿では,拡散モデルのための混合精度量子化法MPQ-DMを提案する。 重み付き外周波による量子化誤差を軽減するために,外周波混合量子化手法を提案する。 時間ステップを横断する表現を頑健に学習するために,時間-平滑な関係蒸留方式を構築した。
  論文  参考訳（メタデータ） (2024-12-16T08:31:55Z)
• ACDC: Autoregressive Coherent Multimodal Generation using Diffusion Correction [55.03585818289934]
  自己回帰モデル(ARM)と拡散モデル(DM)は、生成モデルにおける2つの主要なパラダイムを表す。 拡散補正(Diffusion Correction: ACDC)を用いた自己回帰型コヒーレント多モード生成について紹介する。 ACDCは、追加の微調整を必要とせず、推論段階でARMとDMの両方の強度を組み合わせる。
  論文  参考訳（メタデータ） (2024-10-07T03:22:51Z)
• DKDM: Data-Free Knowledge Distillation for Diffusion Models with Any Architecture [69.58440626023541]
  拡散モデル (DM) は様々な領域で異常な生成能力を示す。 DMを加速する最も一般的な方法は、生成中のデノナイジングステップの数を減少させることである。 本稿では,大規模な事前学習型DMを高速なアーキテクチャに転送する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-05T14:12:22Z)
• Binarized Diffusion Model for Image Super-Resolution [61.963833405167875]
  超圧縮アルゴリズムであるバイナリ化は、高度な拡散モデル(DM)を効果的に加速する可能性を提供する 既存の二項化法では性能が著しく低下する。 画像SRのための新しいバイナライズ拡散モデルBI-DiffSRを提案する。
  論文  参考訳（メタデータ） (2024-06-09T10:30:25Z)
• BinaryDM: Accurate Weight Binarization for Efficient Diffusion Models [39.287947829085155]
  本稿では,バイナライズされたDMを正確かつ効率的に推し進めるため,DMの新しい重み付きバイナライズ手法,すなわちBinaryDMを提案する。 表現の観点からは、EDB(Evolvable-Basis Binarizer)を提示し、完全精度から正確に二項化できるDMのスムーズな進化を可能にする。 実験により、BinaryDMは、超低ビット幅でのDMのSOTA量子化法と比較して、高い精度と効率向上を達成することが示された。
  論文  参考訳（メタデータ） (2024-04-08T16:46:25Z)
• PAMS: Quantized Super-Resolution via Parameterized Max Scale [84.55675222525608]
  深部畳み込みニューラルネットワーク(DCNN)は超解像処理(SR)において優位な性能を示した 本稿では,PAMS(Parameterized Max Scale)と呼ばれる新しい量子化手法を提案する。 実験により,提案手法はEDSRやRDNなどの既存のSRモデルを適切に圧縮・高速化できることが示された。
  論文  参考訳（メタデータ） (2020-11-09T06:16:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。