論文の概要: BiDM: Pushing the Limit of Quantization for Diffusion Models

• arxiv url: http://arxiv.org/abs/2412.05926v1
• Date: Sun, 08 Dec 2024 12:45:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:55:04.208426
• Title: BiDM: Pushing the Limit of Quantization for Diffusion Models
• Title（参考訳）: BiDM:拡散モデルにおける量子化の限界を押し上げる
• Authors: Xingyu Zheng, Xianglong Liu, Yichen Bian, Xudong Ma, Yulun Zhang, Jiakai Wang, Jinyang Guo, Haotong Qin,
• Abstract要約: 本稿では,DMの重みとアクティベーションを完全にバイナライズし,量子化を1ビット限界まで押し上げる手法であるBiDMを提案する。 DMを完全にバイナライズする最初の取り組みとして、LSUN-Bedrooms 256$times$256のLDM-4モデルのW1A1 BiDMは22.74という驚くべきFIDを達成した。
• 参考スコア（独自算出の注目度）: 60.018246440536814
• License:
• Abstract: Diffusion models (DMs) have been significantly developed and widely used in various applications due to their excellent generative qualities. However, the expensive computation and massive parameters of DMs hinder their practical use in resource-constrained scenarios. As one of the effective compression approaches, quantization allows DMs to achieve storage saving and inference acceleration by reducing bit-width while maintaining generation performance. However, as the most extreme quantization form, 1-bit binarization causes the generation performance of DMs to face severe degradation or even collapse. This paper proposes a novel method, namely BiDM, for fully binarizing weights and activations of DMs, pushing quantization to the 1-bit limit. From a temporal perspective, we introduce the Timestep-friendly Binary Structure (TBS), which uses learnable activation binarizers and cross-timestep feature connections to address the highly timestep-correlated activation features of DMs. From a spatial perspective, we propose Space Patched Distillation (SPD) to address the difficulty of matching binary features during distillation, focusing on the spatial locality of image generation tasks and noise estimation networks. As the first work to fully binarize DMs, the W1A1 BiDM on the LDM-4 model for LSUN-Bedrooms 256$\times$256 achieves a remarkable FID of 22.74, significantly outperforming the current state-of-the-art general binarization methods with an FID of 59.44 and invalid generative samples, and achieves up to excellent 28.0 times storage and 52.7 times OPs savings. The code is available at https://github.com/Xingyu-Zheng/BiDM .
• Abstract（参考訳）: 拡散モデル (DM) は、その優れた生成特性のために、様々な用途で大きく開発され、広く利用されている。 しかし、高価な計算とDMの膨大なパラメータは、リソース制約のあるシナリオでその実用性を妨げている。 効率的な圧縮手法の1つである量子化により、DMは生成性能を維持しながらビット幅を削減し、ストレージの節約と推論の加速を実現することができる。 しかし、最も極端な量子化形式として、1ビットバイナライゼーションはDMの生成性能を著しく低下させるか、あるいは崩壊させる。 本稿では,DMの重みとアクティベーションを完全にバイナライズし,量子化を1ビット限界まで押し上げる手法であるBiDMを提案する。 時間的観点からは、学習可能なアクティベーションバイナライザとクロスタイムステップ機能接続を用いて、DMの高タイムステップ関連アクティベーション機能に対処する、タイムステップフレンドリーなバイナリ構造(TBS)を導入する。 本研究では, 空間的視点から, 蒸留中の二項特徴の一致の難しさに対処するため, 画像生成タスクと雑音推定ネットワークの空間的局所性に着目し, SPD (Space Patched Distillation) を提案する。 DMを完全にバイナライズする最初の取り組みとして、LSUN-Bedrooms 256$\times$256のLDM-4モデルのW1A1 BiDMは、22.74の顕著なFIDを達成し、現在の最先端の一般バイナライゼーション手法を59.44のFIDと無効な生成サンプルで大幅に上回り、28.0倍のストレージと52.7倍のOPを節約した。 コードはhttps://github.com/Xingyu-Zheng/BiDMで入手できる。

関連論文リスト

• ACDC: Autoregressive Coherent Multimodal Generation using Diffusion Correction [55.03585818289934]
  自己回帰モデル(ARM)と拡散モデル(DM)は、生成モデルにおける2つの主要なパラダイムを表す。 拡散補正(Diffusion Correction: ACDC)を用いた自己回帰型コヒーレント多モード生成について紹介する。 ACDCは、追加の微調整を必要とせず、推論段階でARMとDMの両方の強度を組み合わせる。
  論文  参考訳（メタデータ） (2024-10-07T03:22:51Z)
• DKDM: Data-Free Knowledge Distillation for Diffusion Models with Any Architecture [69.58440626023541]
  拡散モデル (DM) は様々な領域で異常な生成能力を示す。 DMを加速する最も一般的な方法は、生成中のデノナイジングステップの数を減少させることである。 本稿では,大規模な事前学習型DMを高速なアーキテクチャに転送する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-05T14:12:22Z)
• Binarized Diffusion Model for Image Super-Resolution [61.963833405167875]
  超圧縮アルゴリズムであるバイナリ化は、高度な拡散モデル(DM)を効果的に加速する可能性を提供する 既存の二項化法では性能が著しく低下する。 画像SRのための新しいバイナライズ拡散モデルBI-DiffSRを提案する。
  論文  参考訳（メタデータ） (2024-06-09T10:30:25Z)
• BinaryDM: Accurate Weight Binarization for Efficient Diffusion Models [39.287947829085155]
  本稿では,バイナライズされたDMを正確かつ効率的に推し進めるため,DMの新しい重み付きバイナライズ手法,すなわちBinaryDMを提案する。 表現の観点からは、EDB(Evolvable-Basis Binarizer)を提示し、完全精度から正確に二項化できるDMのスムーズな進化を可能にする。 実験により、BinaryDMは、超低ビット幅でのDMのSOTA量子化法と比較して、高い精度と効率向上を達成することが示された。
  論文  参考訳（メタデータ） (2024-04-08T16:46:25Z)
• SciRE-Solver: Accelerating Diffusion Models Sampling by Score-integrand Solver with Recursive Difference [9.290084484156932]
  拡散モデル(DM)は、画像、オーディオ、ビデオ生成の分野で大きな進歩を遂げている。 高速サンプリングのための最近のアルゴリズムは微分方程式の観点から設計されている。 テイラー展開に基づく高次アルゴリズムでは、大規模でよく訓練されたニューラルネットワークの複雑さにより、スコア関数の微分を推定できる。
  論文  参考訳（メタデータ） (2023-08-15T17:37:44Z)
• Differentially Private Latent Diffusion Models [4.10609794373612]
  拡散モデル (DM) は高品質な画像を生成するために最も広く使われている生成モデルの一つである。 本稿では、textitLatent Diffusion Models (LDMs) を採用することにより、差分プライバシ(DP)を用いたDMの現状を改善することを目的とする。 提案手法により,DP保証付きテキストプロンプトに条件付き現実的な高次元画像を生成することができる。
  論文  参考訳（メタデータ） (2023-05-25T06:18:31Z)
• Dynamic Dual Trainable Bounds for Ultra-low Precision Super-Resolution Networks [82.18396309806577]
  動的デュアル・トレーニング・バウンダリ(DDTB)と呼ばれる新しいアクティベーション・量子化器を提案する。 DDTBは超低精度で優れた性能を示した。 例えば、我々のDDTBは、EDSRを2ビットに量子化し、出力画像をx4にスケールアップする場合、Urban100ベンチマークで0.70dBのPSNRアップを達成する。
  論文  参考訳（メタデータ） (2022-03-08T04:26:18Z)
• PAMS: Quantized Super-Resolution via Parameterized Max Scale [84.55675222525608]
  深部畳み込みニューラルネットワーク(DCNN)は超解像処理(SR)において優位な性能を示した 本稿では,PAMS(Parameterized Max Scale)と呼ばれる新しい量子化手法を提案する。 実験により,提案手法はEDSRやRDNなどの既存のSRモデルを適切に圧縮・高速化できることが示された。
  論文  参考訳（メタデータ） (2020-11-09T06:16:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。