論文の概要: Towards Accurate Binarization of Diffusion Model

• arxiv url: http://arxiv.org/abs/2404.05662v2
• Date: Sat, 25 May 2024 00:34:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 06:07:03.640415
• Title: Towards Accurate Binarization of Diffusion Model
• Title（参考訳）: 拡散モデルの正確なバイナリ化に向けて
• Authors: Xingyu Zheng, Haotong Qin, Xudong Ma, Mingyuan Zhang, Haojie Hao, Jiakai Wang, Zixiang Zhao, Jinyang Guo, Xianglong Liu,
• Abstract要約: 本稿では,DMの新しい量子化学習手法であるBinaryDMを提案する。 1.1ビットの重みと4ビットのアクティベーション(W1.1A4)により、BinaryDMは7.11 FIDまで低くなり、性能が低下する。 拡散モデルの最初の二項化法として、W1.1A4 BinaryDMは9.3倍のOPと24.8倍のモデルサイズ保存を実現している。
• 参考スコア（独自算出の注目度）: 39.83092545597569
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the advancement of diffusion models (DMs) and the substantially increased computational requirements, quantization emerges as a practical solution to obtain compact and efficient low-bit DMs. However, the highly discrete representation leads to severe accuracy degradation, hindering the quantization of diffusion models to ultra-low bit-widths. This paper proposes a novel quantization-aware training approach for DMs, namely BinaryDM. The proposed method pushes DMs' weights toward accurate and efficient binarization, considering the representation and computation properties. From the representation perspective, we present a Learnable Multi-basis Binarizer (LMB) to recover the representations generated by the binarized DM. The LMB enhances detailed information through the flexible combination of dual binary bases while applying to parameter-sparse locations of DM architectures to achieve minor burdens. From the optimization perspective, a Low-rank Representation Mimicking (LRM) is applied to assist the optimization of binarized DMs. The LRM mimics the representations of full-precision DMs in low-rank space, alleviating the direction ambiguity of the optimization process caused by fine-grained alignment. Moreover, a quick progressive warm-up is applied to BinaryDM, avoiding convergence difficulties by layerwisely progressive quantization at the beginning of training. Comprehensive experiments demonstrate that BinaryDM achieves significant accuracy and efficiency gains compared to SOTA quantization methods of DMs under ultra-low bit-widths. With 1.1-bit weight and 4-bit activation (W1.1A4), BinaryDM achieves as low as 7.11 FID and saves the performance from collapse (baseline FID 39.69). As the first binarization method for diffusion models, W1.1A4 BinaryDM achieves impressive 9.3 times OPs and 24.8 times model size savings, showcasing its substantial potential for edge deployment.
• Abstract（参考訳）: 拡散モデル(DM)の進歩と計算要求の大幅な増大により、量子化はコンパクトで効率的な低ビットDMを得るための実用的な解決策として現れる。 しかし、非常に離散的な表現は精度の低下を招き、拡散モデルの超低ビット幅への量子化を妨げる。 本稿では,DMの新しい量子化学習手法であるBinaryDMを提案する。 提案手法は,表現特性と計算特性を考慮して,DMの重み付けを高精度かつ効率的にバイナライズする。 表現の観点からは、二項化DMによって生成された表現を復元するLearable Multi-Basis Binarizer (LMB)を提案する。 LMBは、DMアーキテクチャのパラメータスパースな位置に適用しながら、2つのバイナリベースをフレキシブルに組み合わせることで、詳細な情報を強化する。 最適化の観点からは、二項化DMの最適化を支援するために低ランク表現ミミシング(LRM)を適用する。 LRMは低ランク空間における完全精度DMの表現を模倣し、微粒なアライメントに起因する最適化プロセスの方向性の曖昧さを軽減する。 さらに、BinaryDMに高速なプログレッシブウォームアップを適用し、トレーニング開始時の階層的にプログレッシブ量子化による収束困難を回避する。 超低ビット幅におけるDMのSOTA量子化法と比較して,BinaryDMは高い精度と効率向上を達成することを示した。 1.1ビットの重みと4ビットのアクティベーション(W1.1A4)により、BinaryDMは7.11 FIDまで低くなり、破壊(ベースラインFID 39.69)から性能を低下させる。 拡散モデルの最初の二項化法として、W1.1A4 BinaryDMは9.3倍のOPと24.8倍のモデルサイズを達成し、エッジ展開の可能性を示している。

関連論文リスト

• Pruning then Reweighting: Towards Data-Efficient Training of Diffusion Models [33.09663675904689]
  データセットプルーニングの観点から,効率的な拡散訓練について検討する。 GAN(Generative Adversarial Network)のような生成モデルに対するデータ効率トレーニングの原則に着想を得て、まず、GANで使用されるデータ選択スキームをDMトレーニングに拡張する。 生成性能をさらに向上するため,クラスワイド・リウェイト方式を採用する。
  論文  参考訳（メタデータ） (2024-09-27T20:21:19Z)
• DKDM: Data-Free Knowledge Distillation for Diffusion Models with Any Architecture [69.58440626023541]
  拡散モデル (DM) は様々な領域で異常な生成能力を示す。 DMを加速する最も一般的な方法は、生成中のデノナイジングステップの数を減少させることである。 本稿では,大規模な事前学習型DMを高速なアーキテクチャに転送する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-05T14:12:22Z)
• Binarized Diffusion Model for Image Super-Resolution [61.963833405167875]
  超圧縮アルゴリズムであるバイナリ化は、高度な拡散モデル(DM)を効果的に加速する可能性を提供する 既存の二項化法では性能が著しく低下する。 画像SRのための新しいバイナライズ拡散モデルBI-DiffSRを提案する。
  論文  参考訳（メタデータ） (2024-06-09T10:30:25Z)
• Invertible Diffusion Models for Compressed Sensing [22.293412255419614]
  Invertible Diffusion Models (IDM) は、新しい効率的でエンドツーエンドの拡散に基づくCS法である。 IDMはCS測定から直接元の画像を復元するためにエンドツーエンドに微調整する。 IDMは最大10.09dBのPSNRゲインと14.54倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-03-25T17:59:41Z)
• DB-LLM: Accurate Dual-Binarization for Efficient LLMs [83.70686728471547]
  大規模言語モデル(LLM)は自然言語処理の分野を著しく進歩させてきた。 既存の超低ビット量子化は、常に深刻な精度低下を引き起こす。 本稿では,LLM,すなわちDB-LLMのための新しいデュアルバイナライズ手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T09:04:30Z)
• Fast Diffusion Model [122.36693015093041]
  拡散モデル(DM)は、複雑なデータ分布を捉える能力を持つ様々な分野に採用されている。 本稿では,DM最適化の観点から,高速拡散モデル (FDM) を提案する。
  論文  参考訳（メタデータ） (2023-06-12T09:38:04Z)
• Distribution-sensitive Information Retention for Accurate Binary Neural Network [49.971345958676196]
  本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。 我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。 我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
  論文  参考訳（メタデータ） (2021-09-25T10:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。