論文の概要: BinaryDM: Towards Accurate Binarization of Diffusion Model

• arxiv url: http://arxiv.org/abs/2404.05662v1
• Date: Mon, 8 Apr 2024 16:46:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 13:36:07.650062
• Title: BinaryDM: Towards Accurate Binarization of Diffusion Model
• Title（参考訳）: BinaryDM:拡散モデルの正確なバイナリ化を目指して
• Authors: Xingyu Zheng, Haotong Qin, Xudong Ma, Mingyuan Zhang, Haojie Hao, Jiakai Wang, Zixiang Zhao, Jinyang Guo, Xianglong Liu,
• Abstract要約: 拡散モデルの重みを1ビットの限界まで押し上げるための,新しい高精度量子化対応トレーニング手法であるBinaryDMを提案する。 拡散モデルの最初の二項化法として、BinaryDMは16.0倍のFLOPと27.1倍のストレージを1ビットの重みと4ビットのアクティベーションで達成した。
• 参考スコア（独自算出の注目度）: 39.83092545597569
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the advancement of diffusion models (DMs) and the substantially increased computational requirements, quantization emerges as a practical solution to obtain compact and efficient low-bit DMs. However, the highly discrete representation leads to severe accuracy degradation, hindering the quantization of diffusion models to ultra-low bit-widths. In this paper, we propose BinaryDM, a novel accurate quantization-aware training approach to push the weights of diffusion models towards the limit of 1-bit. Firstly, we present a Learnable Multi-basis Binarizer (LMB) to recover the representations generated by the binarized DM, which improves the information in details of representations crucial to the DM. Secondly, a Low-rank Representation Mimicking (LRM) is applied to enhance the binarization-aware optimization of the DM, alleviating the optimization direction ambiguity caused by fine-grained alignment. Moreover, a progressive initialization strategy is applied to training DMs to avoid convergence difficulties. Comprehensive experiments demonstrate that BinaryDM achieves significant accuracy and efficiency gains compared to SOTA quantization methods of DMs under ultra-low bit-widths. As the first binarization method for diffusion models, BinaryDM achieves impressive 16.0 times FLOPs and 27.1 times storage savings with 1-bit weight and 4-bit activation, showcasing its substantial advantages and potential for deploying DMs on resource-limited scenarios.
• Abstract（参考訳）: 拡散モデル(DM)の進歩と計算要求の大幅な増大により、量子化はコンパクトで効率的な低ビットDMを得るための実用的な解決策として現れる。 しかし、非常に離散的な表現は精度の低下を招き、拡散モデルの超低ビット幅への量子化を妨げる。 本稿では,拡散モデルの重みを1ビットの限界まで押し上げるための,新しい高精度量子化対応トレーニング手法であるBinaryDMを提案する。 まず,二項化DMが生成した表現を復元するためのLearable Multi-basis Binarizer (LMB)を提案する。 次に、低ランク表現ミミキング(LRM)を適用し、DMの双対化を考慮した最適化を強化し、微粒なアライメントによる最適化方向のあいまいさを軽減する。 さらに、収束困難を避けるため、DMの訓練にプログレッシブ初期化戦略を適用した。 超低ビット幅におけるDMのSOTA量子化法と比較して,BinaryDMは高い精度と効率向上を達成することを示した。 拡散モデルの最初の二項化法として、BinaryDMは16.0倍のFLOPと27.1倍のストレージを1ビットの重みと4ビットのアクティベーションで達成し、リソース制限されたシナリオにDMをデプロイする大きな利点と可能性を示している。

関連論文リスト

• BiMaCoSR: Binary One-Step Diffusion Model Leveraging Flexible Matrix Compression for Real Super-Resolution [63.777210548110425]
  本稿では,バイナライゼーションと1段階蒸留を組み合わせたBiMaCoSRを提案する。 BiMaCoSRはFPに比べて23.8倍圧縮率と27.4倍スピードアップ比を達成した。
  論文  参考訳（メタデータ） (2025-02-01T06:34:55Z)
• BiDM: Pushing the Limit of Quantization for Diffusion Models [60.018246440536814]
  本稿では,DMの重みとアクティベーションを完全にバイナライズし,量子化を1ビット限界まで押し上げる手法であるBiDMを提案する。 DMを完全にバイナライズする最初の取り組みとして、LSUN-Bedrooms 256$times$256のLDM-4モデルのW1A1 BiDMは22.74という驚くべきFIDを達成した。
  論文  参考訳（メタデータ） (2024-12-08T12:45:21Z)
• BiDense: Binarization for Dense Prediction [62.70804353158387]
  BiDenseは、効率よく正確な密度予測タスクのために設計された一般化されたバイナリニューラルネットワーク(BNN)である。 BiDenseは2つの重要なテクニックを取り入れている: 分散適応バイナリー (DAB) とチャネル適応完全精度バイパス (CFB) である。
  論文  参考訳（メタデータ） (2024-11-15T16:46:04Z)
• Pruning then Reweighting: Towards Data-Efficient Training of Diffusion Models [33.09663675904689]
  データセットプルーニングの観点から,効率的な拡散訓練について検討する。 GAN(Generative Adversarial Network)のような生成モデルに対するデータ効率トレーニングの原則に着想を得て、まず、GANで使用されるデータ選択スキームをDMトレーニングに拡張する。 生成性能をさらに向上するため,クラスワイド・リウェイト方式を採用する。
  論文  参考訳（メタデータ） (2024-09-27T20:21:19Z)
• DKDM: Data-Free Knowledge Distillation for Diffusion Models with Any Architecture [69.58440626023541]
  拡散モデル (DM) は様々な領域で異常な生成能力を示す。 DMを加速する最も一般的な方法は、生成中のデノナイジングステップの数を減少させることである。 本稿では,大規模な事前学習型DMを高速なアーキテクチャに転送する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-05T14:12:22Z)
• Binarized Diffusion Model for Image Super-Resolution [61.963833405167875]
  超圧縮アルゴリズムであるバイナリ化は、高度な拡散モデル(DM)を効果的に加速する可能性を提供する 既存の二項化法では性能が著しく低下する。 画像SRのための新しいバイナライズ拡散モデルBI-DiffSRを提案する。
  論文  参考訳（メタデータ） (2024-06-09T10:30:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。