論文の概要: BinaryDM: Towards Accurate Binarization of Diffusion Model

• arxiv url: http://arxiv.org/abs/2404.05662v1
• Date: Mon, 8 Apr 2024 16:46:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 13:36:07.650062
• Title: BinaryDM: Towards Accurate Binarization of Diffusion Model
• Title（参考訳）: BinaryDM:拡散モデルの正確なバイナリ化を目指して
• Authors: Xingyu Zheng, Haotong Qin, Xudong Ma, Mingyuan Zhang, Haojie Hao, Jiakai Wang, Zixiang Zhao, Jinyang Guo, Xianglong Liu,
• Abstract要約: 拡散モデルの重みを1ビットの限界まで押し上げるための,新しい高精度量子化対応トレーニング手法であるBinaryDMを提案する。 拡散モデルの最初の二項化法として、BinaryDMは16.0倍のFLOPと27.1倍のストレージを1ビットの重みと4ビットのアクティベーションで達成した。
• 参考スコア（独自算出の注目度）: 39.83092545597569
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the advancement of diffusion models (DMs) and the substantially increased computational requirements, quantization emerges as a practical solution to obtain compact and efficient low-bit DMs. However, the highly discrete representation leads to severe accuracy degradation, hindering the quantization of diffusion models to ultra-low bit-widths. In this paper, we propose BinaryDM, a novel accurate quantization-aware training approach to push the weights of diffusion models towards the limit of 1-bit. Firstly, we present a Learnable Multi-basis Binarizer (LMB) to recover the representations generated by the binarized DM, which improves the information in details of representations crucial to the DM. Secondly, a Low-rank Representation Mimicking (LRM) is applied to enhance the binarization-aware optimization of the DM, alleviating the optimization direction ambiguity caused by fine-grained alignment. Moreover, a progressive initialization strategy is applied to training DMs to avoid convergence difficulties. Comprehensive experiments demonstrate that BinaryDM achieves significant accuracy and efficiency gains compared to SOTA quantization methods of DMs under ultra-low bit-widths. As the first binarization method for diffusion models, BinaryDM achieves impressive 16.0 times FLOPs and 27.1 times storage savings with 1-bit weight and 4-bit activation, showcasing its substantial advantages and potential for deploying DMs on resource-limited scenarios.
• Abstract（参考訳）: 拡散モデル(DM)の進歩と計算要求の大幅な増大により、量子化はコンパクトで効率的な低ビットDMを得るための実用的な解決策として現れる。 しかし、非常に離散的な表現は精度の低下を招き、拡散モデルの超低ビット幅への量子化を妨げる。 本稿では,拡散モデルの重みを1ビットの限界まで押し上げるための,新しい高精度量子化対応トレーニング手法であるBinaryDMを提案する。 まず,二項化DMが生成した表現を復元するためのLearable Multi-basis Binarizer (LMB)を提案する。 次に、低ランク表現ミミキング(LRM)を適用し、DMの双対化を考慮した最適化を強化し、微粒なアライメントによる最適化方向のあいまいさを軽減する。 さらに、収束困難を避けるため、DMの訓練にプログレッシブ初期化戦略を適用した。 超低ビット幅におけるDMのSOTA量子化法と比較して,BinaryDMは高い精度と効率向上を達成することを示した。 拡散モデルの最初の二項化法として、BinaryDMは16.0倍のFLOPと27.1倍のストレージを1ビットの重みと4ビットのアクティベーションで達成し、リソース制限されたシナリオにDMをデプロイする大きな利点と可能性を示している。

関連論文リスト

• BiDense: Binarization for Dense Prediction [62.70804353158387]
  BiDenseは、効率よく正確な密度予測タスクのために設計された一般化されたバイナリニューラルネットワーク(BNN)である。 BiDenseは2つの重要なテクニックを取り入れている: 分散適応バイナリー (DAB) とチャネル適応完全精度バイパス (CFB) である。
  論文  参考訳（メタデータ） (2024-11-15T16:46:04Z)
• Pruning then Reweighting: Towards Data-Efficient Training of Diffusion Models [33.09663675904689]
  データセットプルーニングの観点から,効率的な拡散訓練について検討する。 GAN(Generative Adversarial Network)のような生成モデルに対するデータ効率トレーニングの原則に着想を得て、まず、GANで使用されるデータ選択スキームをDMトレーニングに拡張する。 生成性能をさらに向上するため,クラスワイド・リウェイト方式を採用する。
  論文  参考訳（メタデータ） (2024-09-27T20:21:19Z)
• DKDM: Data-Free Knowledge Distillation for Diffusion Models with Any Architecture [69.58440626023541]
  拡散モデル (DM) は様々な領域で異常な生成能力を示す。 DMを加速する最も一般的な方法は、生成中のデノナイジングステップの数を減少させることである。 本稿では,大規模な事前学習型DMを高速なアーキテクチャに転送する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-05T14:12:22Z)
• Binarized Diffusion Model for Image Super-Resolution [61.963833405167875]
  超圧縮アルゴリズムであるバイナリ化は、高度な拡散モデル(DM)を効果的に加速する可能性を提供する 既存の二項化法では性能が著しく低下する。 画像SRのための新しいバイナライズ拡散モデルBI-DiffSRを提案する。
  論文  参考訳（メタデータ） (2024-06-09T10:30:25Z)
• Invertible Diffusion Models for Compressed Sensing [22.293412255419614]
  Invertible Diffusion Models (IDM) は、新しい効率的でエンドツーエンドの拡散に基づくCS法である。 IDMはCS測定から直接元の画像を復元するためにエンドツーエンドに微調整する。 IDMは最大10.09dBのPSNRゲインと14.54倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-03-25T17:59:41Z)
• DB-LLM: Accurate Dual-Binarization for Efficient LLMs [83.70686728471547]
  大規模言語モデル(LLM)は自然言語処理の分野を著しく進歩させてきた。 既存の超低ビット量子化は、常に深刻な精度低下を引き起こす。 本稿では,LLM,すなわちDB-LLMのための新しいデュアルバイナライズ手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T09:04:30Z)
• Distribution-sensitive Information Retention for Accurate Binary Neural Network [49.971345958676196]
  本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。 我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。 我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
  論文  参考訳（メタデータ） (2021-09-25T10:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。