論文の概要: Memory-Efficient Personalization using Quantized Diffusion Model

• arxiv url: http://arxiv.org/abs/2401.04339v1
• Date: Tue, 9 Jan 2024 03:42:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-10 17:03:09.375180
• Title: Memory-Efficient Personalization using Quantized Diffusion Model
• Title（参考訳）: 量子拡散モデルを用いたメモリ効率の良いパーソナライゼーション
• Authors: Hyogon Ryu, Seohyun Lim, Hyunjung Shim
• Abstract要約: この論文は、微調整量子化拡散モデルの比較的未解明で有望な領域を探求する。 細調整量子化パラメータのPEQA,ポストトレーニング量子化のQ-Diffusion,パーソナライズのためのDreamBoothの3つのモデルをカスタマイズすることで,強力なベースラインを確立する。 我々のアプローチはパーソナライズを向上するだけでなく、迅速な忠実度や画質を保ち、ベースラインを質的・定量的に著しく上回る。
• 参考スコア（独自算出の注目度）: 14.471150840618211
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rise of billion-parameter diffusion models like Stable Diffusion XL, Imagen, and Dall-E3 markedly advances the field of generative AI. However, their large-scale nature poses challenges in fine-tuning and deployment due to high resource demands and slow inference speed. This paper ventures into the relatively unexplored yet promising realm of fine-tuning quantized diffusion models. We establish a strong baseline by customizing three models: PEQA for fine-tuning quantization parameters, Q-Diffusion for post-training quantization, and DreamBooth for personalization. Our analysis reveals a notable trade-off between subject and prompt fidelity within the baseline model. To address these issues, we introduce two strategies, inspired by the distinct roles of different timesteps in diffusion models: S1 optimizing a single set of fine-tuning parameters exclusively at selected intervals, and S2 creating multiple fine-tuning parameter sets, each specialized for different timestep intervals. Our approach not only enhances personalization but also upholds prompt fidelity and image quality, significantly outperforming the baseline qualitatively and quantitatively. The code will be made publicly available.
• Abstract（参考訳）: 安定拡散XL、Imagen、Dall-E3のような10億パラメータ拡散モデルの台頭は、生成AIの分野を著しく前進させる。 しかし、その大規模な性質は、リソースの要求が高く、推論速度が遅いため、微調整やデプロイメントに困難をもたらす。 この論文は、微調整量子化拡散モデルの比較的未解明で有望な領域を探求する。 細調整量子化パラメータのPEQA,ポストトレーニング量子化のQ-Diffusion,パーソナライズのためのDreamBoothの3つのモデルをカスタマイズすることで,強力なベースラインを確立する。 本分析は,ベースラインモデルにおける主観と即時忠実性の顕著なトレードオフを明らかにする。 これらの問題に対処するために,拡散モデルにおける異なる時間ステップの役割に着想を得た2つの戦略を導入する。s1は選択された間隔でのみ微調整パラメータの単一セットを最適化し,s2は異なる時間ステップ間隔に特化した複数の微調整パラメータセットを作成する。 我々のアプローチはパーソナライズを向上するだけでなく、迅速な忠実度や画質を保ち、ベースラインを質的・定量的に著しく上回る。 コードは公開される予定だ。

関連論文リスト

• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• Distillation of Discrete Diffusion through Dimensional Correlations [21.078500510691747]
  離散拡散における「ミクチャー」モデルは、拡張性を維持しながら次元相関を扱える。 CIFAR-10データセットで事前学習した連続時間離散拡散モデルを蒸留することにより,提案手法が実際に動作することを実証的に実証した。
  論文  参考訳（メタデータ） (2024-10-11T10:53:03Z)
• Timestep-Aware Correction for Quantized Diffusion Models [28.265582848911574]
  本稿では,量子化誤差を動的に補正する量子化拡散モデルの時間ステップ対応補正法を提案する。 提案手法を低精度拡散モデルに応用することにより,出力品質の大幅な向上が期待できる。
  論文  参考訳（メタデータ） (2024-07-04T13:22:31Z)
• Provable Statistical Rates for Consistency Diffusion Models [87.28777947976573]
  最先端の性能にもかかわらず、拡散モデルは、多くのステップが伴うため、遅いサンプル生成で知られている。 本稿では, 整合性モデルに関する最初の統計理論に寄与し, 分散不整合最小化問題としてトレーニングを定式化している。
  論文  参考訳（メタデータ） (2024-06-23T20:34:18Z)
• Improving Efficiency of Diffusion Models via Multi-Stage Framework and Tailored Multi-Decoder Architectures [12.703947839247693]
  拡散モデルは強力な深層生成ツールとして登場し、様々な応用に優れている。 しかし、その顕著な生成性能は、遅いトレーニングとサンプリングによって妨げられている。 これは、広範囲の前方および逆拡散軌道を追跡する必要があるためである。 本稿では,これらの課題に対処するための経験的知見から着想を得た多段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-14T17:48:09Z)
• Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
  Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。 暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。 提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-21T18:49:22Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• Q-Diffusion: Quantizing Diffusion Models [52.978047249670276]
  ポストトレーニング量子化(PTQ)は、他のタスクに対するゴーツー圧縮法であると考えられている。 本稿では,一意なマルチステップパイプラインとモデルアーキテクチャに適した新しいPTQ手法を提案する。 提案手法は,完全精度の非条件拡散モデルを同等の性能を維持しつつ4ビットに定量化できることを示す。
  論文  参考訳（メタデータ） (2023-02-08T19:38:59Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。