論文の概要: TLCM: Training-efficient Latent Consistency Model for Image Generation with 2-8 Steps

• arxiv url: http://arxiv.org/abs/2406.05768v6
• Date: Thu, 07 Nov 2024 01:29:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:36:39.127987
• Title: TLCM: Training-efficient Latent Consistency Model for Image Generation with 2-8 Steps
• Title（参考訳）: TLCM:2-8ステップの画像生成のための訓練効率の遅い一貫性モデル
• Authors: Qingsong Xie, Zhenyi Liao, Zhijie Deng, Chen chen, Haonan Lu,
• Abstract要約: 潜伏拡散モデル(LDM)を高速で採取できるものに蒸留することは、研究の関心を惹きつけている。 本稿では,これらの課題を克服するために,学習効率の高い遅延一貫性モデル(TLCM)を提案する。 A100 GPUでのトレーニング時間はわずか70時間で、SDXLから蒸留した3ステップのTLCMは、33.68のCLIPスコアと、MSCOCO-2017 5Kベンチマークで5.97の美的スコアを達成した。
• 参考スコア（独自算出の注目度）: 12.395969703425648
• License:
• Abstract: Distilling latent diffusion models (LDMs) into ones that are fast to sample from is attracting growing research interest. However, the majority of existing methods face two critical challenges: (1) They hinge on long training using a huge volume of real data. (2) They routinely lead to quality degradation for generation, especially in text-image alignment. This paper proposes a novel training-efficient Latent Consistency Model (TLCM) to overcome these challenges. Our method first accelerates LDMs via data-free multistep latent consistency distillation (MLCD), and then data-free latent consistency distillation is proposed to efficiently guarantee the inter-segment consistency in MLCD. Furthermore, we introduce bags of techniques, e.g., distribution matching, adversarial learning, and preference learning, to enhance TLCM's performance at few-step inference without any real data. TLCM demonstrates a high level of flexibility by enabling adjustment of sampling steps within the range of 2 to 8 while still producing competitive outputs compared to full-step approaches. Notably, TLCM enjoys the data-free merit by employing synthetic data from the teacher for distillation. With just 70 training hours on an A100 GPU, a 3-step TLCM distilled from SDXL achieves an impressive CLIP Score of 33.68 and an Aesthetic Score of 5.97 on the MSCOCO-2017 5K benchmark, surpassing various accelerated models and even outperforming the teacher model in human preference metrics. We also demonstrate the versatility of TLCMs in applications including image style transfer, controllable generation, and Chinese-to-image generation.
• Abstract（参考訳）: 潜伏拡散モデル(LDM)を高速で採取できるものに蒸留することは、研究の関心を惹きつけている。 しかし,既存の手法の大部分は,(1)大量の実データを用いて長期トレーニングを行うという2つの重要な課題に直面している。 2) テキスト画像のアライメントでは, 品質劣化が日常的に起こる。 本稿では,これらの課題を克服するために,学習効率の高い遅延一貫性モデル(TLCM)を提案する。 本手法は,データフリー多段潜時整合蒸留(MLCD)を用いてLCMを高速化し,データフリー多段潜時整合蒸留(MLCD)を提案する。 さらに,TLCMの性能を実データなしで数段階の推論で向上する手法,例えば,分布マッチング,敵対学習,選好学習などを導入する。 TLCMは、2～8の範囲でのサンプリングステップの調整を可能にしながら、フルステップのアプローチと比較して競争力のあるアウトプットを生成することにより、高いレベルの柔軟性を示す。 特に、TLCMは、教師の合成データを蒸留に用いることにより、データフリーのメリットを享受する。 A100 GPUでのトレーニング時間はわずか70時間で、SDXLから蒸留した3段階のTLCMは、MSCOCO-2017 5Kベンチマークで33.68のCLIPスコアと5.97のAesthetic Scoreを達成し、様々な加速されたモデルを超え、人間の好みの指標で教師モデルよりも優れています。 また,画像スタイルの転送,制御可能生成,中国画像生成などのアプリケーションにおいて,TLCMの汎用性を示す。

関連論文リスト

• PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
  医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。 我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。 CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-08T15:02:25Z)
• Long and Short Guidance in Score identity Distillation for One-Step Text-to-Image Generation [62.30570286073223]
  拡散に基づくテキスト・画像生成モデルは、テキスト記述と整合した画像を生成する能力を示した。 本稿では,Score ID Distillation (SiD) の長短分類器フリーガイダンス (LSG) を開発し,事前学習した安定拡散モデルを効率的に蒸留することにより,Score ID Distillation (SiD) を強化する。 LSGを備えたSiDは、FIDとCLIPのスコアを急速に改善し、競争力のあるCLIPスコアを維持しながら最先端のFIDのパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-06-03T17:44:11Z)
• Directly Denoising Diffusion Models [6.109141407163027]
  数ステップのサンプリングで現実的な画像を生成するための単純で汎用的なアプローチであるDDDM(Directly Denoising Diffusion Model)を提案する。 本モデルでは, CIFAR-10のFIDスコアを1段階, 2段階のサンプリングで2.57と2.33とし, GANと蒸留モデルから得られたFIDスコアをそれぞれ上回った。 ImageNet 64x64の場合、当社のアプローチは主要なモデルに対する競争相手として機能します。
  論文  参考訳（メタデータ） (2024-05-22T11:20:32Z)
• EdgeFusion: On-Device Text-to-Image Generation [3.3345550849564836]
  我々はテキスト・ツー・イメージ生成のためのコンパクトSD変種BK-SDMを開発した。 我々は、リソース制限エッジデバイス上で1秒未満のレイテンシで、わずか2ステップで、フォトリアリスティックなテキスト整列画像の高速生成を実現する。
  論文  参考訳（メタデータ） (2024-04-18T06:02:54Z)
• Reward Guided Latent Consistency Distillation [86.8911705127924]
  効率的なテキスト・画像合成のためのパラダイムとしてLCD(Latent Consistency Distillation)が登場している。 トレーニング中にLCDの出力と人間の好みを合わせることで品質損失を補償する。
  論文  参考訳（メタデータ） (2024-03-16T22:14:56Z)
• Improved Techniques for Training Consistency Models [13.475711217989975]
  本稿では, 蒸留なしでデータから直接一貫性モデルを学習する, 整合性トレーニングのための改良手法を提案する。 整合性学習目的のための対数正規雑音スケジュールを提案し、トレーニングの繰り返し回数毎に全離散化ステップを2倍にすることを提案する。 これらの修正により、一貫性モデルは1回のサンプリングステップでCIFAR-10で2.51と3.25のFIDスコア、ImageNetで64ドルをそれぞれ達成できる。
  論文  参考訳（メタデータ） (2023-10-22T05:33:38Z)
• Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference [60.32804641276217]
  本稿では,LCM(Latent Consistency Models)を提案する。 高品質の768 x 768 24-step LCMは、トレーニングに32A100 GPU時間しかかからない。 また,画像データセットの微調整に適した新しいLCM法であるLCF(Latent Consistency Fine-tuning)についても紹介する。
  論文  参考訳（メタデータ） (2023-10-06T17:11:58Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Boosting Visual-Language Models by Exploiting Hard Samples [126.35125029639168]
  HELIPは、既存のCLIPモデルの性能を高めるための費用対効果戦略である。 我々の方法では、既存のモデルのトレーニングパイプラインと懸命に統合できます。 包括的なベンチマークでは、HELIPはパフォーマンス向上のために既存のモデルを継続的に強化する。
  論文  参考訳（メタデータ） (2023-05-09T07:00:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。