論文の概要: Target-Driven Distillation: Consistency Distillation with Target Timestep Selection and Decoupled Guidance

• arxiv url: http://arxiv.org/abs/2409.01347v1
• Date: Mon, 2 Sep 2024 16:01:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 06:11:05.452692
• Title: Target-Driven Distillation: Consistency Distillation with Target Timestep Selection and Decoupled Guidance
• Title（参考訳）: ターゲット駆動蒸留:目標時間選択と分離誘導による連続蒸留
• Authors: Cunzheng Wang, Ziyuan Guo, Yuxuan Duan, Huaxia Li, Nemo Chen, Xu Tang, Yao Hu,
• Abstract要約: 拡散モデルの生成タスクを加速するために、ターゲット駆動蒸留(TDD)を導入します。 TDDは、ターゲットのタイムステップの微妙な選択戦略を採用し、トレーニング効率を高めます。 非等価サンプリングとx0クリッピングを備えており、より柔軟で正確な画像サンプリングを可能にする。
• 参考スコア（独自算出の注目度）: 17.826285840875556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Consistency distillation methods have demonstrated significant success in accelerating generative tasks of diffusion models. However, since previous consistency distillation methods use simple and straightforward strategies in selecting target timesteps, they usually struggle with blurs and detail losses in generated images. To address these limitations, we introduce Target-Driven Distillation (TDD), which (1) adopts a delicate selection strategy of target timesteps, increasing the training efficiency; (2) utilizes decoupled guidances during training, making TDD open to post-tuning on guidance scale during inference periods; (3) can be optionally equipped with non-equidistant sampling and x0 clipping, enabling a more flexible and accurate way for image sampling. Experiments verify that TDD achieves state-of-the-art performance in few-step generation, offering a better choice among consistency distillation models.
• Abstract（参考訳）: 連続蒸留法は拡散モデルの生成タスクを加速させることで大きな成功を収めた。 しかし, 従来の連続蒸留法では, 目標の時間ステップの選択に単純かつ簡単な手法が用いられていたため, 画像のぼやけや細かな損失に悩まされることが多い。 これらの制約に対処するため,(1)ターゲット駆動蒸留(Target-Driven Distillation, TDD)を導入し,(1)目標タイムステップの微妙な選択戦略を採用し,トレーニング効率を向上する;(2)トレーニング中に分離したガイダンスを活用する;(2)推論期間中のガイダンス尺度の学習後にTDDを開放する;(3)非等価サンプリングとx0クリッピングをオプションで装備することで,画像サンプリングをより柔軟かつ正確に行えるようにする。 実験では、TDDが数ステップの世代で最先端のパフォーマンスを達成することを検証する。

関連論文リスト

• Relational Diffusion Distillation for Efficient Image Generation [27.127061578093674]
  拡散モデルの高い遅延は、コンピューティングリソースの少ないエッジデバイスにおいて、その広範な応用を妨げる。 本研究では,拡散モデルの蒸留に適した新しい蒸留法である拡散蒸留(RDD)を提案する。 提案したRDDは, 最先端の蒸留蒸留法と比較すると1.47FID減少し, 256倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-10-10T07:40:51Z)
• Tuning Timestep-Distilled Diffusion Model Using Pairwise Sample Optimization [97.35427957922714]
  任意の時間ステップ蒸留拡散モデルを直接微調整できるPSOアルゴリズムを提案する。 PSOは、現在の時間ステップ蒸留モデルからサンプリングされた追加の参照画像を導入し、トレーニング画像と参照画像との相対的な近縁率を増大させる。 PSOは、オフラインとオンラインのペアワイズ画像データの両方を用いて、蒸留モデルを直接人間の好ましくない世代に適応させることができることを示す。
  論文  参考訳（メタデータ） (2024-10-04T07:05:16Z)
• One Step Diffusion-based Super-Resolution with Time-Aware Distillation [60.262651082672235]
  拡散に基づく画像超解像(SR)法は,低解像度画像から細部まで細部まで,高解像度画像の再構成に有望であることを示す。 近年,拡散型SRモデルの知識蒸留によるサンプリング効率の向上が試みられている。 我々は,効率的な画像超解像を実現するため,TAD-SRというタイムアウェア拡散蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-08-14T11:47:22Z)
• EM Distillation for One-step Diffusion Models [65.57766773137068]
  最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。 本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
  論文  参考訳（メタデータ） (2024-05-27T05:55:22Z)
• Score identity Distillation: Exponentially Fast Distillation of Pretrained Diffusion Models for One-Step Generation [61.03530321578825]
  Score Identity Distillation (SiD) は、事前学習した拡散モデルの生成能力を1ステップ生成器に蒸留する革新的なデータフリー手法である。 SiDは、蒸留中のFr'echet開始距離(FID)を指数的に高速に減少させるだけでなく、元の教師拡散モデルのFID性能に近づいたり、超えたりする。
  論文  参考訳（メタデータ） (2024-04-05T12:30:19Z)
• AddSR: Accelerating Diffusion-based Blind Super-Resolution with Adversarial Diffusion Distillation [43.62480338471837]
  低分解能入力からの複雑な詳細で鮮明な高分解能画像の再構成における, 安定拡散ショーケースに基づくブラインド超解像法 その実用性はしばしば、数千から数百のサンプリングステップの要求に起因して、効率の悪さによって妨げられる。 効率の良い逆拡散蒸留 (ADD) にインスパイアされた我々は, 蒸留と制御ネットの両方のアイデアを取り入れることでこの問題に対処する。
  論文  参考訳（メタデータ） (2024-04-02T08:07:38Z)
• Fast High-Resolution Image Synthesis with Latent Adversarial Diffusion Distillation [24.236841051249243]
  蒸留法は、モデルをマルチショットからシングルステップ推論にシフトすることを目的としている。 ADDの限界を克服する新しい蒸留法であるLADD(Latent Adversarial Diffusion Distillation)を導入する。 ピクセルベースのADDとは対照的に、LADDは事前訓練された潜伏拡散モデルから生成的特徴を利用する。
  論文  参考訳（メタデータ） (2024-03-18T17:51:43Z)
• Trajectory Consistency Distillation: Improved Latent Consistency Distillation by Semi-Linear Consistency Function with Trajectory Mapping [75.72212215739746]
  軌道整合性蒸留(TCD)は、軌道整合性と戦略的サンプリングを含む。 TCDは低NFEで画像品質を著しく向上させるが、教師モデルと比較してより詳細な結果が得られる。
  論文  参考訳（メタデータ） (2024-02-29T13:44:14Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。