論文の概要: Diffusion Tuning: Transferring Diffusion Models via Chain of Forgetting

• arxiv url: http://arxiv.org/abs/2406.00773v2
• Date: Thu, 6 Jun 2024 10:08:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 19:54:03.360695
• Title: Diffusion Tuning: Transferring Diffusion Models via Chain of Forgetting
• Title（参考訳）: 拡散チューニング:予測の連鎖を通して拡散モデルを伝達する
• Authors: Jincheng Zhong, Xingzhuo Guo, Jiaxiang Dong, Mingsheng Long,
• Abstract要約: Diff-Tuningは、忘れる傾向の連鎖を利用する、フラストレーション的にシンプルな転送手法である。 D Diff-Tuningは標準的な微調整よりも26%改善され、ControlNetの収束速度が24%向上した。
• 参考スコア（独自算出の注目度）: 41.75432332679519
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have significantly advanced the field of generative modeling. However, training a diffusion model is computationally expensive, creating a pressing need to adapt off-the-shelf diffusion models for downstream generation tasks. Current fine-tuning methods focus on parameter-efficient transfer learning but overlook the fundamental transfer characteristics of diffusion models. In this paper, we investigate the transferability of diffusion models and observe a monotonous chain of forgetting trend of transferability along the reverse process. Based on this observation and novel theoretical insights, we present Diff-Tuning, a frustratingly simple transfer approach that leverages the chain of forgetting tendency. Diff-Tuning encourages the fine-tuned model to retain the pre-trained knowledge at the end of the denoising chain close to the generated data while discarding the other noise side. We conduct comprehensive experiments to evaluate Diff-Tuning, including the transfer of pre-trained Diffusion Transformer models to eight downstream generations and the adaptation of Stable Diffusion to five control conditions with ControlNet. Diff-Tuning achieves a 26% improvement over standard fine-tuning and enhances the convergence speed of ControlNet by 24%. Notably, parameter-efficient transfer learning techniques for diffusion models can also benefit from Diff-Tuning.
• Abstract（参考訳）: 拡散モデルは生成モデリングの分野を著しく進歩させた。 しかし、拡散モデルのトレーニングは計算コストがかかるため、下流生成タスクにオフ・ザ・シェルフ拡散モデルを適用する必要がある。 現在の微調整法はパラメータ効率の伝達学習に重点を置いているが、拡散モデルの基本伝達特性を見落としている。 本稿では,拡散モデルの伝達可能性について検討し,逆過程に沿って伝達可能性の傾向を忘れる単調な連鎖を観察する。 この観察と新しい理論的洞察に基づいて、忘れる傾向の連鎖を利用するフラストレーションに富んだ単純な移動アプローチであるDiff-Tuningを提案する。 Diff-Tuningは、他のノイズ側を捨てながら、生成されたデータに近いデノナイジングチェーンの終端で、訓練済みの知識を保持するように微調整モデルを奨励する。 我々は,Diff-Tuningを評価するための総合的な実験を行い,事前学習した拡散変圧器モデルを下流8世代に移行し,安定拡散を制御ネットを用いた5つの制御条件に適応させる。 Diff-Tuningは標準的な微調整よりも26%改善され、ControlNetの収束速度が24%向上した。 特に拡散モデルに対するパラメータ効率のよい伝達学習技術はディフチューニングの恩恵を受けることができる。

関連論文リスト

• Improving Consistency Models with Generator-Induced Flows [16.049476783301724]
  一貫性モデルは、ニューラルネットワークの単一前方通過におけるスコアベース拡散の多段階サンプリングを模倣する。 それらは、一貫性の蒸留と一貫性のトレーニングの2つの方法を学ぶことができる。 本稿では,現在訓練されているモデルから得られた雑音データを対応する出力へ転送する新しい流れを提案する。
  論文  参考訳（メタデータ） (2024-06-13T20:22:38Z)
• Text-to-Image Rectified Flow as Plug-and-Play Priors [52.586838532560755]
  整流流は、ソースからターゲット分布への線形進行を強制する新しい生成モデルのクラスである。 補正フローアプローチが生成品質と効率を上回り,推論ステップを少なくすることを示した。 また,画像のインバージョンや編集における競合性能も示す。
  論文  参考訳（メタデータ） (2024-06-05T14:02:31Z)
• Fair Sampling in Diffusion Models through Switching Mechanism [5.560136885815622]
  本研究では,拡散モデルに対するテクスタトリビュートスイッチング機構という,公平性を考慮したサンプリング手法を提案する。 提案手法の有効性を2つの重要な側面から数学的に証明し,実験的に実証する。
  論文  参考訳（メタデータ） (2024-01-06T06:55:26Z)
• Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
  ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。 本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-14T11:19:11Z)
• Diff-Instruct: A Universal Approach for Transferring Knowledge From Pre-trained Diffusion Models [77.83923746319498]
  本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。 Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。 GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
  論文  参考訳（メタデータ） (2023-05-29T04:22:57Z)
• Structural Pruning for Diffusion Models [65.02607075556742]
  Diff-Pruningは、既存のものから軽量拡散モデルの学習に適した効率的な圧縮手法である。 複数のデータセットにまたがって実施した経験的評価は,提案手法の2つの利点を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-05-18T12:38:21Z)
• Enhanced Controllability of Diffusion Models via Feature Disentanglement and Realism-Enhanced Sampling Methods [27.014858633903867]
  拡散モデル(FDiff)の特徴分散のためのトレーニングフレームワークを提案する。 本稿では,拡散モデルの現実性を高め,制御性を高める2つのサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-02-28T07:43:00Z)
• Diffusion Models in Vision: A Survey [80.82832715884597]
  拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。 拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
  論文  参考訳（メタデータ） (2022-09-10T22:00:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。