論文の概要: ReDiFine: Reusable Diffusion Finetuning for Mitigating Degradation in the Chain of Diffusion

• arxiv url: http://arxiv.org/abs/2407.17493v1
• Date: Thu, 4 Jul 2024 13:41:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-28 17:59:54.686469
• Title: ReDiFine: Reusable Diffusion Finetuning for Mitigating Degradation in the Chain of Diffusion
• Title（参考訳）: ReDiFine: Reuseable Diffusion Finetuning for Mitigating Degradation in the Chain of Diffusion
• Authors: Youngseok Yoon, Dainong Hu, Iain Weissburg, Yao Qin, Haewon Jeong,
• Abstract要約: 拡散モデルは画像の生成モデリングにおいて著しく改善されている。 画像の品質はしきい値に達し、合成画像を再利用して機械学習モデルを再び訓練することができる。 本稿では,事前訓練されたテキスト・画像拡散モデルが,一連の合成画像を用いて反復的に微調整される現実的なシナリオに焦点を当てる。
• 参考スコア（独自算出の注目度）: 10.159932782892865
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have achieved tremendous improvements in generative modeling for images, enabling high-quality generation that is indistinguishable by humans from real images. The qualities of images have reached a threshold at which we can reuse synthetic images for training machine learning models again. This attracts the area as it can relieve the high cost of data collection and fundamentally solve many problems in data-limited areas. In this paper, we focus on a practical scenario in which pretrained text-to-image diffusion models are iteratively finetuned using a set of synthetic images, which we call the Chain of Diffusion. Finetuned models generate images that are used for the next iteration of finetuning. We first demonstrate how these iterative processes result in severe degradation in image qualities. Thorough investigations reveal the most impactful factor for the degradation, and we propose finetuning and generation strategies that can effectively resolve the degradation. Our method, Reusable Diffusion Finetuning (ReDiFine), combines condition drop finetuning and CFG scheduling to maintain the qualities of generated images throughout iterations. ReDiFine works effectively for multiple datasets and models without further hyperparameter search, making synthetic images reusable to finetune future generative models.
• Abstract（参考訳）: 拡散モデルは画像の生成モデリングにおいて著しく改善され、人間が実際の画像と区別できない高品質な生成を可能にした。 画像の品質はしきい値に達し、合成画像を再利用して機械学習モデルを再び訓練することができる。 これは、データ収集の高コストを軽減し、データ制限領域における多くの問題を根本的に解決できるため、この領域を惹きつける。 本稿では,事前学習したテキスト・画像拡散モデルが合成画像の集合を用いて反復的に微調整される現実的なシナリオに着目し,拡散の連鎖(Chain of Diffusion)と呼ぶ。 ファインチューニングされたモデルは、次のファインチューニングのイテレーションに使用されるイメージを生成する。 まず,これらの反復過程が画像品質を著しく低下させることを示す。 より詳細な調査により, 劣化の最も影響の大きい要因が明らかとなり, 劣化を効果的に解決できる微調整・生成戦略が提案される。 提案手法であるReuseable Diffusion Finetuning (ReDiFine) では,コンディションドロップの微調整とCFGスケジューリングを組み合わせることで,生成した画像の品質を反復的に維持する。 ReDiFineは、さらにハイパーパラメーター検索をすることなく、複数のデータセットやモデルに対して効果的に機能し、将来の生成モデルを微調整するために合成画像を再利用する。

関連論文リスト

• Self-Consuming Generative Models with Curated Data Provably Optimize Human Preferences [20.629333587044012]
  本研究では,データキュレーションが生成モデルの反復的再学習に与える影響について検討する。 報奨モデルに従ってデータをキュレートすると、反復的再訓練手順の期待報酬が最大になることを示す。
  論文  参考訳（メタデータ） (2024-06-12T21:28:28Z)
• Lossy Image Compression with Foundation Diffusion Models [10.407650300093923]
  本研究は,拡散を用いた量子化誤差の除去をデノナイジングタスクとして定式化し,送信された遅延画像の損失情報を復元する。 当社のアプローチでは,完全な拡散生成プロセスの10%未満の実行が可能であり,拡散モデルにアーキテクチャ的な変更は不要である。
  論文  参考訳（メタデータ） (2024-04-12T16:23:42Z)
• Fine-Tuning of Continuous-Time Diffusion Models as Entropy-Regularized Control [54.132297393662654]
  拡散モデルは、自然画像やタンパク質のような複雑なデータ分布を捉えるのに優れている。 拡散モデルはトレーニングデータセットの分布を表現するために訓練されるが、私たちはしばしば、生成された画像の美的品質など他の特性にもっと関心を持っている。 本稿では,本フレームワークが真に報酬の高い多種多様なサンプルを効率よく生成できることを示す理論的,実証的な証拠を示す。
  論文  参考訳（メタデータ） (2024-02-23T08:54:42Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Post-training Quantization for Text-to-Image Diffusion Models with Progressive Calibration and Activation Relaxing [49.800746112114375]
  本稿では,テキスト・画像拡散モデルのための学習後量子化手法(プログレッシブ・アンド・リラクシング)を提案する。 我々は,安定拡散XLの量子化を初めて達成し,その性能を維持した。
  論文  参考訳（メタデータ） (2023-11-10T09:10:09Z)
• Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional Image Synthesis [62.07413805483241]
  Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。 塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
  論文  参考訳（メタデータ） (2023-09-30T02:03:22Z)
• ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
  チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。 我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
  論文  参考訳（メタデータ） (2023-04-07T15:17:48Z)
• Bi-Noising Diffusion: Towards Conditional Diffusion Models with Generative Restoration Priors [64.24948495708337]
  本研究では,事前訓練した非条件拡散モデルを用いて,予測サンプルをトレーニングデータ多様体に導入する手法を提案する。 我々は,超解像,着色,乱流除去,画像劣化作業におけるアプローチの有効性を実証するための総合的な実験を行った。
  論文  参考訳（メタデータ） (2022-12-14T17:26:35Z)
• Fast Unsupervised Brain Anomaly Detection and Segmentation with Diffusion Models [1.6352599467675781]
  脳画像における異常検出とセグメント分割のための拡散モデルに基づく手法を提案する。 拡散モデルは,2次元CTおよびMRIデータを用いた一連の実験において,自己回帰的アプローチと比較して競争性能が向上する。
  論文  参考訳（メタデータ） (2022-06-07T17:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。