論文の概要: Continual Learning of Diffusion Models with Generative Distillation
- arxiv url: http://arxiv.org/abs/2311.14028v1
- Date: Thu, 23 Nov 2023 14:33:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-27 23:30:40.942732
- Title: Continual Learning of Diffusion Models with Generative Distillation
- Title(参考訳): 生成的蒸留を伴う拡散モデルの連続学習
- Authors: Sergi Masip, Pau Rodriguez, Tinne Tuytelaars, Gido M. van de Ven
- Abstract要約: 拡散モデルは、画像合成などのタスクにおいて最先端のパフォーマンスを達成する強力な生成モデルである。
本稿では,拡散モデルの全逆過程を除去する生成蒸留法を提案する。
- 参考スコア(独自算出の注目度): 37.71623422718308
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models are powerful generative models that achieve state-of-the-art
performance in tasks such as image synthesis. However, training them demands
substantial amounts of data and computational resources. Continual learning
would allow for incrementally learning new tasks and accumulating knowledge,
thus reusing already trained models would be possible. One potentially suitable
approach is generative replay, where a copy of a generative model trained on
previous tasks produces synthetic data that are interleaved with data from the
current task. However, standard generative replay applied to diffusion models
results in a catastrophic loss in denoising capabilities. In this paper, we
propose generative distillation, an approach that distils the entire reverse
process of a diffusion model. We demonstrate that our approach significantly
improves the continual learning performance of generative replay with only a
moderate increase in the computational costs.
- Abstract(参考訳): 拡散モデルは画像合成などのタスクで最先端のパフォーマンスを達成する強力な生成モデルである。
しかし、訓練には大量のデータと計算資源が必要である。
継続的な学習は、新しいタスクを漸進的に学習し、知識を蓄積することを可能にする。
ここでは、以前のタスクで訓練された生成モデルのコピーが、現在のタスクのデータとインターリーブされた合成データを生成する。
しかし、拡散モデルに適用される標準的な生成リプレイは、消音能力の壊滅的な損失をもたらす。
本稿では,拡散モデルの逆過程全体を拡散する生成蒸留法を提案する。
本手法は,計算コストを緩やかに増やすだけで,生成リプレイの連続学習性能を大幅に向上させることを実証する。
関連論文リスト
- Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線
本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。
提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
論文 参考訳(メタデータ) (2024-02-15T18:59:18Z) - EraseDiff: Erasing Data Influence in Diffusion Models [54.95692559939673]
拡散モデルのためのアンラーニングアルゴリズムを提案する。
提案アルゴリズムは, 広範に普及している拡散モデルから除去しながら, モデルの有用性, 有効性, 効率を保たせることを示す。
論文 参考訳(メタデータ) (2024-01-11T09:30:36Z) - On the Stability of Iterative Retraining of Generative Models on their
own Data [56.153542044045224]
生成モデルの訓練がデータセット(実データと合成データの混合データ)の安定性に及ぼす影響について検討した。
まず、初期生成モデルがデータ分布を十分に近似する条件下で反復学習の安定性を実証する。
我々は,CIFAR10およびFFHQ上の正規化フローと最先端拡散モデルの反復的訓練により,合成画像と自然画像の両方に関する理論を実証的に検証した。
論文 参考訳(メタデータ) (2023-09-30T16:41:04Z) - BOOT: Data-free Distillation of Denoising Diffusion Models with
Bootstrapping [64.54271680071373]
拡散モデルは多様な画像を生成する優れた可能性を示している。
知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。
本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-06-08T20:30:55Z) - Learning to Jump: Thinning and Thickening Latent Counts for Generative
Modeling [69.60713300418467]
ジャンプの学習は、様々な種類のデータの生成モデリングのための一般的なレシピである。
ジャンプの学習が、デノゼの学習と相容れないパフォーマンスを期待される場合と、より良いパフォーマンスを期待される場合を実証する。
論文 参考訳(メタデータ) (2023-05-28T05:38:28Z) - Structural Pruning for Diffusion Models [65.02607075556742]
Diff-Pruningは、既存のものから軽量拡散モデルの学習に適した効率的な圧縮手法である。
複数のデータセットにまたがって実施した経験的評価は,提案手法の2つの利点を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-05-18T12:38:21Z) - Image retrieval outperforms diffusion models on data augmentation [36.559967424331695]
拡散モデルは、分類などの下流タスクのためのトレーニングデータセットを強化するために提案されている。
強化のために事前学習プロセスの追加データを直接利用して、改善を十分に一般化するかどうかは不明だ。
ターゲットデータに対する拡散モデルのパーソナライズは、より単純なプロンプト戦略より優れている。
しかし,拡散モデルの事前学習データのみを用いることで,より強力な下流性能が得られる。
論文 参考訳(メタデータ) (2023-04-20T12:21:30Z) - Exploring Continual Learning of Diffusion Models [24.061072903897664]
拡散モデルの連続学習(CL)特性を評価する。
我々は,拡散の時間経過にまたがる多様な行動を示す,忘れのダイナミクスに関する洞察を提供する。
論文 参考訳(メタデータ) (2023-03-27T15:52:14Z) - A Physics-informed Diffusion Model for High-fidelity Flow Field
Reconstruction [0.0]
本研究では,高忠実度データのみを使用する拡散モデルを提案する。
異なる構成で、本モデルでは、正規の低忠実度サンプルまたはスパース測定サンプルから高忠実度データを再構成することができる。
本モデルでは, 異なる入力源に基づく2次元乱流の正確な再構成結果が得られるが, 再学習は行わない。
論文 参考訳(メタデータ) (2022-11-26T23:14:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。