論文の概要: Continual Learning of Diffusion Models with Generative Distillation

• arxiv url: http://arxiv.org/abs/2311.14028v2
• Date: Mon, 20 May 2024 17:08:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 00:00:07.550757
• Title: Continual Learning of Diffusion Models with Generative Distillation
• Title（参考訳）: 生成的蒸留を伴う拡散モデルの連続学習
• Authors: Sergi Masip, Pau Rodriguez, Tinne Tuytelaars, Gido M. van de Ven,
• Abstract要約: 拡散モデルは画像合成における最先端性能を達成する強力な生成モデルである。 本稿では,拡散モデルの全逆過程を除去する生成蒸留法を提案する。
• 参考スコア（独自算出の注目度）: 34.52513912701778
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models are powerful generative models that achieve state-of-the-art performance in image synthesis. However, training them demands substantial amounts of data and computational resources. Continual learning would allow for incrementally learning new tasks and accumulating knowledge, thus enabling the reuse of trained models for further learning. One potentially suitable continual learning approach is generative replay, where a copy of a generative model trained on previous tasks produces synthetic data that are interleaved with data from the current task. However, standard generative replay applied to diffusion models results in a catastrophic loss in denoising capabilities. In this paper, we propose generative distillation, an approach that distils the entire reverse process of a diffusion model. We demonstrate that our approach substantially improves the continual learning performance of generative replay with only a modest increase in the computational costs.
• Abstract（参考訳）: 拡散モデルは画像合成における最先端性能を達成する強力な生成モデルである。 しかし、それらのトレーニングには大量のデータと計算資源が必要である。 継続的な学習は、新しいタスクを漸進的に学習し、知識を蓄積し、さらなる学習のためにトレーニングされたモデルの再利用を可能にする。 生成的リプレイでは、以前のタスクで訓練された生成モデルのコピーが、現在のタスクのデータとインターリーブされた合成データを生成する。 しかし、拡散モデルに適用された標準的な生成的リプレイは、デノナイジング能力の破滅的な損失をもたらす。 本稿では,拡散モデルの全逆過程を除去する生成蒸留法を提案する。 提案手法は,生成的リプレイの継続学習性能を大幅に向上させ,計算コストをわずかに増加させることを実証する。

関連論文リスト

• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• Adv-KD: Adversarial Knowledge Distillation for Faster Diffusion Sampling [2.91204440475204]
  拡散確率モデル(DPM)は、深層生成モデルの強力なクラスとして登場した。 それらは、サンプル生成中にシーケンシャルなデノイングステップに依存している。 モデルアーキテクチャに直接位相を分解する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-31T08:19:44Z)
• Heat Death of Generative Models in Closed-Loop Learning [63.83608300361159]
  本研究では、独自の学習データセットに加えて、生成したコンテンツをフィードバックする生成モデルの学習ダイナミクスについて検討する。 各イテレーションで十分な量の外部データが導入されない限り、非自明な温度がモデルを退化させることを示す。
  論文  参考訳（メタデータ） (2024-04-02T21:51:39Z)
• DetDiffusion: Synergizing Generative and Perceptive Models for Enhanced Data Generation and Perception [78.26734070960886]
  現在の知覚モデルは、リソース集約的なデータセットに大きく依存している。 セグメンテーションを通じて知覚認識損失(P.A.損失)を導入し、品質と制御性の両方を改善した。 本手法は,世代間における知覚認識属性(P.A. Attr)の抽出と利用により,データ拡張をカスタマイズする。
  論文  参考訳（メタデータ） (2024-03-20T04:58:03Z)
• On the Stability of Iterative Retraining of Generative Models on their own Data [56.153542044045224]
  混合データセットに対する生成モデルの訓練が与える影響について検討する。 まず、初期生成モデルがデータ分布を十分に近似する条件下で反復学習の安定性を実証する。 我々は、正規化フローと最先端拡散モデルを繰り返し訓練することにより、合成画像と自然画像の両方に関する我々の理論を実証的に検証する。
  論文  参考訳（メタデータ） (2023-09-30T16:41:04Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Learning to Jump: Thinning and Thickening Latent Counts for Generative Modeling [69.60713300418467]
  ジャンプの学習は、様々な種類のデータの生成モデリングのための一般的なレシピである。 ジャンプの学習が、デノゼの学習と相容れないパフォーマンスを期待される場合と、より良いパフォーマンスを期待される場合を実証する。
  論文  参考訳（メタデータ） (2023-05-28T05:38:28Z)
• Image retrieval outperforms diffusion models on data augmentation [36.559967424331695]
  拡散モデルは、分類などの下流タスクのためのトレーニングデータセットを強化するために提案されている。 強化のために事前学習プロセスの追加データを直接利用して、改善を十分に一般化するかどうかは不明だ。 ターゲットデータに対する拡散モデルのパーソナライズは、より単純なプロンプト戦略より優れている。 しかし,拡散モデルの事前学習データのみを用いることで,より強力な下流性能が得られる。
  論文  参考訳（メタデータ） (2023-04-20T12:21:30Z)
• Exploring Continual Learning of Diffusion Models [24.061072903897664]
  拡散モデルの連続学習(CL)特性を評価する。 我々は,拡散の時間経過にまたがる多様な行動を示す,忘れのダイナミクスに関する洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-27T15:52:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。