論文の概要: How can Diffusion Models Evolve into Continual Generators?

• arxiv url: http://arxiv.org/abs/2505.11936v2
• Date: Thu, 05 Jun 2025 18:36:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:42.975129
• Title: How can Diffusion Models Evolve into Continual Generators?
• Title（参考訳）: 連続発電機への拡散モデルの適用
• Authors: Jingren Liu, Zhong Ji, Xiangyu Chen,
• Abstract要約: 連続一貫性拡散(Continuous Consistency Diffusion, CCD)は、一貫性の目標をトレーニングに統合する原則的なフレームワークである。 CCDは連続的な設定の下で最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 22.06922342737842
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While diffusion models have achieved remarkable success in static data generation, their deployment in streaming or continual learning (CL) scenarios faces a major challenge: catastrophic forgetting (CF), where newly acquired generative capabilities overwrite previously learned ones. To systematically address this, we introduce a formal Continual Diffusion Generation (CDG) paradigm that characterizes and redefines CL in the context of generative diffusion models. Prior efforts often adapt heuristic strategies from continual classification tasks but lack alignment with the underlying diffusion process. In this work, we develop the first theoretical framework for CDG by analyzing cross-task dynamics in diffusion-based generative modeling. Our analysis reveals that the retention and stability of generative knowledge across tasks are governed by three key consistency criteria: inter-task knowledge consistency (IKC), unconditional knowledge consistency (UKC), and label knowledge consistency (LKC). Building on these insights, we propose Continual Consistency Diffusion (CCD), a principled framework that integrates these consistency objectives into training via hierarchical loss terms $\mathcal{L}_{IKC}$, $\mathcal{L}_{UKC}$, and $\mathcal{L}_{LKC}$. This promotes effective knowledge retention while enabling the assimilation of new generative capabilities. Extensive experiments on four benchmark datasets demonstrate that CCD achieves state-of-the-art performance under continual settings, with substantial gains in Mean Fidelity (MF) and Incremental Mean Fidelity (IMF), particularly in tasks with rich cross-task knowledge overlap.
• Abstract（参考訳）: 拡散モデルは静的データ生成において顕著に成功したが、ストリーミングや継続学習(CL)シナリオへの展開は大きな課題に直面している。 これを体系的に解決するために,生成拡散モデルを用いてCLを特徴付け,再定義する形式的連続拡散生成(CDG)パラダイムを導入する。 事前の努力は、しばしば連続的な分類タスクからヒューリスティック戦略を適用するが、基礎となる拡散過程と整合性に欠ける。 本研究では,拡散型生成モデルにおけるクロスタスクダイナミクスを解析し,CDGのための最初の理論的枠組みを開発する。 本分析により,タスク間の生成的知識の保持と安定性は,タスク間知識整合性(IKC),無条件知識整合性(UKC),ラベル知識整合性(LKC)の3つの重要な整合性基準によって制御されていることが明らかとなった。 これらの知見に基づいて、これらの一貫性の目標を階層的損失項$\mathcal{L}_{IKC}$、$\mathcal{L}_{UKC}$、$\mathcal{L}_{LKC}$を介してトレーニングに組み込む原則的なフレームワークであるContinuous Consistency Diffusion (CCD)を提案する。 これにより、新しい生成能力の同化を可能にしつつ、効果的な知識保持を促進する。 4つのベンチマークデータセットの大規模な実験により、CCDは連続的な設定下での最先端のパフォーマンスを達成し、特にクロスタスクの知識が豊富なタスクにおいて、平均忠実度(MF)とインクリメンタル平均忠実度(IMF)を大きく向上することを示した。

関連論文リスト

• DDAE++: Enhancing Diffusion Models Towards Unified Generative and Discriminative Learning [53.27049077100897]
  生成前訓練は差別的な表現をもたらし、統一された視覚生成と理解への道を開くことが示されている。 この研究は自己条件付けを導入し、ネットワークに固有のリッチなセマンティクスを内部的に活用し、独自のデコード層をガイドする。 提案手法は、FIDの生成と認識の精度を1%の計算オーバーヘッドで向上させ、多様な拡散アーキテクチャで一般化する。
  論文  参考訳（メタデータ） (2025-05-16T08:47:16Z)
• Recurrent Knowledge Identification and Fusion for Language Model Continual Learning [41.901501650712234]
  Recurrent-KIF は Recurrent Knowledge Identification and Fusion のためのCLフレームワークである。 人間の連続学習にインスパイアされたRecurrent-KIFは、内部ループを使用し、新しいタスクに迅速に適応する。 新しい知識と歴史的知識の融合を世界規模で管理する外ループ。
  論文  参考訳（メタデータ） (2025-02-22T05:37:27Z)
• Continual Learning Should Move Beyond Incremental Classification [51.23416308775444]
  連続学習(Continuous Learning, CL)は、動的環境における知識の蓄積に関わる機械学習のサブフィールドである。 ここでは、このような焦点を維持することは、CL法の理論的発展と実践的適用性の両方を制限すると論じる。 C1) 学習課題における連続性の性質,(C2) 類似性を測定するための適切な空間とメトリクスの選択,(C3) 学習目標が分類を超えた役割である。
  論文  参考訳（メタデータ） (2025-02-17T15:40:13Z)
• Parallelly Tempered Generative Adversarial Networks [7.94957965474334]
  生成的敵対ネットワーク(GAN)は、生成的人工知能(AI)における代表的バックボーンモデルである。 本研究は,モード崩壊の存在下でのトレーニングの不安定性と非効率性を,対象分布におけるマルチモーダルにリンクすることで解析する。 新たに開発したGAN目標関数により, 生成元は同時に全ての誘電分布を学習することができる。
  論文  参考訳（メタデータ） (2024-11-18T18:01:13Z)
• Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
  CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。 実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
  論文  参考訳（メタデータ） (2024-11-18T08:20:21Z)
• LoRanPAC: Low-rank Random Features and Pre-trained Models for Bridging Theory and Practice in Continual Learning [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 理論的に健全で高性能な単純なCL法を設計することで,このギャップを埋めることを目指している。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)
• Continual Learning with Dirichlet Generative-based Rehearsal [22.314195832409755]
  本稿では,タスク指向対話システムのための新しい生成型リハーサル戦略であるDirichlet Continual Learningを紹介する。 また,ロジットに基づく堅牢な知識蒸留法であるJensen-Shannon Knowledge Distillation (JSKD)についても紹介する。 本研究は,本手法の有効性を実証し,本手法の有効性を確認した。
  論文  参考訳（メタデータ） (2023-09-13T12:30:03Z)
• Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
  分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。 フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。 本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
  論文  参考訳（メタデータ） (2021-06-24T05:19:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。