論文の概要: CCD: Continual Consistency Diffusion for Lifelong Generative Modeling
- arxiv url: http://arxiv.org/abs/2505.11936v3
- Date: Fri, 22 Aug 2025 08:55:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-25 16:42:36.054157
- Title: CCD: Continual Consistency Diffusion for Lifelong Generative Modeling
- Title（参考訳）: CCD:生涯生成モデリングのための連続一貫性拡散
- Authors: Jingren Liu, Shuning Xu, Yun Wang, Zhong Ji, Xiangyu Chen,
- Abstract要約: 連続拡散生成(CDG)は、連続学習下での拡散モデルの実装方法を再定義する構造化パイプラインである。
拡散特異的な生成力学のクロスタスク解析を基礎としたCDGの第一理論基盤を提案する。
CCDは様々なベンチマークでSOTA性能を実現し,特に重複タスクのシナリオにおける生成指標の改善を図っている。
- 参考スコア（独自算出の注目度）: 29.568682321463886
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While diffusion-based models have shown remarkable generative capabilities in static settings, their extension to continual learning (CL) scenarios remains fundamentally constrained by Generative Catastrophic Forgetting (GCF). We observe that even with a rehearsal buffer, new generative skills often overwrite previous ones, degrading performance on earlier tasks. Although some initial efforts have explored this space, most rely on heuristics borrowed from continual classification methods or use trained diffusion models as ad hoc replay generators, lacking a principled, unified solution to mitigating GCF and often conducting experiments under fragmented and inconsistent settings. To address this gap, we introduce the Continual Diffusion Generation (CDG), a structured pipeline that redefines how diffusion models are implemented under CL and enables systematic evaluation of GCF. Beyond the empirical pipeline, we propose the first theoretical foundation for CDG, grounded in a cross-task analysis of diffusion-specific generative dynamics. Our theoretical investigation identifies three fundamental consistency principles essential for preserving knowledge in the rehearsal buffer over time: inter-task knowledge consistency, unconditional knowledge consistency, and prior knowledge consistency. These criteria expose the latent mechanisms through which generative forgetting manifests across sequential tasks. Motivated by these insights, we further propose \textit{Continual Consistency Diffusion} (CCD), a principled training framework that enforces these consistency objectives via hierarchical loss functions: $\mathcal{L}_{IKC}$, $\mathcal{L}_{UKC}$, and $\mathcal{L}_{PKC}$. Extensive experiments show that CCD achieves SOTA performance across various benchmarks, especially improving generative metrics in overlapping-task scenarios.
- Abstract（参考訳）: 拡散に基づくモデルでは、静的な設定において顕著な生成能力を示してきたが、連続学習(CL)シナリオへの拡張は、ジェネレーティブ・カタストロフィック・フォーッティング(GCF)によって根本的な制約を受け続けている。
リハーサルバッファーであっても、新しい生成スキルはしばしば以前のタスクを上書きし、以前のタスクのパフォーマンスを劣化させる。
当初、この空間を探索する試みはいくつかあったが、ほとんどの場合、連続的な分類法や訓練された拡散モデルをアドホック・リプレイ・ジェネレータとして用いたヒューリスティックに頼っている。
このギャップに対処するために、我々はCLの下で拡散モデルをどのように実装するかを再定義し、GCFの体系的評価を可能にする構造化パイプラインである連続拡散生成(CDG)を導入する。
実験パイプラインの他に,拡散特異的な生成力学のクロスタスク解析に基づくCDGの理論的基盤を提案する。
我々の理論的研究は,リハーサルバッファにおける知識の保存に不可欠な3つの基本的一貫性原理,すなわち,タスク間知識の整合性,無条件知識の整合性,および事前知識の整合性を明らかにする。
これらの基準は、逐次的なタスクにまたがる生成的忘れの顕在化のメカニズムを明らかにする。
これらの知見に触発されて、我々はさらに、これらの一貫性を階層的損失関数によって強制する原則的なトレーニングフレームワークである「textit{Continual Consistency Diffusion} (CCD)」を提案している。
大規模な実験により、CCDは様々なベンチマークでSOTA性能を実現し、特に重複タスクのシナリオにおける生成指標を改善した。
関連論文リスト
- Clustering via Self-Supervised Diffusion [6.9158153233702935]
Diffusion (CLUDI) によるクラスタリングは、拡散モデルの生成パワーと事前訓練されたビジョントランスフォーマーの機能を組み合わせて、堅牢で正確なクラスタリングを実現する、自己監督型のフレームワークである。
教師は拡散に基づくサンプリングを使用して多様なクラスタ割り当てを生成し、学生は安定した予測へと洗練する。
論文 参考訳（メタデータ） (2025-07-06T07:57:08Z) - DDAE++: Enhancing Diffusion Models Towards Unified Generative and Discriminative Learning [53.27049077100897]
生成前訓練は差別的な表現をもたらし、統一された視覚生成と理解への道を開くことが示されている。
この研究は自己条件付けを導入し、ネットワークに固有のリッチなセマンティクスを内部的に活用し、独自のデコード層をガイドする。
提案手法は、FIDの生成と認識の精度を1%の計算オーバーヘッドで向上させ、多様な拡散アーキテクチャで一般化する。
論文 参考訳（メタデータ） (2025-05-16T08:47:16Z) - Constrained Discrete Diffusion [61.81569616239755]
本稿では,拡散過程における微分可能制約最適化の新たな統合であるCDD(Constrained Discrete Diffusion)を紹介する。
CDDは直接、離散拡散サンプリングプロセスに制約を課し、トレーニング不要で効果的なアプローチをもたらす。
論文 参考訳（メタデータ） (2025-03-12T19:48:12Z) - Recurrent Knowledge Identification and Fusion for Language Model Continual Learning [41.901501650712234]
Recurrent-KIF は Recurrent Knowledge Identification and Fusion のためのCLフレームワークである。
人間の連続学習にインスパイアされたRecurrent-KIFは、内部ループを使用し、新しいタスクに迅速に適応する。
新しい知識と歴史的知識の融合を世界規模で管理する外ループ。
論文 参考訳（メタデータ） (2025-02-22T05:37:27Z) - Continual Learning Should Move Beyond Incremental Classification [51.23416308775444]
連続学習(Continuous Learning, CL)は、動的環境における知識の蓄積に関わる機械学習のサブフィールドである。
ここでは、このような焦点を維持することは、CL法の理論的発展と実践的適用性の両方を制限すると論じる。
C1) 学習課題における連続性の性質,(C2) 類似性を測定するための適切な空間とメトリクスの選択,(C3) 学習目標が分類を超えた役割である。
論文 参考訳（メタデータ） (2025-02-17T15:40:13Z) - Parallelly Tempered Generative Adversarial Networks [7.94957965474334]
生成的敵対ネットワーク(GAN)は、生成的人工知能(AI)における代表的バックボーンモデルである。
本研究は,モード崩壊の存在下でのトレーニングの不安定性と非効率性を,対象分布におけるマルチモーダルにリンクすることで解析する。
新たに開発したGAN目標関数により, 生成元は同時に全ての誘電分布を学習することができる。
論文 参考訳（メタデータ） (2024-11-18T18:01:13Z) - Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。
実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
論文 参考訳（メタデータ） (2024-11-18T08:20:21Z) - Improving Vector-Quantized Image Modeling with Latent Consistency-Matching Diffusion [55.185588994883226]
VQ-LCMDは、学習を安定させる埋め込み空間内の連続空間潜在拡散フレームワークである。
VQ-LCMDは、関節埋め込み拡散変動下界と整合整合性(CM)損失を組み合わせた新しいトレーニング目標を使用する。
実験により,提案したVQ-LCMDは離散状態潜伏拡散モデルと比較して,FFHQ,LSUN教会,LSUNベッドルームにおいて優れた結果が得られることが示された。
論文 参考訳（メタデータ） (2024-10-18T09:12:33Z) - LoRanPAC: Low-rank Random Features and Pre-trained Models for Bridging Theory and Practice in Continual Learning [103.45785408116146]
連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。
最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。
しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。
理論的に健全で高性能な単純なCL法を設計することで,このギャップを埋めることを目指している。
論文 参考訳（メタデータ） (2024-10-01T12:58:37Z) - Continual Learning with Dirichlet Generative-based Rehearsal [22.314195832409755]
本稿では,タスク指向対話システムのための新しい生成型リハーサル戦略であるDirichlet Continual Learningを紹介する。
また,ロジットに基づく堅牢な知識蒸留法であるJensen-Shannon Knowledge Distillation (JSKD)についても紹介する。
本研究は,本手法の有効性を実証し,本手法の有効性を確認した。
論文 参考訳（メタデータ） (2023-09-13T12:30:03Z) - Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。
フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。
本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
論文 参考訳（メタデータ） (2021-06-24T05:19:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。