論文の概要: Diffusion-Driven Data Replay: A Novel Approach to Combat Forgetting in Federated Class Continual Learning

• arxiv url: http://arxiv.org/abs/2409.01128v2
• Date: Wed, 4 Sep 2024 02:40:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 07:26:52.385858
• Title: Diffusion-Driven Data Replay: A Novel Approach to Combat Forgetting in Federated Class Continual Learning
• Title（参考訳）: 拡散駆動型データリプレイ:フェデレーションクラス連続学習におけるコンバットフォーミングの新しいアプローチ
• Authors: Jinglin Liang, Jin Zhong, Hanlin Gu, Zhongqi Lu, Xingxing Tang, Gang Dai, Shuangping Huang, Lixin Fan, Qiang Yang,
• Abstract要約: Federated Class Continual Learningにおける大きな課題は、破滅的な忘れ方だ。 本研究では拡散モデルに基づく新しいデータ再生手法を提案する。 我々の手法は既存のベースラインを大きく上回っている。
• 参考スコア（独自算出の注目度）: 13.836798036474143
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Class Continual Learning (FCCL) merges the challenges of distributed client learning with the need for seamless adaptation to new classes without forgetting old ones. The key challenge in FCCL is catastrophic forgetting, an issue that has been explored to some extent in Continual Learning (CL). However, due to privacy preservation requirements, some conventional methods, such as experience replay, are not directly applicable to FCCL. Existing FCCL methods mitigate forgetting by generating historical data through federated training of GANs or data-free knowledge distillation. However, these approaches often suffer from unstable training of generators or low-quality generated data, limiting their guidance for the model. To address this challenge, we propose a novel method of data replay based on diffusion models. Instead of training a diffusion model, we employ a pre-trained conditional diffusion model to reverse-engineer each class, searching the corresponding input conditions for each class within the model's input space, significantly reducing computational resources and time consumption while ensuring effective generation. Furthermore, we enhance the classifier's domain generalization ability on generated and real data through contrastive learning, indirectly improving the representational capability of generated data for real data. Comprehensive experiments demonstrate that our method significantly outperforms existing baselines. Code is available at https://github.com/jinglin-liang/DDDR.
• Abstract（参考訳）: Federated Class Continual Learning (FCCL)は、分散クライアント学習の課題と、新しいクラスへのシームレスな適応の必要性を、古いクラスを忘れずに統合する。 FCCLの鍵となる課題は、連続学習(CL)においてある程度検討されてきた、破滅的な忘れ事である。 しかし、プライバシー保護要件のため、経験的再生のようないくつかの従来の手法はFCCLに直接適用されない。 既存のFCCL法は、GANの連合的な訓練やデータフリーな知識蒸留を通じて、過去のデータを生成することによって、忘れを軽減している。 しかしながら、これらのアプローチは、しばしばジェネレータの不安定なトレーニングや低品質な生成データに悩まされ、モデルのガイダンスが制限される。 そこで本研究では,拡散モデルに基づく新しいデータ再生手法を提案する。 拡散モデルをトレーニングする代わりに、各クラスを逆エンジニアリングするために事前訓練された条件拡散モデルを使用し、モデルの入力空間内の各クラスの対応する入力条件を探索し、効率的な生成を確保しながら計算資源と時間消費を大幅に削減する。 さらに、コントラスト学習により、生成データおよび実データに対する分類器の領域一般化能力を向上し、実データに対する生成データの表現能力を間接的に改善する。 総合実験により,本手法が既存のベースラインを著しく上回ることを示した。 コードはhttps://github.com/jinglin-liang/DDDRで公開されている。

関連論文リスト

• TS-ACL: A Time Series Analytic Continual Learning Framework for Privacy-Preserving and Class-Incremental Pattern Recognition [14.6394894445113]
  本稿では,TS-ACLと呼ばれる時系列解析連続学習フレームワークを提案する。 解析学習にインスパイアされたTS-ACLは、ニューラルネットワークの更新を勾配のない線形回帰問題に変換する。 我々のフレームワークはリアルタイムアプリケーションや大規模データ処理に非常に適しています。
  論文  参考訳（メタデータ） (2024-10-21T12:34:02Z)
• Continual Domain Incremental Learning for Privacy-aware Digital Pathology [3.6630930118966814]
  連続学習(CL)技術は、分散シフト条件で新しいデータを学習する際の過去のデータ忘れを減らすことを目的としている。 我々は、過去のデータを格納し、新しいデータで潜在リプレイを行うために、ジェネレーティブ潜在リプレイベースのCL(GLRCL)アプローチを開発する。
  論文  参考訳（メタデータ） (2024-09-10T12:21:54Z)
• Diffusion Model Meets Non-Exemplar Class-Incremental Learning and Beyond [48.51784137032964]
  非典型的なクラス増分学習(Non-exemplar class-incremental learning、NECIL)は、古いクラスサンプルを保存せずに破滅的な忘れ込みに抵抗することである。 NECILのためのシンプルで効果的な textbfDiffusion ベースの textbfFeature textbfReplay (textbfDiffFR) 法を提案する。
  論文  参考訳（メタデータ） (2024-08-06T06:33:24Z)
• Beyond Prompt Learning: Continual Adapter for Efficient Rehearsal-Free Continual Learning [22.13331870720021]
  C-ADA (Continuous Adapter) という,RFCL タスクに対する超高速学習手法を提案する。 C-ADAは、CALの特定の重みを柔軟に拡張し、各タスクの新たな知識を学び、古い重みを凍結して以前の知識を保存する。 提案手法は,現状のSOTA(State-of-the-art)法よりも優れ,性能とトレーニング速度を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-07-14T17:40:40Z)
• F-OAL: Forward-only Online Analytic Learning with Fast Training and Low Memory Footprint in Class Incremental Learning [28.772554281694166]
  Online Class Incremental Learning (OCIL)は、ミニバッチにデータが到着し、以前のデータがアクセスできないようなモデルを段階的にトレーニングすることを目的としている。 OCILにおける大きな課題は、カタストロフィック・フォージッティング(Caastrophic Forgetting)、すなわち、以前に学んだ知識の喪失である。 本稿では,前向きのみのオンライン分析学習(F-OAL)を提案する。 従来の方法とは異なり、F-OALはバックプロパゲーションに依存しておらず、フォワードのみであり、メモリ使用量と計算時間を著しく削減している。
  論文  参考訳（メタデータ） (2024-03-23T07:39:13Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Bypassing Logits Bias in Online Class-Incremental Learning with a Generative Framework [15.345043222622158]
  我々は、時間とともに新しいクラスが出現するオンラインのクラス増分学習環境に焦点を当てる。 既存のほとんどのメソッドは、ソフトマックス分類器を使ったリプレイベースである。 特徴空間に基づく新しい生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-19T06:54:20Z)
• Hyperparameter-free Continuous Learning for Domain Classification in Natural Language Understanding [60.226644697970116]
  ドメイン分類は自然言語理解(NLU)の基本課題である 既存の継続的な学習アプローチの多くは、低い精度とパフォーマンスの変動に悩まされている。 本研究では,テキストデータに対するパラメータフリー連続学習モデルを提案する。
  論文  参考訳（メタデータ） (2022-01-05T02:46:16Z)
• Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
  分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。 フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。 本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
  論文  参考訳（メタデータ） (2021-06-24T05:19:26Z)
• Always Be Dreaming: A New Approach for Data-Free Class-Incremental Learning [73.24988226158497]
  データフリークラスインクリメンタルラーニング(DFCIL)における高インパクト問題について考察する。 そこで本研究では, 改良型クロスエントロピートレーニングと重要重み付き特徴蒸留に寄与するDFCILの新たなインクリメンタル蒸留戦略を提案する。 本手法は,共通クラスインクリメンタルベンチマークにおけるSOTA DFCIL法と比較して,最終タスク精度(絶対差)が25.1%向上する。
  論文  参考訳（メタデータ） (2021-06-17T17:56:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。