Fugu-MT 論文翻訳(概要): Data-Free Federated Class Incremental Learning with Diffusion-Based Generative Memory

論文の概要: Data-Free Federated Class Incremental Learning with Diffusion-Based Generative Memory

arxiv url: http://arxiv.org/abs/2405.17457v1
Date: Wed, 22 May 2024 20:59:18 GMT
ステータス: 処理完了
システム内更新日: 2024-05-30 00:20:06.396516
Title: Data-Free Federated Class Incremental Learning with Diffusion-Based Generative Memory
Title（参考訳）: 拡散に基づく生成記憶を用いたデータ自由フェデレーションクラスインクリメンタルラーニング
Authors: Naibo Wang, Yuchen Deng, Wenjie Feng, Jianwei Yin, See-Kiong Ng,
Abstract要約: 拡散型生成メモリ(DFedDGM)を用いた新しいデータフリーフェデレーションクラスインクリメンタルラーニングフレームワークを提案する。 FLにおける一般の非IID問題を軽減するために拡散モデルの訓練を支援するために,新しいバランスの取れたサンプルを設計する。また、情報理論の観点からエントロピーに基づくサンプルフィルタリング手法を導入し、生成サンプルの品質を向上させる。
参考スコア（独自算出の注目度）: 27.651921957220004
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated Class Incremental Learning (FCIL) is a critical yet largely underexplored issue that deals with the dynamic incorporation of new classes within federated learning (FL). Existing methods often employ generative adversarial networks (GANs) to produce synthetic images to address privacy concerns in FL. However, GANs exhibit inherent instability and high sensitivity, compromising the effectiveness of these methods. In this paper, we introduce a novel data-free federated class incremental learning framework with diffusion-based generative memory (DFedDGM) to mitigate catastrophic forgetting by generating stable, high-quality images through diffusion models. We design a new balanced sampler to help train the diffusion models to alleviate the common non-IID problem in FL, and introduce an entropy-based sample filtering technique from an information theory perspective to enhance the quality of generative samples. Finally, we integrate knowledge distillation with a feature-based regularization term for better knowledge transfer. Our framework does not incur additional communication costs compared to the baseline FedAvg method. Extensive experiments across multiple datasets demonstrate that our method significantly outperforms existing baselines, e.g., over a 4% improvement in average accuracy on the Tiny-ImageNet dataset.
Abstract（参考訳）: フェデレート・クラス・インクリメンタル・ラーニング(FCIL、Federated Class Incremental Learning)は、フェデレーション・ラーニング(FL)における新しいクラスを動的に導入する問題である。既存の手法では、FLのプライバシー問題に対処するために合成画像を生成するために、GAN(Generative Adversarial Network)を用いることが多い。しかしながら、GANは固有の不安定性と高い感度を示し、これらの手法の有効性を損なう。本稿では,拡散型生成メモリ(DFedDGM)を用いた新しいデータフリー・フェデレーションクラスインクリメンタルラーニングフレームワークを提案する。 FLにおける非IID問題を軽減するために拡散モデルの訓練を支援するための新しいバランスの取れたサンプルライザを設計し,情報理論の観点からエントロピーに基づくサンプルフィルタリング手法を導入し,生成サンプルの品質を向上させる。最後に,より優れた知識伝達を行うために,知識蒸留と特徴に基づく正規化項を統合する。本フレームワークは,FedAvg法と比較して通信コストを増大させるものではない。複数のデータセットにまたがる大規模な実験により、Tiny-ImageNetデータセットの平均精度が4%向上するなど、我々の手法は既存のベースラインを著しく上回ります。

関連論文リスト

Navigating Heterogeneity and Privacy in One-Shot Federated Learning with Diffusion Models [6.921070916461661]
フェデレートラーニング(FL)は、複数のクライアントがデータのプライバシを保持しながらモデルをまとめてトレーニングすることを可能にする。ワンショットフェデレーション学習は、コミュニケーションラウンドの削減、効率の向上、盗聴攻撃に対するセキュリティ向上によるソリューションとして登場した。
論文参考訳（メタデータ） (2024-05-02T17:26:52Z)
An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文参考訳（メタデータ） (2024-02-13T20:04:39Z)
Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
論文参考訳（メタデータ） (2023-12-10T18:49:59Z)
LLDiffusion: Learning Degradation Representations in Diffusion Models for Low-Light Image Enhancement [118.83316133601319]
現在の低照度画像強調(LLIE)の深層学習法は、通常、ペア化されたデータから学んだピクセルワイドマッピングに依存している。本稿では,拡散モデルを用いたLLIEの劣化認識学習手法を提案する。
論文参考訳（メタデータ） (2023-07-27T07:22:51Z)
Phoenix: A Federated Generative Diffusion Model [6.09170287691728]
大規模な集中型データセットで生成モデルをトレーニングすることで、データのプライバシやセキュリティ、アクセシビリティといった面での課題が発生する可能性がある。本稿では,フェデレートラーニング(FL)技術を用いて,複数のデータソースにまたがる拡散確率モデル(DDPM)の学習手法を提案する。
論文参考訳（メタデータ） (2023-06-07T01:43:09Z)
Depersonalized Federated Learning: Tackling Statistical Heterogeneity by Alternating Stochastic Gradient Descent [6.394263208820851]
フェデレート・ラーニング(FL)は、デバイスがデータ共有なしでインテリジェントな推論のために共通の機械学習(ML)モデルをトレーニングすることを可能にする。様々な共役者によって保持される生データは、常に不特定に分散される。本稿では,このプロセスのデスピードにより統計的に大幅に最適化できる新しいFLを提案する。
論文参考訳（メタデータ） (2022-10-07T10:30:39Z)
Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文参考訳（メタデータ） (2022-03-17T11:18:17Z)
Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文参考訳（メタデータ） (2021-11-28T19:03:39Z)
Neural Tangent Kernel Empowered Federated Learning [35.423391869982694]
フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに機械学習問題を共同で解決する、プライバシー保護パラダイムである。本稿では,ニューラルタンジェントカーネル(NTK)フレームワークを応用した新しいFLパラダイムを提案する。提案手法は,通信ラウンドの回数を桁違いに減らしながら,同じ精度を実現できることを示す。
論文参考訳（メタデータ） (2021-10-07T17:58:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。