論文の概要: Using Diffusion Models as Generative Replay in Continual Federated Learning -- What will Happen?

• arxiv url: http://arxiv.org/abs/2411.06618v1
• Date: Sun, 10 Nov 2024 22:48:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:07:34.280445
• Title: Using Diffusion Models as Generative Replay in Continual Federated Learning -- What will Happen?
• Title（参考訳）: 連続的フェデレーション学習における拡散モデルによる生成的リプレイ - 何が起こるのか?
• Authors: Yongsheng Mei, Liangqi Yuan, Dong-Jun Han, Kevin S. Chan, Christopher G. Brinton, Tian Lan,
• Abstract要約: 本稿では,分散学習環境における継続的学習の課題に対処するための新しいフレームワークであるDCFLを紹介する。 提案手法は条件拡散モデルのパワーを利用して,通信中の各ローカルデバイスで合成履歴データを生成する。
• 参考スコア（独自算出の注目度）: 28.465434174993007
• License:
• Abstract: Federated learning (FL) has become a cornerstone in decentralized learning, where, in many scenarios, the incoming data distribution will change dynamically over time, introducing continuous learning (CL) problems. This continual federated learning (CFL) task presents unique challenges, particularly regarding catastrophic forgetting and non-IID input data. Existing solutions include using a replay buffer to store historical data or leveraging generative adversarial networks. Nevertheless, motivated by recent advancements in the diffusion model for generative tasks, this paper introduces DCFL, a novel framework tailored to address the challenges of CFL in dynamic distributed learning environments. Our approach harnesses the power of the conditional diffusion model to generate synthetic historical data at each local device during communication, effectively mitigating latent shifts in dynamic data distribution inputs. We provide the convergence bound for the proposed CFL framework and demonstrate its promising performance across multiple datasets, showcasing its effectiveness in tackling the complexities of CFL tasks.
• Abstract（参考訳）: フェデレートラーニング(FL)は分散学習の基盤となり、多くのシナリオにおいて、入ってくるデータ分布は時間とともに動的に変化し、継続的ラーニング(CL)問題を導入します。 この連続的連合学習(CFL)タスクは、特に破滅的な忘れ物や非IID入力データに関して、ユニークな課題を提示する。 既存のソリューションには、リプレイバッファを使用して履歴データを保存したり、生成する敵ネットワークを利用する方法がある。 それにもかかわらず, 動的分散学習環境におけるCFLの課題に対処するための新しいフレームワークであるDCFLを紹介する。 提案手法は,通信中の各ローカルデバイスで合成履歴データを生成するための条件拡散モデルのパワーを活用し,動的データ分散入力における潜時変化を効果的に軽減する。 提案したCFLフレームワークの収束バウンダリを提供し、その有望な性能を複数のデータセットにわたって示し、CFLタスクの複雑さに対処する効果を示す。

関連論文リスト

• Diffusion-Driven Data Replay: A Novel Approach to Combat Forgetting in Federated Class Continual Learning [13.836798036474143]
  Federated Class Continual Learningにおける大きな課題は、破滅的な忘れ方だ。 本研究では拡散モデルに基づく新しいデータ再生手法を提案する。 我々の手法は既存のベースラインを大きく上回っている。
  論文  参考訳（メタデータ） (2024-09-02T10:07:24Z)
• Variational Bayes for Federated Continual Learning [38.11883572425234]
  フェデレートベイズニューラルネットワーク(Federated Bayesian Neural Network, FedBNN)は,すべてのクライアントに分散ベイズニューラルネットワークを用いた多目的かつ効率的なフレームワークである。 本手法は, 局所的および歴史的データ分布からの知識を単一モデルに連続的に統合し, 履歴分布の性能を維持しつつ, 新たなデータ分布から順応的に学習する。
  論文  参考訳（メタデータ） (2024-05-23T08:09:21Z)
• Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
  本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。 提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。 視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
  論文  参考訳（メタデータ） (2024-03-18T08:00:23Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Take History as a Mirror in Heterogeneous Federated Learning [9.187993085263209]
  フェデレートラーニング(FL)は、いくつかのクライアントが生データを開示することなく、機械学習モデルを協調的にトレーニングすることを可能にする。 本稿では,FedHist(Federated Historical Learning)と呼ばれる新しい非同期FLフレームワークを提案する。 FedHistは、非IIDデータと勾配の安定化によって引き起こされる課題に効果的に対処する。
  論文  参考訳（メタデータ） (2023-12-16T11:40:49Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• SlimFL: Federated Learning with Superposition Coding over Slimmable Neural Networks [56.68149211499535]
  フェデレートラーニング(FL)は、デバイスの分散コンピューティング機能を活用した効率的なコミュニケーションとコンピューティングのための重要な実現手段である。 本稿では、FLと幅調整可能なスリムブルニューラルネットワーク(SNN)を統合した新しい学習フレームワークを提案する。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2022-03-26T15:06:13Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• Spatio-Temporal Federated Learning for Massive Wireless Edge Networks [23.389249751372393]
  エッジサーバと多数のモバイルデバイス(クライアント)は、モバイルデバイスが収集した膨大なデータをエッジサーバに転送することなく、グローバルモデルを共同で学習する。 提案手法は,STFLに参加する予定の様々なモバイルデバイスからの学習更新の空間的および時間的相関を利用している。 収束性能を用いてSTFLの学習能力を研究するために,STFLの分析フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-27T16:46:45Z)
• Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
  この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。 学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。 我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
  論文  参考訳（メタデータ） (2021-05-03T07:23:39Z)
• Coded Computing for Federated Learning at the Edge [3.385874614913973]
  フェデレートラーニング(FL)は、クライアントデータを集中サーバに移行することなく、クライアントノードでローカルに生成されたデータからグローバルモデルをトレーニングすることを可能にする。 最近の研究は、MECサーバに冗長な計算を割り当てることで、トラグラーを緩和し、線形回帰タスクのトレーニングを高速化することを提案する。 我々は、CFLを分散非線形回帰および多出力ラベルによる分類問題に拡張する難題に対処するCodedFedLを開発した。
  論文  参考訳（メタデータ） (2020-07-07T08:20:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。