論文の概要: One-Shot Federated Learning with Classifier-Guided Diffusion Models
- arxiv url: http://arxiv.org/abs/2311.08870v2
- Date: Thu, 16 Nov 2023 15:43:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 11:24:18.512188
- Title: One-Shot Federated Learning with Classifier-Guided Diffusion Models
- Title（参考訳）: 分類器誘導拡散モデルを用いたワンショットフェデレート学習
- Authors: Mingzhao Yang, Shangchao Su, Bin Li, Xiangyang Xue
- Abstract要約: ワンショット・フェデレーション・ラーニング (OSFL) は, 通信コストの低さから近年注目されている。
本稿では,OSFLに拡散モデルがもたらす新たな機会を探求し,FedCADOを提案する。
FedCADOはクライアントのディストリビューションに準拠したデータを生成し、その後、サーバ上で集約されたモデルをトレーニングします。
- 参考スコア（独自算出の注目度）: 44.604485649167216
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One-shot federated learning (OSFL) has gained attention in recent years due
to its low communication cost. However, most of the existing methods require
auxiliary datasets or training generators, which hinders their practicality in
real-world scenarios. In this paper, we explore the novel opportunities that
diffusion models bring to OSFL and propose FedCADO, utilizing guidance from
client classifiers to generate data that complies with clients' distributions
and subsequently training the aggregated model on the server. Specifically, our
method involves targeted optimizations in two aspects. On one hand, we
conditionally edit the randomly sampled initial noises, embedding them with
specified semantics and distributions, resulting in a significant improvement
in both the quality and stability of generation. On the other hand, we employ
the BN statistics from the classifiers to provide detailed guidance during
generation. These tailored optimizations enable us to limitlessly generate
datasets, which closely resemble the distribution and quality of the original
client dataset. Our method effectively handles the heterogeneous client models
and the problems of non-IID features or labels. In terms of privacy protection,
our method avoids training any generator or transferring any auxiliary
information on clients, eliminating any additional privacy leakage risks.
Leveraging the extensive knowledge stored in the pre-trained diffusion model,
the synthetic datasets can assist us in surpassing the knowledge limitations of
the client samples, resulting in aggregation models that even outperform the
performance ceiling of centralized training in some cases, which is
convincingly demonstrated in the sufficient quantification and visualization
experiments conducted on three large-scale multi-domain image datasets.
- Abstract（参考訳）: ワンショット・フェデレーション・ラーニング(OSFL)は通信コストの低さから近年注目されている。
しかし、既存の手法のほとんどは補助的なデータセットやトレーニングジェネレータを必要としており、現実のシナリオにおける現実性を妨げている。
本稿では,拡散モデルがOSFLにもたらす新たな機会を探求し,クライアント分類器からのガイダンスを利用してクライアントの分布に対応するデータを生成し,その後サーバ上で集約モデルを訓練するFedCADOを提案する。
具体的には,ターゲット最適化を2つの側面から行う。
一方、ランダムにサンプリングされた初期ノイズを条件付きで編集し、特定のセマンティクスと分布を組み込むことにより、生成の品質と安定性が大幅に向上した。
一方,分類器からのbn統計を用いて,世代間における詳細な指導を行う。
これらの最適化により、元のクライアントデータセットの分散と品質によく似たデータセットを無制限に生成できます。
本手法は異種クライアントモデルと非iid特徴やラベルの問題を効果的に処理する。
プライバシ保護の観点からは,クライアントへの補助情報転送やジェネレータのトレーニングを回避し,追加のプライバシ漏洩リスクを排除している。
事前訓練された拡散モデルに格納された広範な知識を活用することで、合成データセットは、クライアントサンプルの知識制限を克服するのに役立つ。その結果、いくつかのケースにおいて集中トレーニングのパフォーマンス天井を上回り、大規模な3つの画像データセットで実施された十分な定量化および可視化実験で確実に実証される集約モデルが得られる。
関連論文リスト
- Stable Diffusion-based Data Augmentation for Federated Learning with Non-IID Data [9.045647166114916]
フェデレートラーニング(FL)は、分散的かつ協調的なモデルトレーニングのための有望なパラダイムである。
FLは、非独立分散(Non-IID)データ分散に直面すると、パフォーマンスの大幅な低下と収束性の低下に悩まされる。
我々は、最先端のテキスト・ツー・イメージ基盤モデルの強力な能力を活用する新しいアプローチであるGen-FedSDを紹介する。
論文 参考訳（メタデータ） (2024-05-13T16:57:48Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳（メタデータ） (2024-02-13T20:04:39Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Leveraging Foundation Models to Improve Lightweight Clients in Federated
Learning [16.684749528240587]
Federated Learning(FL)は、世界中に散在するクライアントが機密データを漏らさずにグローバルモデルを共同で学習することを可能にする、分散トレーニングパラダイムである。
FLは、クライアント間での不均一なデータ分散という形で大きな課題に直面しており、パフォーマンスとロバスト性は低下している。
本稿では,軽量クライアントモデルの連合訓練を支援し,推論コストを低く抑えつつ,不均一なデータ設定下での性能を向上させる基礎モデル蒸留について紹介する。
論文 参考訳（メタデータ） (2023-11-14T19:10:56Z) - Adapter-based Selective Knowledge Distillation for Federated
Multi-domain Meeting Summarization [36.916155654985936]
会議要約は、利用者に凝縮した要約を提供するための有望な手法として登場した。
本稿では,適応型選択的知識蒸留法(AdaFedSelecKD)を提案する。
論文 参考訳（メタデータ） (2023-08-07T03:34:01Z) - Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-03T07:45:53Z) - Phoenix: A Federated Generative Diffusion Model [6.09170287691728]
大規模な集中型データセットで生成モデルをトレーニングすることで、データのプライバシやセキュリティ、アクセシビリティといった面での課題が発生する可能性がある。
本稿では,フェデレートラーニング(FL)技術を用いて,複数のデータソースにまたがる拡散確率モデル(DDPM)の学習手法を提案する。
論文 参考訳（メタデータ） (2023-06-07T01:43:09Z) - Exploring One-shot Semi-supervised Federated Learning with A Pre-trained Diffusion Model [40.83058938096914]
我々は,フェデレート拡散にインスパイアされた半教師付き協調学習法であるFedDISCを提案する。
まず、ラベル付きサーバデータのプロトタイプを抽出し、これらのプロトタイプを用いてクライアントデータの擬似ラベルを予測する。
各カテゴリについて、クラスタセントロイドとドメイン固有の表現を計算し、それらの分布のセマンティックおよびスタイリスティックな情報を表す。
これらの表現はサーバに送信され、事前にトレーニングされたデータを使用して、クライアントの分布に応じて合成データセットを生成し、その上でグローバルモデルをトレーニングする。
論文 参考訳（メタデータ） (2023-05-06T14:22:33Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。