論文の概要: FedBiP: Heterogeneous One-Shot Federated Learning with Personalized Latent Diffusion Models

• arxiv url: http://arxiv.org/abs/2410.04810v1
• Date: Mon, 7 Oct 2024 07:45:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 01:47:52.537631
• Title: FedBiP: Heterogeneous One-Shot Federated Learning with Personalized Latent Diffusion Models
• Title（参考訳）: FedBiP:パーソナライズされた潜在拡散モデルによる不均一なワンショットフェデレーション学習
• Authors: Haokun Chen, Hang Li, Yao Zhang, Gengyuan Zhang, Jinhe Bi, Philip Torr, Jindong Gu, Denis Krompass, Volker Tresp,
• Abstract要約: 特別な分散機械学習パラダイムであるOne-Shot Federated Learning (OSFL)が最近注目を集めている。 現在の手法では,リアルタイムOSFLシステムに適用する場合,クライアントデータの不均一性やデータ量制限による課題に直面している。 本稿では,事前学習したLCMをインスタンスレベルと概念レベルでパーソナライズするFederated Bi-Level Personalization (FedBiP)を提案する。
• 参考スコア（独自算出の注目度）: 37.76576626976729
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One-Shot Federated Learning (OSFL), a special decentralized machine learning paradigm, has recently gained significant attention. OSFL requires only a single round of client data or model upload, which reduces communication costs and mitigates privacy threats compared to traditional FL. Despite these promising prospects, existing methods face challenges due to client data heterogeneity and limited data quantity when applied to real-world OSFL systems. Recently, Latent Diffusion Models (LDM) have shown remarkable advancements in synthesizing high-quality images through pretraining on large-scale datasets, thereby presenting a potential solution to overcome these issues. However, directly applying pretrained LDM to heterogeneous OSFL results in significant distribution shifts in synthetic data, leading to performance degradation in classification models trained on such data. This issue is particularly pronounced in rare domains, such as medical imaging, which are underrepresented in LDM's pretraining data. To address this challenge, we propose Federated Bi-Level Personalization (FedBiP), which personalizes the pretrained LDM at both instance-level and concept-level. Hereby, FedBiP synthesizes images following the client's local data distribution without compromising the privacy regulations. FedBiP is also the first approach to simultaneously address feature space heterogeneity and client data scarcity in OSFL. Our method is validated through extensive experiments on three OSFL benchmarks with feature space heterogeneity, as well as on challenging medical and satellite image datasets with label heterogeneity. The results demonstrate the effectiveness of FedBiP, which substantially outperforms other OSFL methods.
• Abstract（参考訳）: 特別な分散機械学習パラダイムであるOne-Shot Federated Learning (OSFL)が最近注目を集めている。 OSFLは1ラウンドのクライアントデータやモデルアップロードしか必要とせず、通信コストを削減し、従来のFLと比較してプライバシー上の脅威を軽減する。 これらの有望な期待にもかかわらず、既存の手法は、現実世界のOSFLシステムに適用する場合、クライアントデータの均一性とデータ量に制限があるため、課題に直面している。 近年、Latent Diffusion Models (LDM) は、大規模データセットの事前学習を通じて高品質な画像の合成において顕著な進歩を見せており、これらの問題を克服するための潜在的な解決策が提示されている。 しかし, 事前学習したLDMを異種OSFLに直接適用すると, 合成データの分布が著しく変化し, それらのデータに基づいてトレーニングした分類モデルの性能が低下する。 この問題は、医学的画像のようなまれな領域で特に顕著であり、LCMの事前訓練データでは不足している。 この課題に対処するため,FedBiP(Federated Bi-Level Personalization)を提案する。 これにより、FedBiPは、プライバシ規制を妥協することなく、クライアントのローカルデータ配信に続くイメージを合成する。 FedBiPはまた、OSFLにおける特徴空間の不均一性とクライアントデータの不足に同時に対処する最初のアプローチである。 提案手法は,特徴空間の不均一性を持つ3つのOSFLベンチマークと,ラベル不均一性を持つ医用・衛星画像データセットを用いた広範囲な実験により検証された。 その結果,他のOSFL法よりも優れたFedBiPの有効性が示された。

関連論文リスト

• FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
  フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。 クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。 本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:28:06Z)
• Stable Diffusion-based Data Augmentation for Federated Learning with Non-IID Data [9.045647166114916]
  フェデレートラーニング(FL)は、分散的かつ協調的なモデルトレーニングのための有望なパラダイムである。 FLは、非独立分散(Non-IID)データ分散に直面すると、パフォーマンスの大幅な低下と収束性の低下に悩まされる。 我々は、最先端のテキスト・ツー・イメージ基盤モデルの強力な能力を活用する新しいアプローチであるGen-FedSDを紹介する。
  論文  参考訳（メタデータ） (2024-05-13T16:57:48Z)
• Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
  コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。 古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2023-12-10T18:49:59Z)
• One-Shot Federated Learning with Classifier-Guided Diffusion Models [44.604485649167216]
  ワンショット・フェデレーション・ラーニング (OSFL) は, 通信コストの低さから近年注目されている。 本稿では,OSFLに拡散モデルがもたらす新たな機会を探求し,FedCADOを提案する。 FedCADOはクライアントのディストリビューションに準拠したデータを生成し、その後、サーバ上で集約されたモデルをトレーニングします。
  論文  参考訳（メタデータ） (2023-11-15T11:11:25Z)
• Exploring One-shot Semi-supervised Federated Learning with A Pre-trained Diffusion Model [40.83058938096914]
  我々は,フェデレート拡散にインスパイアされた半教師付き協調学習法であるFedDISCを提案する。 まず、ラベル付きサーバデータのプロトタイプを抽出し、これらのプロトタイプを用いてクライアントデータの擬似ラベルを予測する。 各カテゴリについて、クラスタセントロイドとドメイン固有の表現を計算し、それらの分布のセマンティックおよびスタイリスティックな情報を表す。 これらの表現はサーバに送信され、事前にトレーニングされたデータを使用して、クライアントの分布に応じて合成データセットを生成し、その上でグローバルモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-05-06T14:22:33Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Label-Efficient Self-Supervised Federated Learning for Tackling Data Heterogeneity in Medical Imaging [23.08596805950814]
  医用画像解析のための頑健でラベル効率の良い自己教師型FLフレームワークを提案する。 具体的には,既存のFLパイプラインに分散自己教師型事前学習パラダイムを導入する。 自己教師付きFLアルゴリズムは,分布外データに対してよく一般化し,限定ラベルのシナリオにおいてより効果的にフェデレーションモデルを学習することを示す。
  論文  参考訳（メタデータ） (2022-05-17T18:33:43Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。