論文の概要: SemiDFL: A Semi-Supervised Paradigm for Decentralized Federated Learning
- arxiv url: http://arxiv.org/abs/2412.13589v1
- Date: Wed, 18 Dec 2024 08:12:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-19 16:48:34.783744
- Title: SemiDFL: A Semi-Supervised Paradigm for Decentralized Federated Learning
- Title（参考訳）: SemiDFL: 分散学習のための半監督パラダイム
- Authors: Xinyang Liu, Pengchao Han, Xuan Li, Bo Liu,
- Abstract要約: 分散連合学習(DFL)は,中央サーバに頼らずに,接続されたクライアント間の協調モデルトレーニングを実現する。
DFLに関する既存の作業の多くは、各クライアントがローカルトレーニングに十分なラベル付きデータを持っていることを前提として、教師付き学習に重点を置いている。
そこで本研究では,データ空間とモデル空間のコンセンサスを確立することで,SSLシナリオにおけるDFL性能を向上させる,最初の半教師付きDFL手法であるSemiDFLを提案する。
- 参考スコア（独自算出の注目度）: 12.542161138042632
- License:
- Abstract: Decentralized federated learning (DFL) realizes cooperative model training among connected clients without relying on a central server, thereby mitigating communication bottlenecks and eliminating the single-point failure issue present in centralized federated learning (CFL). Most existing work on DFL focuses on supervised learning, assuming each client possesses sufficient labeled data for local training. However, in real-world applications, much of the data is unlabeled. We address this by considering a challenging yet practical semisupervised learning (SSL) scenario in DFL, where clients may have varying data sources: some with few labeled samples, some with purely unlabeled data, and others with both. In this work, we propose SemiDFL, the first semi-supervised DFL method that enhances DFL performance in SSL scenarios by establishing a consensus in both data and model spaces. Specifically, we utilize neighborhood information to improve the quality of pseudo-labeling, which is crucial for effectively leveraging unlabeled data. We then design a consensusbased diffusion model to generate synthesized data, which is used in combination with pseudo-labeled data to create mixed datasets. Additionally, we develop an adaptive aggregation method that leverages the model accuracy of synthesized data to further enhance SemiDFL performance. Through extensive experimentation, we demonstrate the remarkable performance superiority of the proposed DFL-Semi method over existing CFL and DFL schemes in both IID and non-IID SSL scenarios.
- Abstract（参考訳）: 分散フェデレーション学習(DFL)は、中央サーバに頼ることなく、接続クライアント間の協調モデルトレーニングを実現し、通信ボトルネックを軽減し、集中フェデレーション学習(CFL)に存在する単一障害問題を解消する。
DFLに関する既存の作業の多くは、各クライアントがローカルトレーニングに十分なラベル付きデータを持っていることを前提として、教師付き学習に重点を置いている。
しかし、現実世界のアプリケーションでは、多くのデータがラベル付けされていない。
DFLでは、いくつかのラベル付きサンプル、純粋にラベル付けされていないデータ、および両方を含む、クライアントがさまざまなデータソースを持つ可能性がある。
そこで本研究では,データとモデル空間のコンセンサスを確立することで,SSLシナリオにおけるDFL性能を向上させる,初めての半教師付きDFL手法であるSemiDFLを提案する。
具体的には、近隣情報を利用して擬似ラベルの質を向上し、未ラベルデータの有効活用に不可欠である。
次に、合成データを生成するためのコンセンサスに基づく拡散モデルを設計し、擬似ラベル付きデータと組み合わせて混合データセットを作成する。
さらに,合成データのモデル精度を活用して,SemiDFLの性能をさらに向上するアダプティブアグリゲーション手法を開発した。
IIDおよび非IIDのSSLシナリオにおいて,既存のCFLおよびDFL方式よりも優れた性能を示す。
関連論文リスト
- UA-PDFL: A Personalized Approach for Decentralized Federated Learning [5.065947993017158]
フェデレートラーニング(Federated Learning, FL)は、データ漏洩なしにグローバルモデルを協調的に学習するように設計された、プライバシ保護機械学習パラダイムである。
この問題を軽減するために、分散統合学習(DFL)が提案され、すべてのクライアントが中央サーバなしでピアツーピア通信を行う。
我々は,DFLにおける非IID課題に対処するため,UA-PDFLという,分散化された分散学習フレームワークを支援する新しい単位表現を提案する。
論文 参考訳（メタデータ） (2024-12-16T11:27:35Z) - De-VertiFL: A Solution for Decentralized Vertical Federated Learning [7.877130417748362]
この研究は、分散VFL設定でモデルをトレーニングするための新しいソリューションであるDe-VertiFLを紹介している。
De-VertiFLは、新しいネットワークアーキテクチャディストリビューション、革新的な知識交換スキーム、分散フェデレーショントレーニングプロセスを導入することで貢献する。
その結果、De-VertiFLは一般的にF1スコアのパフォーマンスにおいて最先端のメソッドを上回り、分散化とプライバシ保護のフレームワークを維持していることがわかった。
論文 参考訳（メタデータ） (2024-10-08T15:31:10Z) - FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。
クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。
本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-29T11:28:06Z) - Semi-Federated Learning: Convergence Analysis and Optimization of A
Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。
我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文 参考訳（メタデータ） (2023-10-04T03:32:39Z) - PFL-GAN: When Client Heterogeneity Meets Generative Models in
Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。
PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。
いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文 参考訳（メタデータ） (2023-08-23T22:38:35Z) - DFedADMM: Dual Constraints Controlled Model Inconsistency for
Decentralized Federated Learning [52.83811558753284]
分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。
既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
論文 参考訳（メタデータ） (2023-08-16T11:22:36Z) - SemiSFL: Split Federated Learning on Unlabeled and Non-IID Data [34.49090830845118]
フェデレートラーニング(FL)は、複数のクライアントがネットワークエッジでプライベートデータ上で機械学習モデルを協調的にトレーニングできるようにするためのものだ。
クラスタリング正規化を取り入れて,ラベルなしおよび非IIDクライアントデータでSFLを実行する,Semi-supervised SFLシステムを提案する。
本システムは,訓練時間の3.8倍の高速化を実現し,目標精度を達成しつつ通信コストを約70.3%削減し,非IIDシナリオで最大5.8%の精度向上を実現する。
論文 参考訳（メタデータ） (2023-07-29T02:35:37Z) - Stochastic Clustered Federated Learning [21.811496586350653]
本稿では,一般の非IID問題に対する新しいクラスタ化フェデレーション学習手法であるStoCFLを提案する。
詳細は、StoCFLは、任意の割合のクライアント参加と新しく加入したクライアントをサポートする柔軟なCFLフレームワークを実装しています。
その結果,StoCFLはクラスタ数の不明な場合でも,有望なクラスタ結果が得られることがわかった。
論文 参考訳（メタデータ） (2023-03-02T01:39:16Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
フェデレートラーニング(FL)は異種分散データに対して脆弱である。
この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。
既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。
我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
論文 参考訳（メタデータ） (2022-01-27T08:43:11Z) - Multi-Center Federated Learning [62.32725938999433]
フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。
単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。
本稿では,新しいマルチセンターアグリゲーション機構を提案する。
論文 参考訳（メタデータ） (2021-08-19T12:20:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。