論文の概要: Optimizing the Collaboration Structure in Cross-Silo Federated Learning
- arxiv url: http://arxiv.org/abs/2306.06508v1
- Date: Sat, 10 Jun 2023 18:59:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-13 18:35:48.722516
- Title: Optimizing the Collaboration Structure in Cross-Silo Federated Learning
- Title(参考訳): クロスサイロ連合学習における協調構造最適化
- Authors: Wenxuan Bao, Haohan Wang, Jun Wu, Jingrui He
- Abstract要約: フェデレートラーニング(FL)では、複数のクライアントが協力して機械学習モデルをトレーニングする。
クライアントのクラスタ化による非重複連立への負の移動を緩和する新しいFLフレームワークであるFedCollabを提案する。
以上の結果から,FedCollabは広い範囲のFLアルゴリズムにまたがる負の転送を効果的に軽減し,クラスタリングされたFLアルゴリズムを一貫して上回ることを示す。
- 参考スコア(独自算出の注目度): 43.388911479025225
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In federated learning (FL), multiple clients collaborate to train machine
learning models together while keeping their data decentralized. Through
utilizing more training data, FL suffers from the potential negative transfer
problem: the global FL model may even perform worse than the models trained
with local data only. In this paper, we propose FedCollab, a novel FL framework
that alleviates negative transfer by clustering clients into non-overlapping
coalitions based on their distribution distances and data quantities. As a
result, each client only collaborates with the clients having similar data
distributions, and tends to collaborate with more clients when it has less
data. We evaluate our framework with a variety of datasets, models, and types
of non-IIDness. Our results demonstrate that FedCollab effectively mitigates
negative transfer across a wide range of FL algorithms and consistently
outperforms other clustered FL algorithms.
- Abstract(参考訳): federated learning (fl)では、複数のクライアントが協力して、データを分散させながら機械学習モデルをトレーニングする。
FLは、より多くのトレーニングデータを利用することで、潜在的な負の転送問題に悩まされる:グローバルFLモデルは、ローカルデータのみでトレーニングされたモデルよりも、さらにパフォーマンスが悪くなるかもしれない。
本稿では,クライアントの分散距離とデータ量に基づく非重複連立へのクラスタリングによる負の転送を緩和する新しいFLフレームワークであるFedCollabを提案する。
その結果、各クライアントは、同様のデータ分散を持つクライアントとのみ協働し、データが少ない場合により多くのクライアントと協調する傾向がある。
我々は,このフレームワークを,データセット,モデル,および非IIDnessのタイプで評価する。
その結果,feedcollab は幅広い fl アルゴリズムにおける負の伝達を効果的に軽減し,他のクラスタ型 fl アルゴリズムを一貫して上回ることがわかった。
関連論文リスト
- FedClust: Optimizing Federated Learning on Non-IID Data through
Weight-Driven Client Clustering [28.057411252785176]
Federated Learning(FL)は、分散型デバイス上で、ローカルデータを公開せずにコラボレーティブなモデルトレーニングを可能にする、新興の分散機械学習パラダイムである。
本稿では,局所モデル重みとクライアントデータ分布の相関を利用した新しいCFL手法であるFedClustを提案する。
論文 参考訳(メタデータ) (2024-03-07T01:50:36Z) - Federated Learning Can Find Friends That Are Beneficial [11.183904362096753]
フェデレートラーニング(FL)では、クライアントデータの分散の性質と均一性は、機会と課題の両方を示します。
本稿では,FLトレーニングに参加するクライアントに対して適応的なアグリゲーション重みを割り当てるアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-02-07T17:46:37Z) - Contrastive encoder pre-training-based clustered federated learning for
heterogeneous data [17.580390632874046]
フェデレートラーニング(FL)は、分散クライアントがデータのプライバシを保持しながら、グローバルモデルを協調的にトレーニングすることを可能にする。
本稿では,モデル収束とFLシステム全体の性能を改善するために,CP-CFL(Contrative Pre-training-based Clustered Federated Learning)を提案する。
論文 参考訳(メタデータ) (2023-11-28T05:44:26Z) - PFL-GAN: When Client Heterogeneity Meets Generative Models in
Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。
PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。
いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文 参考訳(メタデータ) (2023-08-23T22:38:35Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - Federated Learning for Semantic Parsing: Task Formulation, Evaluation
Setup, New Algorithms [29.636944156801327]
複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。
Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。
より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
論文 参考訳(メタデータ) (2023-05-26T19:25:49Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳(メタデータ) (2022-07-20T04:55:18Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Blockchain Assisted Decentralized Federated Learning (BLADE-FL):
Performance Analysis and Resource Allocation [119.19061102064497]
ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。
提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。
遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
論文 参考訳(メタデータ) (2021-01-18T07:19:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。