論文の概要: FedCross: Towards Accurate Federated Learning via Multi-Model Cross-Aggregation
- arxiv url: http://arxiv.org/abs/2210.08285v2
- Date: Thu, 4 Jul 2024 17:58:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-09 03:30:46.997209
- Title: FedCross: Towards Accurate Federated Learning via Multi-Model Cross-Aggregation
- Title（参考訳）: FedCross: マルチモデルクロスアグリゲーションによる正確なフェデレーション学習を目指して
- Authors: Ming Hu, Peiheng Zhou, Zhihao Yue, Zhiwei Ling, Yihao Huang, Anran Li, Yang Liu, Xiang Lian, Mingsong Chen,
- Abstract要約: フェデレートラーニング(FL)は、ユーザのプライバシを損なうことなく、データサイロ問題に対処するために注目を集めている。
我々はFedCrossという名前の効率的なFLフレームワークを提案する。このフレームワークは、提案したマルチモデルクロスアグリゲーションアプローチに基づいた、新しいマルチツーマルチFLトレーニングスキームを使用する。
We show that FedCross can significantly improve FL accuracy in both IID and non-IID scenarios without causing additional communication overhead。
- 参考スコア（独自算出の注目度）: 16.019513233021435
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As a promising distributed machine learning paradigm, Federated Learning (FL) has attracted increasing attention to deal with data silo problems without compromising user privacy. By adopting the classic one-to-multi training scheme (i.e., FedAvg), where the cloud server dispatches one single global model to multiple involved clients, conventional FL methods can achieve collaborative model training without data sharing. However, since only one global model cannot always accommodate all the incompatible convergence directions of local models, existing FL approaches greatly suffer from inferior classification accuracy. To address this issue, we present an efficient FL framework named FedCross, which uses a novel multi-to-multi FL training scheme based on our proposed multi-model cross-aggregation approach. Unlike traditional FL methods, in each round of FL training, FedCross uses multiple middleware models to conduct weighted fusion individually. Since the middleware models used by FedCross can quickly converge into the same flat valley in terms of loss landscapes, the generated global model can achieve a well-generalization. Experimental results on various well-known datasets show that, compared with state-of-the-art FL methods, FedCross can significantly improve FL accuracy within both IID and non-IID scenarios without causing additional communication overhead.
- Abstract（参考訳）: 有望な分散機械学習パラダイムとして、フェデレートラーニング(FL)は、ユーザのプライバシを損なうことなく、データサイロの問題に対処するために注目を集めている。
クラウドサーバがひとつのグローバルモデルを複数のクライアントにディスパッチする古典的なワンツーマルチトレーニングスキーム(FedAvg)を採用することで、従来のFLメソッドはデータ共有なしで協調的なモデルトレーニングを実現することができる。
しかし、1つの大域的モデルだけが局所モデルのすべての不整合収束方向に対応できないため、既存のFLアプローチは分類精度が劣る。
この問題に対処するため、我々はFedCrossという効率的なFLフレームワークを提案し、このフレームワークは、提案したマルチモデル・クロスアグリゲーションアプローチに基づいた、新しいマルチツーマルチFLトレーニングスキームを用いている。
従来のFL法とは異なり、FL訓練の各ラウンドでは、FedCrossは複数のミドルウェアモデルを使用して個別に重み付き融合を行う。
FedCrossが使用するミドルウェアモデルは、損失景観の観点からは、すぐに同じ平らな谷に収束できるため、生成されたグローバルモデルは、十分に一般化できる。
様々なよく知られたデータセットの実験結果から、FedCrossは最先端のFL法と比較して、追加の通信オーバーヘッドを発生させることなく、IIDおよび非IIDシナリオのFL精度を著しく向上させることができることが示された。
関連論文リスト
- Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T11:01:10Z) - Towards More Suitable Personalization in Federated Learning via
Decentralized Partial Model Training [67.67045085186797]
既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。
共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。
共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
論文 参考訳（メタデータ） (2023-05-24T13:52:18Z) - FedMR: Fedreated Learning via Model Recombination [7.404225808071622]
Federated Learning (FL)は、クライアント間でのグローバルモデルトレーニングを可能にする。
既存のFLメソッドは、Federated Averaging(FedAvg)ベースのアグリゲーションに依存しています。
本稿ではFedMR(Federating Model Recombination)という新しいFLパラダイムを提案する。
論文 参考訳（メタデータ） (2022-08-16T11:30:19Z) - Multi-Model Federated Learning with Provable Guarantees [19.470024548995717]
Federated Learning (FL) は分散学習の亜種であり、デバイスは中央サーバや互いにデータを共有せずにモデルを学習する。
多モデルエッジFLとして,クライアントの共通プールを用いたフェデレーション設定において,複数の独立クライアントの処理を同時に参照する。
論文 参考訳（メタデータ） (2022-07-09T19:47:52Z) - Federated Cross Learning for Medical Image Segmentation [23.075410916203005]
フェデレーテッド・ラーニング(FL)は、様々な臨床応用のために、異なる病院が所有する隔離された患者データを用いて、ディープラーニングモデルを協調的に訓練することができる。
FLの大きな問題は、独立して分散されていないデータ(非ID)を扱う際のパフォーマンス劣化である。
論文 参考訳（メタデータ） (2022-04-05T18:55:02Z) - Efficient Split-Mix Federated Learning for On-Demand and In-Situ
Customization [107.72786199113183]
フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。
本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
論文 参考訳（メタデータ） (2022-03-18T04:58:34Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - FedCAT: Towards Accurate Federated Learning via Device Concatenation [4.416919766772866]
Federated Learning(FL)は、すべてのデバイスが、ローカルデータのプライバシを公開することなく、グローバルモデルを協調的にトレーニングすることを可能にする。
非IIDシナリオでは、データの不均一性に起因する重みのばらつきにより、FLモデルの分類精度が大幅に低下する。
本稿では,Fed-Cat という新しいFLアプローチを導入し,提案したデバイス選択戦略とデバイス結合に基づく局所学習手法に基づいて,高精度なモデル精度を実現する。
論文 参考訳（メタデータ） (2022-02-23T10:08:43Z) - Multi-Center Federated Learning [62.32725938999433]
フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。
単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。
本稿では,新しいマルチセンターアグリゲーション機構を提案する。
論文 参考訳（メタデータ） (2021-08-19T12:20:31Z) - Personalized Federated Learning with Clustered Generalization [16.178571176116073]
学習環境における非I.D.データの困難な問題に対処することを目的とした,近年のパーソナライズドラーニング(PFL)について検討する。
訓練対象におけるPFL法と従来のFL法の主な違い
本稿では,FLにおける統計的不均一性の問題に対処するため,クラスタ化一般化という新しい概念を提案する。
論文 参考訳（メタデータ） (2021-06-24T14:17:00Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳（メタデータ） (2021-02-03T08:36:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。