論文の概要: FedCross: Towards Accurate Federated Learning via Multi-Model Cross
Aggregation
- arxiv url: http://arxiv.org/abs/2210.08285v1
- Date: Sat, 15 Oct 2022 13:12:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-18 20:23:16.798699
- Title: FedCross: Towards Accurate Federated Learning via Multi-Model Cross
Aggregation
- Title（参考訳）: FedCross: マルチモデルクロスアグリゲーションによる正確なフェデレーション学習を目指して
- Authors: Ming Hu, Peiheng Zhou, Zhihao Yue, Zhiwei Ling, Yihao Huang, Yang Liu,
Mingsong Chen
- Abstract要約: フェデレートラーニング(FL)は、データサイロ問題に対処するための有望な分散機械学習パラダイムであると考えられている。
本稿では,FedCrossという名前の効率的なFLフレームワークを提案する。
FLトレーニングの各ラウンドでは、FedCrossはモデル類似性のガイダンスの下で重み付き融合を行うために、小さな中間モデルのセットを使用する。
- 参考スコア（独自算出の注目度）: 8.57349615028429
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to the remarkable performance in preserving data privacy for
decentralized data scenarios, Federated Learning (FL) has been considered as a
promising distributed machine learning paradigm to deal with data silos
problems. Typically, conventional FL approaches adopts a one-to-multi training
scheme, where the cloud server keeps only one single global model for all the
involved clients for the purpose of model aggregation. However, this scheme
suffers from inferior classification performance, since only one global model
cannot always accommodate all the incompatible convergence directions of local
models, resulting in a low convergence rate and classification accuracy. To
address this issue, this paper presents an efficient FL framework named
FedCross, which adopts a novel multi-to-multi FL training scheme based on our
proposed similarity-based multi-model cross aggregation method. Unlike
traditional FL methods, in each round of FL training, FedCross uses a small set
of distinct intermediate models to conduct weighted fusion under the guidance
of model similarities. In this way, the intermediate models used by FedCross
can sufficiently respect the convergence characteristics of clients, thus
leading to much fewer conflicts in tuning the convergence directions of
clients. Finally, in the deployment stage, FedCross forms a global model for
all the clients by performing the federated averaging on the trained immediate
models.
- Abstract（参考訳）: 分散データシナリオにおけるデータプライバシの保存における顕著なパフォーマンスのため、フェデレートラーニング(FL)は、データサイロ問題に対処するための有望な分散機械学習パラダイムとみなされてきた。
通常、従来のFLアプローチでは、1対マルチのトレーニングスキームを採用しており、クラウドサーバはモデルアグリゲーションのために、すべてのクライアントに対して単一のグローバルモデルのみを保持する。
しかし、このスキームは、局所モデルの互換性のないすべての収束方向を常に満たさない1つのグローバルモデルのみが、収束率と分類精度が低いため、分類性能に劣る。
そこで本稿では,提案する類似性に基づくマルチモデルクロスアグリゲーション法に基づいて,新しい複数対複数flトレーニング方式を採用するfeedcrossという効率的なflフレームワークを提案する。
従来のFL法とは異なり、各ラウンドのFL訓練では、FedCrossはモデル類似性のガイダンスの下で重み付き融合を行うために、小さな異なる中間モデルを使用する。
このようにして、FedCrossが使用する中間モデルは、クライアントの収束特性を十分に尊重することができ、クライアントの収束方向をチューニングする際の競合ははるかに少ない。
最後に、デプロイメント段階では、FedCrossは訓練済みの即時モデルでフェデレーション平均化を実行することで、すべてのクライアントのグローバルモデルを形成する。
関連論文リスト
- Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T11:01:10Z) - Towards More Suitable Personalization in Federated Learning via
Decentralized Partial Model Training [67.67045085186797]
既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。
共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。
共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
論文 参考訳（メタデータ） (2023-05-24T13:52:18Z) - FedMR: Fedreated Learning via Model Recombination [7.404225808071622]
Federated Learning (FL)は、クライアント間でのグローバルモデルトレーニングを可能にする。
既存のFLメソッドは、Federated Averaging(FedAvg)ベースのアグリゲーションに依存しています。
本稿ではFedMR(Federating Model Recombination)という新しいFLパラダイムを提案する。
論文 参考訳（メタデータ） (2022-08-16T11:30:19Z) - Multi-Model Federated Learning with Provable Guarantees [19.470024548995717]
Federated Learning (FL) は分散学習の亜種であり、デバイスは中央サーバや互いにデータを共有せずにモデルを学習する。
多モデルエッジFLとして,クライアントの共通プールを用いたフェデレーション設定において,複数の独立クライアントの処理を同時に参照する。
論文 参考訳（メタデータ） (2022-07-09T19:47:52Z) - Federated Cross Learning for Medical Image Segmentation [23.075410916203005]
フェデレーテッド・ラーニング(FL)は、様々な臨床応用のために、異なる病院が所有する隔離された患者データを用いて、ディープラーニングモデルを協調的に訓練することができる。
FLの大きな問題は、独立して分散されていないデータ(非ID)を扱う際のパフォーマンス劣化である。
論文 参考訳（メタデータ） (2022-04-05T18:55:02Z) - Efficient Split-Mix Federated Learning for On-Demand and In-Situ
Customization [107.72786199113183]
フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。
本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
論文 参考訳（メタデータ） (2022-03-18T04:58:34Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - FedCAT: Towards Accurate Federated Learning via Device Concatenation [4.416919766772866]
Federated Learning(FL)は、すべてのデバイスが、ローカルデータのプライバシを公開することなく、グローバルモデルを協調的にトレーニングすることを可能にする。
非IIDシナリオでは、データの不均一性に起因する重みのばらつきにより、FLモデルの分類精度が大幅に低下する。
本稿では,Fed-Cat という新しいFLアプローチを導入し,提案したデバイス選択戦略とデバイス結合に基づく局所学習手法に基づいて,高精度なモデル精度を実現する。
論文 参考訳（メタデータ） (2022-02-23T10:08:43Z) - Multi-Center Federated Learning [62.32725938999433]
フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。
単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。
本稿では,新しいマルチセンターアグリゲーション機構を提案する。
論文 参考訳（メタデータ） (2021-08-19T12:20:31Z) - Personalized Federated Learning with Clustered Generalization [16.178571176116073]
学習環境における非I.D.データの困難な問題に対処することを目的とした,近年のパーソナライズドラーニング(PFL)について検討する。
訓練対象におけるPFL法と従来のFL法の主な違い
本稿では,FLにおける統計的不均一性の問題に対処するため,クラスタ化一般化という新しい概念を提案する。
論文 参考訳（メタデータ） (2021-06-24T14:17:00Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳（メタデータ） (2021-02-03T08:36:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。