論文の概要: FedCross: Towards Accurate Federated Learning via Multi-Model Cross
Aggregation
- arxiv url: http://arxiv.org/abs/2210.08285v1
- Date: Sat, 15 Oct 2022 13:12:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-18 20:23:16.798699
- Title: FedCross: Towards Accurate Federated Learning via Multi-Model Cross
Aggregation
- Title(参考訳): FedCross: マルチモデルクロスアグリゲーションによる正確なフェデレーション学習を目指して
- Authors: Ming Hu, Peiheng Zhou, Zhihao Yue, Zhiwei Ling, Yihao Huang, Yang Liu,
Mingsong Chen
- Abstract要約: フェデレートラーニング(FL)は、データサイロ問題に対処するための有望な分散機械学習パラダイムであると考えられている。
本稿では,FedCrossという名前の効率的なFLフレームワークを提案する。
FLトレーニングの各ラウンドでは、FedCrossはモデル類似性のガイダンスの下で重み付き融合を行うために、小さな中間モデルのセットを使用する。
- 参考スコア(独自算出の注目度): 8.57349615028429
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to the remarkable performance in preserving data privacy for
decentralized data scenarios, Federated Learning (FL) has been considered as a
promising distributed machine learning paradigm to deal with data silos
problems. Typically, conventional FL approaches adopts a one-to-multi training
scheme, where the cloud server keeps only one single global model for all the
involved clients for the purpose of model aggregation. However, this scheme
suffers from inferior classification performance, since only one global model
cannot always accommodate all the incompatible convergence directions of local
models, resulting in a low convergence rate and classification accuracy. To
address this issue, this paper presents an efficient FL framework named
FedCross, which adopts a novel multi-to-multi FL training scheme based on our
proposed similarity-based multi-model cross aggregation method. Unlike
traditional FL methods, in each round of FL training, FedCross uses a small set
of distinct intermediate models to conduct weighted fusion under the guidance
of model similarities. In this way, the intermediate models used by FedCross
can sufficiently respect the convergence characteristics of clients, thus
leading to much fewer conflicts in tuning the convergence directions of
clients. Finally, in the deployment stage, FedCross forms a global model for
all the clients by performing the federated averaging on the trained immediate
models.
- Abstract(参考訳): 分散データシナリオにおけるデータプライバシの保存における顕著なパフォーマンスのため、フェデレートラーニング(FL)は、データサイロ問題に対処するための有望な分散機械学習パラダイムとみなされてきた。
通常、従来のFLアプローチでは、1対マルチのトレーニングスキームを採用しており、クラウドサーバはモデルアグリゲーションのために、すべてのクライアントに対して単一のグローバルモデルのみを保持する。
しかし、このスキームは、局所モデルの互換性のないすべての収束方向を常に満たさない1つのグローバルモデルのみが、収束率と分類精度が低いため、分類性能に劣る。
そこで本稿では,提案する類似性に基づくマルチモデルクロスアグリゲーション法に基づいて,新しい複数対複数flトレーニング方式を採用するfeedcrossという効率的なflフレームワークを提案する。
従来のFL法とは異なり、各ラウンドのFL訓練では、FedCrossはモデル類似性のガイダンスの下で重み付き融合を行うために、小さな異なる中間モデルを使用する。
このようにして、FedCrossが使用する中間モデルは、クライアントの収束特性を十分に尊重することができ、クライアントの収束方向をチューニングする際の競合ははるかに少ない。
最後に、デプロイメント段階では、FedCrossは訓練済みの即時モデルでフェデレーション平均化を実行することで、すべてのクライアントのグローバルモデルを形成する。
関連論文リスト
- Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳(メタデータ) (2023-11-12T11:01:10Z) - FedSoup: Improving Generalization and Personalization in Federated
Learning via Selective Model Interpolation [32.36334319329364]
クロスサイロフェデレーション学習(FL)は、データセンタに分散したデータセット上での機械学習モデルの開発を可能にする。
近年の研究では、現在のFLアルゴリズムは、分布シフトに直面した場合、局所的な性能とグローバルな性能のトレードオフに直面している。
地域とグローバルのパフォーマンスのトレードオフを最適化する新しいフェデレーションモデルスープ手法を提案する。
論文 参考訳(メタデータ) (2023-07-20T00:07:29Z) - Towards More Suitable Personalization in Federated Learning via
Decentralized Partial Model Training [67.67045085186797]
既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。
共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。
共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
論文 参考訳(メタデータ) (2023-05-24T13:52:18Z) - FedMR: Federated Learning via Model Recombination [12.641005501252467]
Federated Learning(FL)は、クライアント間でのグローバルモデルトレーニングを、生データを妥協することなく実現します。
我々はFedMR(Federated Model Recombination)という新しい効果的なFLパラダイムを提案する。
従来のFedAvgベースの方法とは異なり、FedMRのクラウドサーバは、収集されたローカルモデルの各レイヤをシャッフルし、それらを再結合して、クライアントでのローカルトレーニングのための新しいモデルを達成する。
論文 参考訳(メタデータ) (2023-05-18T05:58:24Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳(メタデータ) (2023-01-25T03:18:10Z) - FedMR: Fedreated Learning via Model Recombination [7.404225808071622]
Federated Learning (FL)は、クライアント間でのグローバルモデルトレーニングを可能にする。
既存のFLメソッドは、Federated Averaging(FedAvg)ベースのアグリゲーションに依存しています。
本稿ではFedMR(Federating Model Recombination)という新しいFLパラダイムを提案する。
論文 参考訳(メタデータ) (2022-08-16T11:30:19Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳(メタデータ) (2022-07-20T04:55:18Z) - Federated Multi-Task Learning under a Mixture of Distributions [10.00087964926414]
Federated Learning(FL)は、機械学習モデルのデバイス上での協調トレーニングのためのフレームワークである。
FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、与えられたクライアントに対して任意に悪いかもしれない。
我々は,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討した。
論文 参考訳(メタデータ) (2021-08-23T15:47:53Z) - Fed-ensemble: Improving Generalization through Model Ensembling in
Federated Learning [5.882234707363695]
Fed-ensembleがFederated Learning(FL)にモデルアンサンブルをもたらす
フェデアンサンブルは確立されたFL法で容易に利用することができる。
論文 参考訳(メタデータ) (2021-07-21T14:40:14Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳(メタデータ) (2021-02-03T08:36:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。