Fugu-MT 論文翻訳(概要): FedMR: Federated Learning via Model Recombination

論文の概要: FedMR: Federated Learning via Model Recombination

arxiv url: http://arxiv.org/abs/2305.10730v1
Date: Thu, 18 May 2023 05:58:24 GMT
ステータス: 処理完了
システム内更新日: 2023-05-19 16:42:14.496285
Title: FedMR: Federated Learning via Model Recombination
Title（参考訳）: fedmr:モデル再結合による連合学習
Authors: Ming Hu and Zhihao Yue and Zhiwei Ling and Yihao Huang and Cheng Chen and Xian Wei and Yang Liu and Mingsong Chen
Abstract要約: Federated Learning(FL)は、クライアント間でのグローバルモデルトレーニングを、生データを妥協することなく実現します。我々はFedMR(Federated Model Recombination)という新しい効果的なFLパラダイムを提案する。従来のFedAvgベースの方法とは異なり、FedMRのクラウドサーバは、収集されたローカルモデルの各レイヤをシャッフルし、それらを再結合して、クライアントでのローカルトレーニングのための新しいモデルを達成する。
参考スコア（独自算出の注目度）: 12.641005501252467
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Although Federated Learning (FL) enables global model training across clients without compromising their raw data, existing Federated Averaging (FedAvg)-based methods suffer from the problem of low inference performance, especially for unevenly distributed data among clients. This is mainly because i) FedAvg initializes client models with the same global models, which makes the local training hard to escape from the local search for optimal solutions; and ii) by averaging model parameters in a coarse manner, FedAvg eclipses the individual characteristics of local models. To address such issues that strongly limit the inference capability of FL, we propose a novel and effective FL paradigm named FedMR (Federated Model Recombination). Unlike conventional FedAvg-based methods, the cloud server of FedMR shuffles each layer of collected local models and recombines them to achieve new models for local training on clients. Due to the diversified initialization models for clients coupled with fine-grained model recombination, FedMR can converge to a well-generalized global model for all the clients, leading to a superior inference performance. Experimental results show that, compared with state-of-the-art FL methods, FedMR can significantly improve inference accuracy in a quicker manner without exposing client privacy.
Abstract（参考訳）: Federated Learning(FL)は、クライアント間でのグローバルモデルトレーニングを、生データを妥協することなく実現しているが、既存のFederated Averaging(FedAvg)ベースのメソッドは、特にクライアント間の不均一な分散データに対して、低い推論性能の問題に悩まされている。これは主に一)FedAvgは、同じグローバルモデルでクライアントモデルを初期化することにより、ローカルな学習を最適解の探索から逃れるのを困難にする。二モデルパラメータを粗い方法で平均化することにより、FedAvgは局所モデルの個々の特性を上回ります。本稿では,FLの推論能力を強く制限する問題に対処するため,FedMR(Federated Model Recombination)という新しいFLパラダイムを提案する。従来のFedAvgベースの方法とは異なり、FedMRのクラウドサーバは、収集されたローカルモデルの各レイヤをシャッフルし、それらを再結合して、クライアントでのローカルトレーニングのための新しいモデルを達成する。細粒度のモデル組換えと結合したクライアントの初期化モデルにより、FedMRはすべてのクライアントに対して十分に一般化されたグローバルモデルに収束し、推論性能が向上する。実験の結果,最新のFL法と比較して,FedMRはクライアントのプライバシを公開することなく,推論精度を大幅に向上させることができることがわかった。

関連論文リスト

An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
論文参考訳（メタデータ） (2024-02-10T18:14:57Z)
Federated Skewed Label Learning with Logits Fusion [23.062650578266837]
フェデレートラーニング(FL)は、ローカルデータを送信することなく、複数のクライアント間で共有モデルを協調的にトレーニングすることを目的としている。本稿では,ロジットの校正により局所モデル間の最適化バイアスを補正するFedBalanceを提案する。提案手法は最先端手法に比べて平均精度が13%高い。
論文参考訳（メタデータ） (2023-11-14T14:37:33Z)
Federated Learning with Manifold Regularization and Normalized Update Reaggregation [22.885899072143676]
Federated Learning(FL)は、複数のクライアントが独自のデータセットを共有することなくグローバルモデルをトレーニングする、コラボレーティブな機械学習フレームワークである。 FLでは、クライアント間でのローカルデータによるモデルの不整合は、クライアント更新のほぼ直交性をもたらす。我々は、新しい多様体モデル融合方式と、負の影響を緩和する新たなグローバルアップデートを採用することにより、FedMRURを提案する。
論文参考訳（メタデータ） (2023-11-10T08:14:27Z)
Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文参考訳（メタデータ） (2023-08-20T04:41:01Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
FedSoup: Improving Generalization and Personalization in Federated Learning via Selective Model Interpolation [32.36334319329364]
クロスサイロフェデレーション学習(FL)は、データセンタに分散したデータセット上での機械学習モデルの開発を可能にする。近年の研究では、現在のFLアルゴリズムは、分布シフトに直面した場合、局所的な性能とグローバルな性能のトレードオフに直面している。地域とグローバルのパフォーマンスのトレードオフを最適化する新しいフェデレーションモデルスープ手法を提案する。
論文参考訳（メタデータ） (2023-07-20T00:07:29Z)
FedMR: Fedreated Learning via Model Recombination [7.404225808071622]
Federated Learning (FL)は、クライアント間でのグローバルモデルトレーニングを可能にする。既存のFLメソッドは、Federated Averaging(FedAvg)ベースのアグリゲーションに依存しています。本稿ではFedMR(Federating Model Recombination)という新しいFLパラダイムを提案する。
論文参考訳（メタデータ） (2022-08-16T11:30:19Z)
Federated and Generalized Person Re-identification through Domain and Feature Hallucinating [88.77196261300699]
人物再識別(re-ID)におけるフェデレーションドメイン一般化(FedDG)の問題について検討する。一般化された局所的・グローバルなモデルを学ぶための多様な特徴を創出する手法として,DFH (Domain and Feature Hallucinating) を提案する。提案手法は4つの大規模re-IDベンチマークにおいてFedDGの最先端性能を実現する。
論文参考訳（メタデータ） (2022-03-05T09:15:13Z)
A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文参考訳（メタデータ） (2021-02-03T08:36:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。