Fugu-MT 論文翻訳(概要): Is Aggregation the Only Choice? Federated Learning via Layer-wise Model Recombination

論文の概要: Is Aggregation the Only Choice? Federated Learning via Layer-wise Model Recombination

arxiv url: http://arxiv.org/abs/2305.10730v2
Date: Thu, 4 Jul 2024 18:22:01 GMT
ステータス: 処理完了
システム内更新日: 2024-07-09 03:12:39.041077
Title: Is Aggregation the Only Choice? Federated Learning via Layer-wise Model Recombination
Title（参考訳）: アグリゲーションは唯一の選択か?レイヤワイドモデル組換えによるフェデレーションラーニング
Authors: Ming Hu, Zhihao Yue, Xiaofei Xie, Cheng Chen, Yihao Huang, Xian Wei, Xiang Lian, Yang Liu, Mingsong Chen,
Abstract要約: 我々はFedMR(Federated Model Recombination)という新しいFLパラダイムを提案する。 FedMRの目標は、フラットな領域に向けてトレーニングされる組換えモデルをガイドすることである。最先端のFL手法と比較して、FedMRは各クライアントのプライバシを公開することなく、推論精度を大幅に向上させることができる。
参考スコア（独自算出の注目度）: 33.12164201146458
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Although Federated Learning (FL) enables global model training across clients without compromising their raw data, due to the unevenly distributed data among clients, existing Federated Averaging (FedAvg)-based methods suffer from the problem of low inference performance. Specifically, different data distributions among clients lead to various optimization directions of local models. Aggregating local models usually results in a low-generalized global model, which performs worse on most of the clients. To address the above issue, inspired by the observation from a geometric perspective that a well-generalized solution is located in a flat area rather than a sharp area, we propose a novel and heuristic FL paradigm named FedMR (Federated Model Recombination). The goal of FedMR is to guide the recombined models to be trained towards a flat area. Unlike conventional FedAvg-based methods, in FedMR, the cloud server recombines collected local models by shuffling each layer of them to generate multiple recombined models for local training on clients rather than an aggregated global model. Since the area of the flat area is larger than the sharp area, when local models are located in different areas, recombined models have a higher probability of locating in a flat area. When all recombined models are located in the same flat area, they are optimized towards the same direction. We theoretically analyze the convergence of model recombination. Experimental results show that, compared with state-of-the-art FL methods, FedMR can significantly improve the inference accuracy without exposing the privacy of each client.
Abstract（参考訳）: Federated Learning(FL)は、クライアント間で不均一に分散したデータのために、生データを妥協することなく、クライアント間でグローバルなモデルトレーニングを可能にするが、既存のFederated Averaging(FedAvg)ベースのメソッドは、推論性能の低い問題に悩まされている。具体的には、クライアント間でのデータ分散が異なるため、ローカルモデルの様々な最適化方向が導かれる。ローカルモデルの集約は通常、低一般化のグローバルモデルをもたらし、ほとんどのクライアントでパフォーマンスが悪化する。このような問題に対処するために、幾何学的な観点から、よく一般化された解が鋭い領域ではなく平坦な領域にあるという観察から着想を得たFedMR(Federated Model Recombination)という新しいヒューリスティックなFLパラダイムを提案する。 FedMRの目標は、フラットな領域に向けてトレーニングされる組換えモデルをガイドすることである。従来のFedAvgベースの方法とは異なり、FedMRでは、クラウドサーバが各レイヤをシャッフルしてローカルモデルを収集し、集約されたグローバルモデルではなく、クライアント上のローカルトレーニング用の複数の再結合モデルを生成する。平坦領域の面積はシャープ領域よりも大きいため、局所モデルが異なる領域にある場合、再結合されたモデルは平坦領域に配置する確率が高い。すべての組換えモデルが同じ平坦な領域にある場合、それらは同じ方向に最適化される。モデル組換えの収束を理論的に解析する。実験の結果,FedMRは最先端のFL法と比較して,各クライアントのプライバシを公開せずに推論精度を大幅に向上させることができることがわかった。

関連論文リスト

An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
論文参考訳（メタデータ） (2024-02-10T18:14:57Z)
Federated Skewed Label Learning with Logits Fusion [23.062650578266837]
フェデレートラーニング(FL)は、ローカルデータを送信することなく、複数のクライアント間で共有モデルを協調的にトレーニングすることを目的としている。本稿では,ロジットの校正により局所モデル間の最適化バイアスを補正するFedBalanceを提案する。提案手法は最先端手法に比べて平均精度が13%高い。
論文参考訳（メタデータ） (2023-11-14T14:37:33Z)
Federated Learning with Manifold Regularization and Normalized Update Reaggregation [22.885899072143676]
Federated Learning(FL)は、複数のクライアントが独自のデータセットを共有することなくグローバルモデルをトレーニングする、コラボレーティブな機械学習フレームワークである。 FLでは、クライアント間でのローカルデータによるモデルの不整合は、クライアント更新のほぼ直交性をもたらす。我々は、新しい多様体モデル融合方式と、負の影響を緩和する新たなグローバルアップデートを採用することにより、FedMRURを提案する。
論文参考訳（メタデータ） (2023-11-10T08:14:27Z)
Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文参考訳（メタデータ） (2023-08-20T04:41:01Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
FedSoup: Improving Generalization and Personalization in Federated Learning via Selective Model Interpolation [32.36334319329364]
クロスサイロフェデレーション学習(FL)は、データセンタに分散したデータセット上での機械学習モデルの開発を可能にする。近年の研究では、現在のFLアルゴリズムは、分布シフトに直面した場合、局所的な性能とグローバルな性能のトレードオフに直面している。地域とグローバルのパフォーマンスのトレードオフを最適化する新しいフェデレーションモデルスープ手法を提案する。
論文参考訳（メタデータ） (2023-07-20T00:07:29Z)
FedMR: Fedreated Learning via Model Recombination [7.404225808071622]
Federated Learning (FL)は、クライアント間でのグローバルモデルトレーニングを可能にする。既存のFLメソッドは、Federated Averaging(FedAvg)ベースのアグリゲーションに依存しています。本稿ではFedMR(Federating Model Recombination)という新しいFLパラダイムを提案する。
論文参考訳（メタデータ） (2022-08-16T11:30:19Z)
Federated and Generalized Person Re-identification through Domain and Feature Hallucinating [88.77196261300699]
人物再識別(re-ID)におけるフェデレーションドメイン一般化(FedDG)の問題について検討する。一般化された局所的・グローバルなモデルを学ぶための多様な特徴を創出する手法として,DFH (Domain and Feature Hallucinating) を提案する。提案手法は4つの大規模re-IDベンチマークにおいてFedDGの最先端性能を実現する。
論文参考訳（メタデータ） (2022-03-05T09:15:13Z)
A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文参考訳（メタデータ） (2021-02-03T08:36:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。