論文の概要: FedMerge: Federated Personalization via Model Merging

• arxiv url: http://arxiv.org/abs/2504.06768v1
• Date: Wed, 09 Apr 2025 10:44:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-10 13:05:44.367731
• Title: FedMerge: Federated Personalization via Model Merging
• Title（参考訳）: FedMerge: モデルマージによるフェデレーションパーソナライゼーション
• Authors: Shutong Chen, Tianyi Zhou, Guodong Long, Jing Jiang, Chengqi Zhang,
• Abstract要約: 1つのグローバルモデルでは、非IIDタスクや分散を多くのクライアントに提供するには不十分かもしれない。 我々は、複数のグローバルモデルをマージするだけで、クライアントごとにパーソナライズされたモデルを作成することができる新しいFedMergeのアプローチを提案する。 我々はFedMergeを、さまざまなタスクとデータタイプを持つ異なるドメインに適用した3つの異なる非IID設定で評価する。
• 参考スコア（独自算出の注目度）: 51.12769696559237
• License:
• Abstract: One global model in federated learning (FL) might not be sufficient to serve many clients with non-IID tasks and distributions. While there has been advances in FL to train multiple global models for better personalization, they only provide limited choices to clients so local finetuning is still indispensable. In this paper, we propose a novel ``FedMerge'' approach that can create a personalized model per client by simply merging multiple global models with automatically optimized and customized weights. In FedMerge, a few global models can serve many non-IID clients, even without further local finetuning. We formulate this problem as a joint optimization of global models and the merging weights for each client. Unlike existing FL approaches where the server broadcasts one or multiple global models to all clients, the server only needs to send a customized, merged model to each client. Moreover, instead of periodically interrupting the local training and re-initializing it to a global model, the merged model aligns better with each client's task and data distribution, smoothening the local-global gap between consecutive rounds caused by client drift. We evaluate FedMerge on three different non-IID settings applied to different domains with diverse tasks and data types, in which FedMerge consistently outperforms existing FL approaches, including clustering-based and mixture-of-experts (MoE) based methods.
• Abstract（参考訳）: フェデレートラーニング(FL)における1つのグローバルモデルでは、非IIDタスクや分散を多くのクライアントに提供するには不十分かもしれない。 FLでは、パーソナライゼーションを改善するために複数のグローバルモデルをトレーニングする技術が進歩しているが、クライアントに限られた選択肢しか提供していないため、局所的な微調整は依然として不可欠である。 本稿では、複数のグローバルモデルと自動最適化およびカスタマイズされた重み付けをマージすることで、クライアント毎にパーソナライズされたモデルを作成することができる新しい `FedMerge' アプローチを提案する。 FedMergeでは、いくつかのグローバルモデルが、さらに局所的な微調整をすることなく、多くの非IIDクライアントにサービスを提供することができる。 グローバルモデルと各クライアントのマージ重みの合同最適化としてこの問題を定式化する。 サーバが1つまたは複数のグローバルモデルをすべてのクライアントにブロードキャストする既存のFLアプローチとは異なり、サーバはそれぞれのクライアントにカスタマイズされたマージされたモデルを送信する必要がある。 さらに、局所的なトレーニングを定期的に中断し、それをグローバルモデルに再初期化する代わりに、マージモデルは各クライアントのタスクとデータ分散をより良く整合させ、クライアントドリフトによる連続ラウンド間の局所的なグローバルギャップを円滑にする。 我々はFedMergeを、さまざまなタスクやデータタイプを持つ異なるドメインに適用した3つの異なる非IID設定に基づいて評価する。

関連論文リスト

• Multi-Level Additive Modeling for Structured Non-IID Federated Learning [54.53672323071204]
  我々は、異種クライアント間のより良い知識共有のために、マルチレベル付加モデル(MAM)と呼ばれるマルチレベル構造で編成されたモデルを訓練する。 フェデレートMAM(FeMAM)では、各クライアントは各レベル毎に少なくとも1つのモデルに割り当てられ、そのパーソナライズされた予測は、各レベルに割り当てられたモデルの出力を合計する。 実験により、FeMAMは既存のクラスタリングFLおよびパーソナライズされたFLメソッドを様々な非IID設定で超越していることが示された。
  論文  参考訳（メタデータ） (2024-05-26T07:54:53Z)
• FAM: fast adaptive federated meta-learning [10.980548731600116]
  単一グローバルモデルの協調学習のための高速適応型メタラーニング(FAM)フレームワークを提案する。 スケルトンネットワークは各クライアントで成長し、ローカルデータから追加のクライアント固有のパラメータを学習することでパーソナライズされたモデルをトレーニングする。 パーソナライズされたクライアントモデルは、ローカルにトレーニングされたモデルよりも優れ、FAMメカニズムの有効性を実証した。
  論文  参考訳（メタデータ） (2023-08-26T22:54:45Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Personalized Federated Learning with Multi-branch Architecture [0.0]
  フェデレートラーニング(FL)は、複数のクライアントが相互に生データを公開することなく、協力的にモデルをトレーニングすることを可能にする。 ニューラルネットワークの各レイヤを複数のブランチに分割し,各ブランチにクライアント固有の重みを割り当てることで,パーソナライズを実現するマルチブランチアーキテクチャを用いた新しいPFL手法(pFedMB)を提案する。 CIFAR10およびCIFAR100データセットを用いて,pFedMBが最先端のPFL法よりも優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2022-11-15T06:30:57Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)
• Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
  そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。 基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。 この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
  論文  参考訳（メタデータ） (2020-12-15T19:30:29Z)
• Federated Mutual Learning [65.46254760557073]
  Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。 実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-06-27T09:35:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。