論文の概要: FedDWA: Personalized Federated Learning with Dynamic Weight Adjustment
- arxiv url: http://arxiv.org/abs/2305.06124v3
- Date: Sun, 16 Jul 2023 09:06:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-18 22:33:29.961619
- Title: FedDWA: Personalized Federated Learning with Dynamic Weight Adjustment
- Title（参考訳）: FedDWA: 動的重み調整による個人化フェデレーション学習
- Authors: Jiahao Liu, Jiang Wu, Jinyu Chen, Miao Hu, Yipeng Zhou, Di Wu
- Abstract要約: 本稿では,この問題を解決するために,emphFedDWA (Federated Learning with Dynamic Weight Adjustment) と呼ばれる新しいPFLアルゴリズムを提案する。
FedDWAは、クライアントから収集したモデルに基づいて、パーソナライズされたアグリゲーション重みを計算する。
我々は,5つの実データを用いて広範囲な実験を行い,FedDWAが通信トラフィックを大幅に削減し,最先端のアプローチよりもはるかに高いモデル精度を達成できることを実証した。
- 参考スコア（独自算出の注目度）: 20.72576355616359
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Different from conventional federated learning, personalized federated
learning (PFL) is able to train a customized model for each individual client
according to its unique requirement. The mainstream approach is to adopt a kind
of weighted aggregation method to generate personalized models, in which
weights are determined by the loss value or model parameters among different
clients. However, such kinds of methods require clients to download others'
models. It not only sheer increases communication traffic but also potentially
infringes data privacy. In this paper, we propose a new PFL algorithm called
\emph{FedDWA (Federated Learning with Dynamic Weight Adjustment)} to address
the above problem, which leverages the parameter server (PS) to compute
personalized aggregation weights based on collected models from clients. In
this way, FedDWA can capture similarities between clients with much less
communication overhead. More specifically, we formulate the PFL problem as an
optimization problem by minimizing the distance between personalized models and
guidance models, so as to customize aggregation weights for each client.
Guidance models are obtained by the local one-step ahead adaptation on
individual clients. Finally, we conduct extensive experiments using five real
datasets and the results demonstrate that FedDWA can significantly reduce the
communication traffic and achieve much higher model accuracy than the
state-of-the-art approaches.
- Abstract（参考訳）: 従来のフェデレーション学習とは異なり、パーソナライズド・フェデレーション・ラーニング(PFL)は個々のクライアントに対して独自の要求に応じてカスタマイズされたモデルをトレーニングすることができる。
メインストリームのアプローチは、異なるクライアント間の損失値やモデルパラメータによって重み付けが決定されるパーソナライズされたモデルを生成するために、重み付け集約方式の一種を採用することである。
しかし、この種の方法は、クライアントが他人のモデルをダウンロードする必要がある。
通信トラフィックを増加させるだけでなく、データプライバシーを侵害する可能性がある。
本稿では,パラメータサーバ(PS)を利用して,クライアントから収集したモデルに基づいてパーソナライズされたアグリゲーション重みを計算し,その問題に対処するため,新しいPFLアルゴリズムである \emph{FedDWA (Federated Learning with Dynamic Weight Adjustment)} を提案する。
このようにして、FedDWAは通信オーバーヘッドをはるかに少なくしてクライアント間の類似性をキャプチャできる。
具体的には、パーソナライズされたモデルとガイダンスモデルの距離を最小にすることで最適化問題としてPFL問題を定式化し、各クライアントの集約重みをカスタマイズする。
ガイダンスモデルは、個々のクライアントに対する1段階の事前適応によって得られる。
最後に,5つの実データを用いた広範囲な実験を行い,FedDWAが通信トラフィックを大幅に低減し,最先端の手法よりもはるかに高いモデル精度を実現することを示す。
関連論文リスト
- Personalized Hierarchical Split Federated Learning in Wireless Networks [24.664469755746463]
本稿では、パーソナライズ性能の向上を目的とした、パーソナライズされた階層分割型フェデレーション学習(PHSFL)アルゴリズムを提案する。
まず、モデル分割と階層モデル集約がグローバルモデルに与える影響を理解するために、広範囲な理論的解析を行う。
グローバルモデルがトレーニングされると、各クライアントを微調整してパーソナライズされたモデルを取得します。
論文 参考訳（メタデータ） (2024-11-09T02:41:53Z) - MAP: Model Aggregation and Personalization in Federated Learning with Incomplete Classes [49.22075916259368]
一部の実世界のアプリケーションでは、データサンプルは通常、ローカルデバイスに分散される。
本稿では,クライアントが不完全なクラスを所有する特別なI.I.D.シーンに焦点を当てる。
提案するMAPアルゴリズムは,FLにおけるアグリゲーションとパーソナライゼーションの目標を同時に達成できる。
論文 参考訳（メタデータ） (2024-04-14T12:22:42Z) - DA-PFL: Dynamic Affinity Aggregation for Personalized Federated Learning [13.393529840544117]
既存のパーソナライズされた学習モデルでは、学習モデルの性能を改善するために、類似したクライアントを同様のデータ分散で集約するのが好ましい。
本稿では,動的親和性に基づく個人化フェデレーション学習モデル(DA-PFL)を提案する。
論文 参考訳（メタデータ） (2024-03-14T11:12:10Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z) - Federated Learning of Shareable Bases for Personalization-Friendly Image
Classification [54.72892987840267]
FedBasisは、いくつかの共有可能なベースモデルの集合を学習し、リニアに組み合わせて、クライアント用のパーソナライズされたモデルを形成することができる。
具体的には、新しいクライアントの場合、モデルの重みではなく、小さな組み合わせ係数のみを学ぶ必要がある。
また、FedBasisの有効性と適用性を示すために、画像分類のためのより実用的なPFLテストベッドを提案する。
論文 参考訳（メタデータ） (2023-04-16T20:19:18Z) - Personalizing or Not: Dynamically Personalized Federated Learning with
Incentives [37.42347737911428]
個人データを共有せずにパーソナライズされたモデルを学習するためのパーソナライズド・フェデレーション・ラーニング(FL)を提案する。
パーソナライズレートは、パーソナライズされたモデルのトレーニングを希望する顧客の割合として測定され、フェデレーションされた設定に導入され、DyPFLを提案する。
この技術は、クライアントがローカルモデルをパーソナライズすることへのインセンティブを与えると同時に、より優れたパフォーマンスでグローバルモデルを採用できるようにする。
論文 参考訳（メタデータ） (2022-08-12T09:51:20Z) - No One Left Behind: Inclusive Federated Learning over Heterogeneous
Devices [79.16481453598266]
この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。
InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。
また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
論文 参考訳（メタデータ） (2022-02-16T13:03:27Z) - Parameterized Knowledge Transfer for Personalized Federated Learning [11.223753730705374]
異なるクライアントに対してパーソナライズされたモデルを採用するための新しいトレーニングフレームワークを提案する。
提案フレームワークは,パーソナライズされたモデルトレーニングを実現する最初のフェデレーション学習パラダイムであることが実証された。
論文 参考訳（メタデータ） (2021-11-04T13:41:45Z) - QuPeD: Quantized Personalization via Distillation with Applications to
Federated Learning [8.420943739336067]
統合学習(FL)は、複数のクライアントとサーバを協調的に使用しながら、単一のグローバルモデルをトレーニングすることを目的としている。
本稿では,集合的(個人化されたモデル圧縮)訓練を容易にする,テキスト化およびテキスト化FLアルゴリズムQuPeDを提案する。
数値的には、QuPeDは、さまざまな異種環境におけるクライアントの個人化FLメソッド、FedAvg、およびローカルトレーニングよりも優れていた。
論文 参考訳（メタデータ） (2021-07-29T10:55:45Z) - Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。
基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。
この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
論文 参考訳（メタデータ） (2020-12-15T19:30:29Z) - Federated Mutual Learning [65.46254760557073]
Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。
実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2020-06-27T09:35:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。