論文の概要: WAFFLE: Weighted Averaging for Personalized Federated Learning
- arxiv url: http://arxiv.org/abs/2110.06978v1
- Date: Wed, 13 Oct 2021 18:40:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-16 10:30:16.043447
- Title: WAFFLE: Weighted Averaging for Personalized Federated Learning
- Title（参考訳）: WAFFLE:個人化フェデレーション学習のための平均重み付け
- Authors: Martin Beaussart, Felix Grimberg, Mary-Anne Hartley, Martin Jaggi
- Abstract要約: WAFFLEは、SCAFFOLDに基づくパーソナライズされた協調機械学習アルゴリズムである。
WAFFLEは、クライアントのアップデート間のユークリッド距離を使用して、個々のコントリビューションを計測する。
本実験では, WAFFLE の有効性を他の方法と比較した。
- 参考スコア（独自算出の注目度）: 38.241216472571786
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In collaborative or federated learning, model personalization can be a very
effective strategy to deal with heterogeneous training data across clients. We
introduce WAFFLE (Weighted Averaging For Federated LEarning), a personalized
collaborative machine learning algorithm based on SCAFFOLD. SCAFFOLD uses
stochastic control variates to converge towards a model close to the globally
optimal model even in tasks where the distribution of data and labels across
clients is highly skewed. In contrast, WAFFLE uses the Euclidean distance
between clients' updates to weigh their individual contributions and thus
minimize the trained personalized model loss on the specific agent of interest.
Through a series of experiments, we compare our proposed new method to two
recent personalized federated learning methods, Weight Erosion and APFL, as
well as two global learning methods, federated averaging and SCAFFOLD. We
evaluate our method using two categories of non-identical client data
distributions (concept shift and label skew) on two benchmark image data sets,
MNIST and CIFAR10. Our experiments demonstrate the effectiveness of WAFFLE
compared with other methods, as it achieves or improves accuracy with faster
convergence.
- Abstract（参考訳）: 協調学習や連合学習では、モデルパーソナライゼーションは、クライアント間で異種トレーニングデータを扱うための非常に効果的な戦略である。
WAFFLE(Weighted Averaging For Federated LEarning)は、SCAFFOLDをベースとしたパーソナライズされた協調機械学習アルゴリズムである。
SCAFFOLDは、クライアント間のデータやラベルの分布が極めて歪んだタスクであっても、確率的制御変数を使用して、グローバルな最適モデルに近いモデルに収束する。
対照的にwaffleは、クライアントの更新間のユークリッド距離を使用して、個々のコントリビューションを計測し、特定のエージェントに対するパーソナライズされたモデル損失を最小限に抑える。
提案手法を,近年の2つの個人化フェデレーション学習手法である重みエロージョンとAPFL,および2つのグローバル学習手法であるフェデレーション平均化とSCAFFOLDと比較した。
本手法は,mnist と cifar10 の2つのベンチマーク画像データセット上で,非同一のクライアントデータ分布(概念シフトとラベルスキュー)の2つのカテゴリを用いて評価する。
本実験は, WAFFLEを他の手法と比較し, より高速な収束により精度を向上・向上することを示した。
関連論文リスト
- An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Federated Learning Can Find Friends That Are Advantageous [14.993730469216546]
フェデレートラーニング(FL)では、クライアントデータの分散の性質と均一性は、機会と課題の両方を示します。
本稿では,FLトレーニングに参加するクライアントに対して適応的なアグリゲーション重みを割り当てるアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-02-07T17:46:37Z) - Learn What You Need in Personalized Federated Learning [53.83081622573734]
$textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。
我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2024-01-16T12:45:15Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。
既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。
フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
論文 参考訳（メタデータ） (2023-06-25T13:38:51Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳（メタデータ） (2022-06-05T01:14:46Z) - Adapt to Adaptation: Learning Personalization for Cross-Silo Federated
Learning [6.0088002781256185]
従来のフェデレーション学習は、分散データによるクライアントのフェデレーションのためのグローバルモデルをトレーニングすることを目的としている。
非IIDデータセット間の分散シフトは、データヘテロジニティとしても知られ、この1つのグローバルモデルに適合するソリューションにしばしば挑戦する。
我々は、各クライアントが他のクライアントのモデルからどれだけの恩恵を受けることができるかを適応的に学習するパーソナライズされたクロスサイロFLフレームワークであるAPPLEを提案する。
論文 参考訳（メタデータ） (2021-10-15T22:23:14Z) - Unifying Distillation with Personalization in Federated Learning [1.8262547855491458]
Federated Learning(FL)は、クライアントがデータを共有せずに中央アグリゲータを通じて共同作業モデルを学習する分散プライバシ保護学習技術である。
この設定では、すべてのクライアントが単一の共通予測器(FedAvg)を学習する。
本稿では,2段階のパーソナライズされた学習アルゴリズムPersFLを用いてこの問題に対処する。
第1段階では、PersFLはFLトレーニングフェーズにおいて各クライアントの最適な教師モデルを見つけ、第2段階では、PersFLは有用な知識を抽出する。
論文 参考訳（メタデータ） (2021-05-31T17:54:29Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳（メタデータ） (2020-12-20T14:34:36Z) - CatFedAvg: Optimising Communication-efficiency and Classification
Accuracy in Federated Learning [2.2172881631608456]
そこで我々はCatFedAvgというフェデレート学習アルゴリズムを新たに導入した。
コミュニケーション効率は向上するが、NIST戦略のカテゴリカバレッジを用いて学習の質を向上させる。
実験の結果,FedAvgよりもネットワーク転送率が70%低いMデータセットでは,10%の絶対点精度が向上していることがわかった。
論文 参考訳（メタデータ） (2020-11-14T06:52:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。