論文の概要: An Element-Wise Weights Aggregation Method for Federated Learning
- arxiv url: http://arxiv.org/abs/2404.15919v1
- Date: Wed, 24 Apr 2024 15:16:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 18:51:25.129827
- Title: An Element-Wise Weights Aggregation Method for Federated Learning
- Title(参考訳): フェデレーション学習のための要素重量集約法
- Authors: Yi Hu, Hanchi Ren, Chen Hu, Jingjing Deng, Xianghua Xie,
- Abstract要約: フェデレートラーニングのための革新的要素量集約法(EWWA-FL)を提案する。
EWWA-FLは、個々の要素のレベルでグローバルモデルに局所的な重みを集約し、各クライアントが学習プロセスに要素的に貢献することを可能にする。
各クライアントのユニークなデータセット特性を考慮して、EWWA-FLはグローバルモデルの堅牢性を異なるデータセットに拡張する。
- 参考スコア(独自算出の注目度): 11.9232569348563
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) is a powerful Machine Learning (ML) paradigm that enables distributed clients to collaboratively learn a shared global model while keeping the data on the original device, thereby preserving privacy. A central challenge in FL is the effective aggregation of local model weights from disparate and potentially unbalanced participating clients. Existing methods often treat each client indiscriminately, applying a single proportion to the entire local model. However, it is empirically advantageous for each weight to be assigned a specific proportion. This paper introduces an innovative Element-Wise Weights Aggregation Method for Federated Learning (EWWA-FL) aimed at optimizing learning performance and accelerating convergence speed. Unlike traditional FL approaches, EWWA-FL aggregates local weights to the global model at the level of individual elements, thereby allowing each participating client to make element-wise contributions to the learning process. By taking into account the unique dataset characteristics of each client, EWWA-FL enhances the robustness of the global model to different datasets while also achieving rapid convergence. The method is flexible enough to employ various weighting strategies. Through comprehensive experiments, we demonstrate the advanced capabilities of EWWA-FL, showing significant improvements in both accuracy and convergence speed across a range of backbones and benchmarks.
- Abstract(参考訳): フェデレートラーニング(FL)は強力な機械学習(ML)パラダイムであり、分散クライアントが元のデバイスにデータを保存しながら共有グローバルモデルを共同で学習し、プライバシを保存することができる。
FLにおける中心的な課題は、異なる、潜在的にバランスの取れていないクライアントからの局所的なモデルウェイトを効果的に集約することである。
既存のメソッドはしばしば各クライアントを無差別に扱い、ローカルモデル全体に対して単一の比率を適用する。
しかし、それぞれの重量が特定の割合に割り当てられるのは経験的に有利である。
本稿では,学習性能の最適化と収束速度の高速化を目的とした,新しい要素量集約法(EWWA-FL)を提案する。
従来のFLアプローチとは異なり、EWWA-FLは各要素のレベルでグローバルモデルに局所的な重みを集約し、各クライアントが学習プロセスに要素的に貢献できるようにする。
各クライアントのユニークなデータセット特性を考慮して、EWWA-FLはグローバルモデルのロバスト性を異なるデータセットに拡張するとともに、迅速な収束を実現している。
この方法は様々な重み付け戦略を採用するのに十分な柔軟性がある。
総合的な実験を通じて,EWWA-FLの高度な性能を実証し,様々なバックボーンとベンチマークの精度と収束速度の両面で有意な改善を示した。
関連論文リスト
- FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳(メタデータ) (2024-02-13T20:04:39Z) - Dynamic Fair Federated Learning Based on Reinforcement Learning [19.033986978896074]
フェデレートラーニングは、ローカルデータサンプルを共有することなく、デバイスのグループ間でグローバルモデルの協調トレーニングと最適化を可能にする。
DQFFLと呼ばれる強化学習を伴う動的qフェアネスフェデレーション学習アルゴリズムを提案する。
我々のDQFFLは、全体的な性能、公平性、収束速度において最先端の手法より優れています。
論文 参考訳(メタデータ) (2023-11-02T03:05:40Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - FedJETs: Efficient Just-In-Time Personalization with Federated Mixture
of Experts [48.78037006856208]
FedJETsは、Federated Learning(FL)セットアップ内でMixture-of-Experts(MoE)フレームワークを使用することで、新しいソリューションである。
我々の方法は、クライアントの多様性を活用して、クラスのサブセットの異なる専門家を訓練し、最も関係のある専門家に入力をルーティングするゲーティング機能を提供します。
我々の手法は、競争力のあるゼロショット性能を維持しながら、アートFL設定時の精度を最大18%向上させることができる。
論文 参考訳(メタデータ) (2023-06-14T15:47:52Z) - Revisiting Weighted Aggregation in Federated Learning with Neural
Networks [5.779987217952073]
フェデレートラーニング(FL)では、局所モデルの重み付けアグリゲーションを行い、グローバルモデルを生成する。
重みの和は1より小さくなり、大域的な重みの縮減効果と一般化の改善がもたらされる。
我々はFedLAWという名前の学習可能な集約重み付きフェデレート学習の効果的な方法を提案する。
論文 参考訳(メタデータ) (2023-02-14T07:52:21Z) - To Federate or Not To Federate: Incentivizing Client Participation in
Federated Learning [22.3101738137465]
フェデレートラーニング(FL)は、共通の機械学習モデルをトレーニングしようとするクライアントのグループ間のコラボレーションを促進する。
本稿では,グローバルモデルにインセンティブを与えるクライアントの割合を明示的に最大化する,IncFLと呼ばれるアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-05-30T04:03:31Z) - Heterogeneous Ensemble Knowledge Transfer for Training Large Models in
Federated Learning [22.310090483499035]
フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを中央集約サーバに公開することなく、協調的にモデルを学習することを可能にする。
既存のFLアルゴリズムの多くは、クライアントとサーバにまたがってデプロイされるのと同じアーキテクチャのモデルを必要とする。
本稿では,Fed-ETと呼ばれる新しいアンサンブル知識伝達手法を提案する。
論文 参考訳(メタデータ) (2022-04-27T05:18:32Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳(メタデータ) (2022-03-17T11:18:17Z) - Federated Multi-Task Learning under a Mixture of Distributions [10.00087964926414]
Federated Learning(FL)は、機械学習モデルのデバイス上での協調トレーニングのためのフレームワークである。
FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、与えられたクライアントに対して任意に悪いかもしれない。
我々は,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討した。
論文 参考訳(メタデータ) (2021-08-23T15:47:53Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳(メタデータ) (2021-04-27T18:23:54Z) - WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。
本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文 参考訳(メタデータ) (2020-08-13T04:26:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。