論文の概要: WeiAvg: Federated Learning Model Aggregation Promoting Data Diversity
- arxiv url: http://arxiv.org/abs/2305.16351v1
- Date: Wed, 24 May 2023 21:34:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 19:05:05.995968
- Title: WeiAvg: Federated Learning Model Aggregation Promoting Data Diversity
- Title(参考訳): WeiAvg: データ多様性を促進するフェデレーション学習モデル
- Authors: Fan Dong, Ali Abbasi, Steve Drew, Henry Leung, Xin Wang, Jiayu Zhou
- Abstract要約: フェデレーション学習は、IoT(Internet-of-Things)デバイスからの大規模プライベートエッジデータを活用するための、有望なプライバシ保護方法を提供する。
重要でしばしば見落とされがちな側面の1つは、参加者がデータから予測的な知識を提供し、学習したフェデレーションモデルの品質に影響を与えることである。
本稿では、高多様性クライアントからの更新を重視し、低多様性クライアントからの更新の影響を低減した重み付き平均化フレームワークを導入することにより、この問題に対処する新しいアプローチを提案する。
- 参考スコア(独自算出の注目度): 34.97283435398335
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning provides a promising privacy-preserving way for utilizing
large-scale private edge data from massive Internet-of-Things (IoT) devices.
While existing research extensively studied optimizing the learning process,
computing efficiency, and communication overhead, one important and often
overlooked aspect is that participants contribute predictive knowledge from
their data, impacting the quality of the federated models learned. While FedAvg
treats each client equally and assigns weight solely based on the number of
samples, the diversity of samples on each client could greatly affect the local
update performance and the final aggregated model. In this paper, we propose a
novel approach to address this issue by introducing a Weighted Averaging
(WeiAvg) framework that emphasizes updates from high-diversity clients and
diminishes the influence of those from low-diversity clients. Specifically, we
introduced a projection-based approximation method to estimate the diversity of
client data, instead of the computation of an entropy. We use the approximation
because the locally computed entropy may not be transmitted due to excess
privacy risk. Extensive experimental results show that WeiAvg converges faster
and achieves higher accuracy than the original FedAvg algorithm and FedProx.
- Abstract(参考訳): フェデレーション学習は、巨大なIoT(Internet-of-Things)デバイスからの大規模プライベートエッジデータを活用するための、有望なプライバシ保護方法を提供する。
既存の研究は学習プロセス、計算効率、コミュニケーションオーバーヘッドの最適化を幅広く研究しているが、重要でしばしば見過ごされる側面は、参加者がデータから予測的知識を提供し、学習した連合モデルの質に影響を与えることである。
FedAvgは各クライアントを均等に扱い、サンプル数だけに基づいて重みを割り当てるが、各クライアントのサンプルの多様性は、ローカル更新パフォーマンスと最終的な集約モデルに大きな影響を与える可能性がある。
本稿では,高多様性クライアントからの更新を重視し,低多様性クライアントからの影響を低減したWeiAvg(Weighted Averaging)フレームワークを導入することにより,この問題に対処する新たなアプローチを提案する。
具体的には,エントロピーの計算に代えて,クライアントデータの多様性を推定する投影に基づく近似手法を導入した。
局所的に計算されたエントロピーは、過剰なプライバシーリスクのために伝達されないため、近似を用いる。
実験結果から,WeiAvgは元のFedAvgアルゴリズムやFedProxよりも高速に収束し,精度が高いことがわかった。
関連論文リスト
- FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - Momentum Benefits Non-IID Federated Learning Simply and Provably [22.800862422479913]
フェデレートラーニングは大規模機械学習の強力なパラダイムである。
FedAvgとSCAFFOLDは、これらの課題に対処する2つの顕著なアルゴリズムである。
本稿では,FedAvgとSCAFFOLDの性能向上のための運動量の利用について検討する。
論文 参考訳(メタデータ) (2023-06-28T18:52:27Z) - FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。
既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。
フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
論文 参考訳(メタデータ) (2023-06-25T13:38:51Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳(メタデータ) (2023-05-01T20:04:46Z) - Spatial-Temporal Federated Learning for Lifelong Person
Re-identification on Distributed Edges [14.956321572168193]
FedSTILは、異なるエッジクライアントから学んだ知識間の空間的時間的相関を抽出することを目的としている。
5つの実世界のデータセットの混合実験により、我々の手法はRan-1精度で4%近く向上していることが示された。
論文 参考訳(メタデータ) (2022-07-24T15:13:45Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳(メタデータ) (2022-06-05T01:14:46Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳(メタデータ) (2021-04-27T18:23:54Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳(メタデータ) (2021-02-14T05:36:25Z) - CatFedAvg: Optimising Communication-efficiency and Classification
Accuracy in Federated Learning [2.2172881631608456]
そこで我々はCatFedAvgというフェデレート学習アルゴリズムを新たに導入した。
コミュニケーション効率は向上するが、NIST戦略のカテゴリカバレッジを用いて学習の質を向上させる。
実験の結果,FedAvgよりもネットワーク転送率が70%低いMデータセットでは,10%の絶対点精度が向上していることがわかった。
論文 参考訳(メタデータ) (2020-11-14T06:52:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。