論文の概要: Revisiting Weighted Aggregation in Federated Learning with Neural
Networks
- arxiv url: http://arxiv.org/abs/2302.10911v1
- Date: Tue, 14 Feb 2023 07:52:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-26 13:31:00.192505
- Title: Revisiting Weighted Aggregation in Federated Learning with Neural
Networks
- Title(参考訳): ニューラルネットワークを用いた連合学習における重み付きアグリゲーションの再検討
- Authors: Zexi Li, Tao Lin, Xinyi Shang, Chao Wu
- Abstract要約: フェデレートラーニング(FL)では、局所モデルの重み付けアグリゲーションを行い、グローバルモデルを生成する。
重みの和は1より小さくなり、大域的な重みの縮減効果と一般化の改善がもたらされる。
我々はFedLAWという名前の学習可能な集約重み付きフェデレート学習の効果的な方法を提案する。
- 参考スコア(独自算出の注目度): 5.779987217952073
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In federated learning (FL), weighted aggregation of local models is conducted
to generate a global model, and the aggregation weights are normalized (the sum
of weights is 1) and proportional to the local data sizes. In this paper, we
revisit the weighted aggregation process and gain new insights into the
training dynamics of FL. First, we find that the sum of weights can be smaller
than 1, causing global weight shrinking effect (analogous to weight decay) and
improving generalization. We explore how the optimal shrinking factor is
affected by clients' data heterogeneity and local epochs. Second, we dive into
the relative aggregation weights among clients to depict the clients'
importance. We develop client coherence to study the learning dynamics and find
a critical point that exists. Before entering the critical point, more coherent
clients play more essential roles in generalization. Based on the above
insights, we propose an effective method for Federated Learning with Learnable
Aggregation Weights, named as FedLAW. Extensive experiments verify that our
method can improve the generalization of the global model by a large margin on
different datasets and models.
- Abstract(参考訳): 連合学習(fl)では、局所モデルの重み付き集計を行い、大域モデルを生成し、重み付け重みを正規化し(重みの和は1である)、局所データサイズに比例する。
本稿では,重み付け集約プロセスを再検討し,flのトレーニングダイナミクスに関する新たな知見を得る。
まず,重みの総和が1より小さくなり,大域的な重み縮小効果(重み減少と類似)が生じ,一般化が改善されることが判明した。
クライアントのデータ不均一性と局所的エポックに最適な縮小係数がどう影響するかを検討する。
次に、クライアント間の相対的な集約重みを掘り下げて、クライアントの重要性を説明します。
学習のダイナミクスを研究するためにクライアントコヒーレンスを開発し,その重要な点を見出す。
臨界点に入る前に、よりコヒーレントなクライアントは一般化においてより重要な役割を果たす。
以上の知見に基づいて,FedLAWと命名された学習可能な集約重み付きフェデレート学習の効果的な方法を提案する。
広範な実験により,本手法が異なるデータセットとモデルに対して大きなマージンでグローバルモデルの一般化を改善できることが確かめられた。
関連論文リスト
- FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。
我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
論文 参考訳(メタデータ) (2024-02-10T18:14:57Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - Aggregation Weighting of Federated Learning via Generalization Bound
Estimation [65.8630966842025]
フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。
上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
論文 参考訳(メタデータ) (2023-11-10T08:50:28Z) - Federated Learning for Semantic Parsing: Task Formulation, Evaluation
Setup, New Algorithms [29.636944156801327]
複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。
Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。
より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
論文 参考訳(メタデータ) (2023-05-26T19:25:49Z) - Confidence-aware Personalized Federated Learning via Variational
Expectation Maximization [34.354154518009956]
パーソナライズド・フェデレーション・ラーニング(PFL)のための新しいフレームワークを提案する。
PFLは、クライアント間で共有モデルをトレーニングする分散学習スキームである。
階層的モデリングと変分推論に基づくPFLの新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-21T20:12:27Z) - FewFedWeight: Few-shot Federated Learning Framework across Multiple NLP
Tasks [38.68736962054861]
FewFedWeightは、複数のタスクにまたがる数ショットのフェデレーション学習フレームワークである。
データを共有することなく、分離されたデバイスでクライアントモデルをトレーニングする。
61%のタスクでクライアントモデルの性能を大幅に改善することができ、平均的なパフォーマンス改善率は30.5%である。
論文 参考訳(メタデータ) (2022-12-16T09:01:56Z) - Closing the Gap between Client and Global Model Performance in
Heterogeneous Federated Learning [2.1044900734651626]
カスタムクライアントモデルをトレーニングするための選択されたアプローチが、グローバルモデルにどのように影響するかを示す。
KDとLwoF(LwoF)を併用して、改良されたパーソナライズドモデルを生成する手法を提案する。
論文 参考訳(メタデータ) (2022-11-07T11:12:57Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳(メタデータ) (2021-04-27T18:23:54Z) - FedNS: Improving Federated Learning for collaborative image
classification on mobile clients [22.980223900446997]
Federated Learning(FL)は、グローバルモデルを学ぶために疎結合のクライアントをサポートすることを目的としたパラダイムです。
本稿では、fl設定におけるサーバのグローバルモデル集約のためのフェデレーションノード選択(fedns)と呼ばれる新しい手法を提案する。
我々は、FedNSがFedAvgよりも一貫してパフォーマンスを向上させることができる複数のデータセットとネットワークからの実験で示します。
論文 参考訳(メタデータ) (2021-01-20T06:45:46Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳(メタデータ) (2020-12-20T14:34:36Z) - Federated Residual Learning [53.77128418049985]
クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。
この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
論文 参考訳(メタデータ) (2020-03-28T19:55:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。