論文の概要: Layer-wise Adaptive Model Aggregation for Scalable Federated Learning
- arxiv url: http://arxiv.org/abs/2110.10302v1
- Date: Tue, 19 Oct 2021 22:49:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-24 07:02:14.807244
- Title: Layer-wise Adaptive Model Aggregation for Scalable Federated Learning
- Title(参考訳): 階層型適応モデルアグリゲーションによるスケーラブルフェデレーション学習
- Authors: Sunwoo Lee, Tuo Zhang, Chaoyang He, Salman Avestimehr
- Abstract要約: フェデレートラーニング(Federated Learning)では、クライアント間でローカルモデルを集約する一般的なアプローチとして、完全なモデルパラメータの定期的な平均化がある。
我々は,スケーラブルなフェデレート学習のためのレイヤワイドモデルアグリゲーションスキームであるFedLAMAを提案する。
- 参考スコア(独自算出の注目度): 11.669431684184536
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In Federated Learning, a common approach for aggregating local models across
clients is periodic averaging of the full model parameters. It is, however,
known that different layers of neural networks can have a different degree of
model discrepancy across the clients. The conventional full aggregation scheme
does not consider such a difference and synchronizes the whole model parameters
at once, resulting in inefficient network bandwidth consumption. Aggregating
the parameters that are similar across the clients does not make meaningful
training progress while increasing the communication cost. We propose FedLAMA,
a layer-wise model aggregation scheme for scalable Federated Learning. FedLAMA
adaptively adjusts the aggregation interval in a layer-wise manner, jointly
considering the model discrepancy and the communication cost. The layer-wise
aggregation method enables to finely control the aggregation interval to relax
the aggregation frequency without a significant impact on the model accuracy.
Our empirical study shows that FedLAMA reduces the communication cost by up to
60% for IID data and 70% for non-IID data while achieving a comparable accuracy
to FedAvg.
- Abstract(参考訳): フェデレーション学習では、クライアント間でローカルモデルを集約する一般的なアプローチは、モデルパラメータ全体の周期平均化である。
しかし、ニューラルネットワークの異なる層は、クライアント間で異なるレベルのモデルの不一致を持つことが知られている。
従来のフルアグリゲーション方式はそのような違いを考慮せず、モデル全体のパラメータを一度に同期させ、効率の悪いネットワーク帯域幅の消費をもたらす。
クライアント間で類似するパラメータを集約することは、通信コストを増加させながら、有意義なトレーニングを進展させることはない。
我々は,スケーラブルなフェデレート学習のためのレイヤワイドモデルアグリゲーションスキームであるFedLAMAを提案する。
FedLAMAは、モデルの相違と通信コストを共同で考慮して、階層的にアグリゲーション間隔を適応的に調整する。
モデル精度に大きな影響を与えることなく、凝集間隔を微調整して凝集周波数を緩和することができる。
実験により,FedLAMAはIIDデータに対して最大60%,非IIDデータに対して70%の通信コストを削減し,FedAvgに匹敵する精度を実現した。
関連論文リスト
- Mitigating System Bias in Resource Constrained Asynchronous Federated
Learning Systems [2.8790600498444032]
本稿では,AFL(Asynchronous Federated Learning)デプロイメントにおける動的グローバルモデルアグリゲーション手法を提案する。
提案手法は,アップロード頻度に基づいてクライアントモデル更新の重み付けをスコアリングし,その重み付けを調整し,デバイス機能の違いに対応する。
論文 参考訳(メタデータ) (2024-01-24T10:51:15Z) - Federated Learning with Neural Graphical Models [2.6842860806280058]
フェデレートラーニング(FL)は、プロプライエタリなデータに基づいたモデルを作成する必要性に対処する。
近年提案されているニューラルグラフモデル(NGM)は、ニューラルネットワークの表現力を利用する確率的グラフィカルモデルである。
我々は,局所的なNGMモデルから平均情報を学習するグローバルなNGMモデルを維持するFLフレームワークを開発した。
論文 参考訳(メタデータ) (2023-09-20T23:24:22Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳(メタデータ) (2023-09-04T21:10:45Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - Layer-wise Linear Mode Connectivity [56.53308504862033]
ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識を融合させる直感的な方法である。
私たちは、単一グループやグループを平均化するモデルの性能を分析します。
論文 参考訳(メタデータ) (2023-07-13T09:39:10Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳(メタデータ) (2023-05-01T20:04:46Z) - Federated Learning under Heterogeneous and Correlated Client
Availability [10.05687757555923]
本稿では,FedAvg-like FLアルゴリズムに対する不均一かつ相関のあるクライアント可用性下での最初の収束解析について述べる。
本稿では,収束速度の最大化とモデルバイアスの最小化という相反する目標のバランスをとろうとする新しいFLアルゴリズムCA-Fedを提案する。
実験の結果,CA-Fedは最先端のAdaFedやF3ASTよりも時間平均精度が高く,標準偏差も低いことがわかった。
論文 参考訳(メタデータ) (2023-01-11T18:38:48Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳(メタデータ) (2022-07-20T04:55:18Z) - Gradient Masked Averaging for Federated Learning [24.687254139644736]
フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。
標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。
本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
論文 参考訳(メタデータ) (2022-01-28T08:42:43Z) - FedNNNN: Norm-Normalized Neural Network Aggregation for Fast and
Accurate Federated Learning [11.414092409682162]
フェデレートラーニング(Federated Learning, FL)は、サーバが学習プロセスを進めるために、いくつかの独立したクライアントから学んだモデルの集合を集約する必要がある分散ラーニングプロトコルである。
現在、FedAvgとして知られるモデル平均化は、最も広く適応されたアグリゲーション手法の1つである。
本研究では,異なるクライアントのモデルの平均化によって更新ベクトルのノルムが著しく低下し,学習速度が遅く,予測精度が低くなることを明らかにする。
論文 参考訳(メタデータ) (2020-08-11T06:21:15Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳(メタデータ) (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。