Fugu-MT 論文翻訳(概要): Layer-wise Adaptive Model Aggregation for Scalable Federated Learning

論文の概要: Layer-wise Adaptive Model Aggregation for Scalable Federated Learning

arxiv url: http://arxiv.org/abs/2110.10302v1
Date: Tue, 19 Oct 2021 22:49:04 GMT
ステータス: 処理完了
システム内更新日: 2021-10-24 07:02:14.807244
Title: Layer-wise Adaptive Model Aggregation for Scalable Federated Learning
Title（参考訳）: 階層型適応モデルアグリゲーションによるスケーラブルフェデレーション学習
Authors: Sunwoo Lee, Tuo Zhang, Chaoyang He, Salman Avestimehr
Abstract要約: フェデレートラーニング(Federated Learning)では、クライアント間でローカルモデルを集約する一般的なアプローチとして、完全なモデルパラメータの定期的な平均化がある。我々は,スケーラブルなフェデレート学習のためのレイヤワイドモデルアグリゲーションスキームであるFedLAMAを提案する。
参考スコア（独自算出の注目度）: 11.669431684184536
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In Federated Learning, a common approach for aggregating local models across clients is periodic averaging of the full model parameters. It is, however, known that different layers of neural networks can have a different degree of model discrepancy across the clients. The conventional full aggregation scheme does not consider such a difference and synchronizes the whole model parameters at once, resulting in inefficient network bandwidth consumption. Aggregating the parameters that are similar across the clients does not make meaningful training progress while increasing the communication cost. We propose FedLAMA, a layer-wise model aggregation scheme for scalable Federated Learning. FedLAMA adaptively adjusts the aggregation interval in a layer-wise manner, jointly considering the model discrepancy and the communication cost. The layer-wise aggregation method enables to finely control the aggregation interval to relax the aggregation frequency without a significant impact on the model accuracy. Our empirical study shows that FedLAMA reduces the communication cost by up to 60% for IID data and 70% for non-IID data while achieving a comparable accuracy to FedAvg.
Abstract（参考訳）: フェデレーション学習では、クライアント間でローカルモデルを集約する一般的なアプローチは、モデルパラメータ全体の周期平均化である。しかし、ニューラルネットワークの異なる層は、クライアント間で異なるレベルのモデルの不一致を持つことが知られている。従来のフルアグリゲーション方式はそのような違いを考慮せず、モデル全体のパラメータを一度に同期させ、効率の悪いネットワーク帯域幅の消費をもたらす。クライアント間で類似するパラメータを集約することは、通信コストを増加させながら、有意義なトレーニングを進展させることはない。我々は,スケーラブルなフェデレート学習のためのレイヤワイドモデルアグリゲーションスキームであるFedLAMAを提案する。 FedLAMAは、モデルの相違と通信コストを共同で考慮して、階層的にアグリゲーション間隔を適応的に調整する。モデル精度に大きな影響を与えることなく、凝集間隔を微調整して凝集周波数を緩和することができる。実験により,FedLAMAはIIDデータに対して最大60%,非IIDデータに対して70%の通信コストを削減し,FedAvgに匹敵する精度を実現した。

関連論文リスト

Achieving Byzantine-Resilient Federated Learning via Layer-Adaptive Sparsified Model Aggregation [7.200910949076064]
フェデレートラーニング(FL)は、複数のクライアントがローカルデータを共有せずに、協調的にモデルをトレーニングすることを可能にする。しかし、FLシステムは、悪質なモデルの更新をアップロードすることでモデルのトレーニングプロセスを妨害することを目的とした、よく設計されたByzantine攻撃に対して脆弱である。本稿では,階層的適応アグリゲーションと事前アグリゲーション・スパリフィケーションを組み合わせたLayer-Adaptive Sparsified Model Aggregation(LASA)手法を提案する。
論文参考訳（メタデータ） (2024-09-02T19:28:35Z)
An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文参考訳（メタデータ） (2024-03-27T09:14:36Z)
Mitigating System Bias in Resource Constrained Asynchronous Federated Learning Systems [2.8790600498444032]
本稿では,AFL(Asynchronous Federated Learning)デプロイメントにおける動的グローバルモデルアグリゲーション手法を提案する。提案手法は,アップロード頻度に基づいてクライアントモデル更新の重み付けをスコアリングし,その重み付けを調整し,デバイス機能の違いに対応する。
論文参考訳（メタデータ） (2024-01-24T10:51:15Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
Layer-wise Linear Mode Connectivity [52.6945036534469]
ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。フェデレートラーニングにおいて最も顕著に用いられている。私たちは、単一グループやグループを平均化するモデルの性能を分析します。
論文参考訳（メタデータ） (2023-07-13T09:39:10Z)
Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文参考訳（メタデータ） (2023-05-01T20:04:46Z)
Federated Learning under Heterogeneous and Correlated Client Availability [10.05687757555923]
本稿では,FedAvg-like FLアルゴリズムに対する不均一かつ相関のあるクライアント可用性下での最初の収束解析について述べる。本稿では,収束速度の最大化とモデルバイアスの最小化という相反する目標のバランスをとろうとする新しいFLアルゴリズムCA-Fedを提案する。実験の結果,CA-Fedは最先端のAdaFedやF3ASTよりも時間平均精度が高く,標準偏差も低いことがわかった。
論文参考訳（メタデータ） (2023-01-11T18:38:48Z)
Gradient Masked Averaging for Federated Learning [24.687254139644736]
フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
論文参考訳（メタデータ） (2022-01-28T08:42:43Z)
FedNNNN: Norm-Normalized Neural Network Aggregation for Fast and Accurate Federated Learning [11.414092409682162]
フェデレートラーニング(Federated Learning, FL)は、サーバが学習プロセスを進めるために、いくつかの独立したクライアントから学んだモデルの集合を集約する必要がある分散ラーニングプロトコルである。現在、FedAvgとして知られるモデル平均化は、最も広く適応されたアグリゲーション手法の1つである。本研究では,異なるクライアントのモデルの平均化によって更新ベクトルのノルムが著しく低下し,学習速度が遅く,予測精度が低くなることを明らかにする。
論文参考訳（メタデータ） (2020-08-11T06:21:15Z)
Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。