論文の概要: Towards Communication-efficient Federated Learning via Sparse and Aligned Adaptive Optimization

• arxiv url: http://arxiv.org/abs/2405.17932v1
• Date: Tue, 28 May 2024 07:56:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 19:47:39.152062
• Title: Towards Communication-efficient Federated Learning via Sparse and Aligned Adaptive Optimization
• Title（参考訳）: スパースと適応最適化によるコミュニケーション効率のよいフェデレーション学習を目指して
• Authors: Xiumei Deng, Jun Li, Kang Wei, Long Shi, Zeihui Xiong, Ming Ding, Wen Chen, Shi Jin, H. Vincent Poor,
• Abstract要約: Federated Adam (FedAdam) アルゴリズムはアップリンク通信オーバーヘッドの3倍の増大に悩まされている。 我々はFedAdam-SSMと呼ばれる新しいスパースなFedAdamアルゴリズムを提案する。 我々は,FedAdam-SSMが訓練したモデルと集中型Adamの差異を最小化することにより,スペーシフィケーションエラーによる学習性能劣化を軽減するためにSSMを最適化する。
• 参考スコア（独自算出の注目度）: 65.85963235502322
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adaptive moment estimation (Adam), as a Stochastic Gradient Descent (SGD) variant, has gained widespread popularity in federated learning (FL) due to its fast convergence. However, federated Adam (FedAdam) algorithms suffer from a threefold increase in uplink communication overhead compared to federated SGD (FedSGD) algorithms, which arises from the necessity to transmit both local model updates and first and second moment estimates from distributed devices to the centralized server for aggregation. Driven by this issue, we propose a novel sparse FedAdam algorithm called FedAdam-SSM, wherein distributed devices sparsify the updates of local model parameters and moment estimates and subsequently upload the sparse representations to the centralized server. To further reduce the communication overhead, the updates of local model parameters and moment estimates incorporate a shared sparse mask (SSM) into the sparsification process, eliminating the need for three separate sparse masks. Theoretically, we develop an upper bound on the divergence between the local model trained by FedAdam-SSM and the desired model trained by centralized Adam, which is related to sparsification error and imbalanced data distribution. By minimizing the divergence bound between the model trained by FedAdam-SSM and centralized Adam, we optimize the SSM to mitigate the learning performance degradation caused by sparsification error. Additionally, we provide convergence bounds for FedAdam-SSM in both convex and non-convex objective function settings, and investigate the impact of local epoch, learning rate and sparsification ratio on the convergence rate of FedAdam-SSM. Experimental results show that FedAdam-SSM outperforms baselines in terms of convergence rate (over 1.1$\times$ faster than the sparse FedAdam baselines) and test accuracy (over 14.5\% ahead of the quantized FedAdam baselines).
• Abstract（参考訳）: 適応モーメント推定(Adam)はSGD(Stochastic Gradient Descent)の変種である。 しかし、フェデレートされたAdam(FedAdam)アルゴリズムは、フェデレーションされたSGD(FedSGD)アルゴリズムに比べて、アップリンク通信オーバーヘッドが3倍に増加する。 本稿では,FedAdam-SSMと呼ばれる新しいスパースFedAdamアルゴリズムを提案し,ローカルモデルパラメータとモーメント推定値の更新を分散化し,そのスパース表現を集中サーバにアップロードする。 通信オーバーヘッドをさらに軽減するために、ローカルモデルパラメータとモーメント推定の更新は、共有スパースマスク(SSM)をスペース化プロセスに組み込んで、3つの分離スパースマスクを不要にする。 理論的には、FedAdam-SSMで訓練された局所モデルと集中型Adamで訓練された所望モデルとの相違点の上限を開発する。 我々は,FedAdam-SSMが訓練したモデルと集中型Adamの差異を最小化することにより,スペーシフィケーションエラーによる学習性能劣化を軽減するためにSSMを最適化する。 また,FedAdam-SSMの収束係数を凸関数と非凸関数の両方で表し,局所的エポック,学習速度,スパーシフィケーション比がFedAdam-SSMの収束率に与える影響について検討した。 実験結果から、FedAdam-SSMは収束率(FedAdamベースラインよりも1.1$\times$速い)とテスト精度(FedAdamベースラインより14.5\%高い)でベースラインを上回っていることが示された。

関連論文リスト

• Vanishing Variance Problem in Fully Decentralized Neural-Network Systems [0.8212195887472242]
  フェデレートラーニングとゴシップラーニングは、データプライバシの懸念を軽減するために考案された方法論だ。 本研究では,分散補正モデル平均化アルゴリズムを提案する。 シミュレーションの結果,Gossip学習は,フェデレート学習に匹敵する収束効率を実現することができることがわかった。
  論文  参考訳（メタデータ） (2024-04-06T12:49:20Z)
• DASA: Delay-Adaptive Multi-Agent Stochastic Approximation [64.32538247395627]
  我々は,N$エージェントが並列に動作し,中央サーバと通信することで,一般的な近似問題を高速化することを目的とした設定を考える。 遅延とストラグラーの効果を軽減するために,マルチエージェント近似のための遅延適応アルゴリズムである textttDASA を提案する。
  論文  参考訳（メタデータ） (2024-03-25T22:49:56Z)
• DFedADMM: Dual Constraints Controlled Model Inconsistency for Decentralized Federated Learning [52.83811558753284]
  分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。 既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
  論文  参考訳（メタデータ） (2023-08-16T11:22:36Z)
• FedBIAD: Communication-Efficient and Accuracy-Guaranteed Federated Learning with Bayesian Inference-Based Adaptive Dropout [14.72932631655587]
  フェデレートラーニング(FL)は、エンドユーザーデータ伝送なしで分散機械学習パラダイムとして現れる。 FedBIADは、非独立およびIdentically Distributed(非IID)データであっても、最大2.41%の精度で2倍のアップリンク削減を提供する。
  論文  参考訳（メタデータ） (2023-07-14T05:51:04Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• Towards Practical Adam: Non-Convexity, Convergence Theory, and Mini-Batch Acceleration [12.744658958445024]
  Adamは、ディープニューラルネットワークをトレーニングするための最も影響力のある適応アルゴリズムの1つです。 適応学習率の低下、大きなバッチサイズの採用など、既存のアプローチは、Adam型アルゴリズムの収束を促進しようとしている。 本稿では,履歴ベース学習率のパラメータにのみ依存する,代替的な簡易チェック条件を提案する。
  論文  参考訳（メタデータ） (2021-01-14T06:42:29Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• A(DP)$^2$SGD: Asynchronous Decentralized Parallel Stochastic Gradient Descent with Differential Privacy [15.038697541988746]
  一般的な分散学習戦略はフェデレーション学習であり、グローバルモデルを格納する中央サーバと、対応するデータでモデルパラメータを更新するローカルコンピューティングノードのセットがある。 本稿では,ADPSGDの通信効率を保ち,悪意のある参加者による推論を防止する,非同期分散並列SGDフレームワークの差分プライベート版A(DP)$2$SGDを提案する。
  論文  参考訳（メタデータ） (2020-08-21T00:56:22Z)
• A Unified Theory of Decentralized SGD with Changing Topology and Local Updates [70.9701218475002]
  分散通信方式の統一収束解析を導入する。 いくつかの応用に対して普遍収束率を導出する。 私たちの証明は弱い仮定に依存している。
  論文  参考訳（メタデータ） (2020-03-23T17:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。