論文の概要: Communication-Efficient Adaptive Federated Learning

• arxiv url: http://arxiv.org/abs/2205.02719v3
• Date: Wed, 19 Apr 2023 18:20:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-21 17:35:35.888286
• Title: Communication-Efficient Adaptive Federated Learning
• Title（参考訳）: コミュニケーション効率の高い適応型連合学習
• Authors: Yujia Wang, Lu Lin, Jinghui Chen
• Abstract要約: フェデレーション・ラーニング(Federated Learning)は、機械学習のパラダイムであり、クライアントが独自のローカライズされたデータを共有せずに、モデルの共同トレーニングを可能にする。 実際には、連合学習の実装は、大きな通信オーバーヘッドなど、多くの課題に直面している。 理論的収束を保証する新しいコミュニケーション効率適応学習法(FedCAMS)を提案する。
• 参考スコア（独自算出の注目度）: 17.721884358895686
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning is a machine learning training paradigm that enables clients to jointly train models without sharing their own localized data. However, the implementation of federated learning in practice still faces numerous challenges, such as the large communication overhead due to the repetitive server-client synchronization and the lack of adaptivity by SGD-based model updates. Despite that various methods have been proposed for reducing the communication cost by gradient compression or quantization, and the federated versions of adaptive optimizers such as FedAdam are proposed to add more adaptivity, the current federated learning framework still cannot solve the aforementioned challenges all at once. In this paper, we propose a novel communication-efficient adaptive federated learning method (FedCAMS) with theoretical convergence guarantees. We show that in the nonconvex stochastic optimization setting, our proposed FedCAMS achieves the same convergence rate of $O(\frac{1}{\sqrt{TKm}})$ as its non-compressed counterparts. Extensive experiments on various benchmarks verify our theoretical analysis.
• Abstract（参考訳）: フェデレーション学習(federated learning)は、クライアントが独自のローカライズデータを共有することなく、共同でモデルをトレーニング可能な、マシンラーニングトレーニングパラダイムである。 しかし、繰り返しサーバ-クライアント同期による通信オーバーヘッドの増大や、SGDベースのモデル更新による適応性の欠如など、実際にはフェデレーション学習の実装には多くの課題がある。 勾配圧縮や量子化による通信コスト削減のための様々な手法が提案されているが、FedAdamのような適応最適化器の連合版は適応性を高めるために提案されているが、現在の連合学習フレームワークは上記の課題をすべて一度に解くことはできない。 本稿では,理論収束を保証する新しいコミュニケーション効率適応型フェデレーション学習法(FedCAMS)を提案する。 我々は、非凸確率最適化設定において、提案したFedCAMSが、非圧縮の値と同じ$O(\frac{1}{\sqrt{TKm}})$を得ることを示す。 様々なベンチマークに関する大規模な実験は、我々の理論分析を検証する。

関連論文リスト

• Efficient and Robust Regularized Federated Recommendation [52.24782464815489]
  推薦システム(RSRS)は、ユーザの好みとプライバシの両方に対処する。 通信効率を向上させるために,非一様勾配勾配勾配を取り入れた新しい手法を提案する。 RFRecFの強靭性は、多様なベースラインに比べて優れている。
  論文  参考訳（メタデータ） (2024-11-03T12:10:20Z)
• FADAS: Towards Federated Adaptive Asynchronous Optimization [56.09666452175333]
  フェデレートラーニング(FL)は、プライバシ保護機械学習のトレーニングパラダイムとして広く採用されている。 本稿では、非同期更新を適応的フェデレーション最適化と証明可能な保証に組み込む新しい手法であるFADASについて紹介する。 提案アルゴリズムの収束率を厳格に確立し,FADASが他の非同期FLベースラインよりも優れていることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2024-07-25T20:02:57Z)
• Federated Learning based on Pruning and Recovery [0.0]
  このフレームワークは非同期学習アルゴリズムとプルーニング技術を統合している。 異種デバイスを含むシナリオにおいて、従来のフェデレーション学習アルゴリズムの非効率性に対処する。 また、非同期アルゴリズムで特定のクライアントの不安定な問題や不適切なトレーニングにも取り組みます。
  論文  参考訳（メタデータ） (2024-03-16T14:35:03Z)
• Communication-Efficient Federated Learning through Adaptive Weight Clustering and Server-Side Distillation [10.541541376305245]
  Federated Learning(FL)は、複数のデバイスにわたるディープニューラルネットワークの協調トレーニングのための有望なテクニックである。 FLは、トレーニング中に繰り返しサーバー・クライアント間の通信によって、過剰な通信コストによって妨げられる。 本稿では,動的重みクラスタリングとサーバ側知識蒸留を組み合わせた新しいアプローチであるFedCompressを提案する。
  論文  参考訳（メタデータ） (2024-01-25T14:49:15Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• Finite-Time Consensus Learning for Decentralized Optimization with Nonlinear Gossiping [77.53019031244908]
  本稿では,非線形ゴシップ(NGO)に基づく分散学習フレームワークを提案する。 コミュニケーション遅延とランダム化チャットが学習にどう影響するかを解析することで,実践的なバリエーションの導出が可能となる。
  論文  参考訳（メタデータ） (2021-11-04T15:36:25Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)
• Adaptive Federated Optimization [43.78438670284309]
  フェデレートラーニングでは、多数のクライアントが中央サーバとコーディネートして、自身のデータを共有せずにモデルを学習する。 適応最適化手法は、このような問題に対処する際、顕著な成功を収めている。 適応型学習は,フェデレート学習の性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-02-29T16:37:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。