論文の概要: Escaping Saddle Points in Heterogeneous Federated Learning via Distributed SGD with Communication Compression

• arxiv url: http://arxiv.org/abs/2310.19059v1
• Date: Sun, 29 Oct 2023 16:24:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 14:36:32.266962
• Title: Escaping Saddle Points in Heterogeneous Federated Learning via Distributed SGD with Communication Compression
• Title（参考訳）: コミュニケーション圧縮を用いた分散sgdによるヘテロジニアスフェデレーション学習におけるサドルポイントのエスケープ
• Authors: Sijin Chen, Zhize Li, Yuejie Chi
• Abstract要約: 本稿では,新しいエラーフィードバック方式により,圧縮された情報のみを伝達する新しいアルゴリズムPower-EFを提案する。 Power-EFは、データ均一性を仮定せずに不均一FLにおけるサドル点を確実に回避する最初の分散圧縮SGDアルゴリズムである。 我々の理論は、ローカルデータに対するより寛容な設定を拡張しながら、以前の結果を改善・復元する。
• 参考スコア（独自算出の注目度）: 42.85797250438604
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider the problem of finding second-order stationary points of heterogeneous federated learning (FL). Previous works in FL mostly focus on first-order convergence guarantees, which do not rule out the scenario of unstable saddle points. Meanwhile, it is a key bottleneck of FL to achieve communication efficiency without compensating the learning accuracy, especially when local data are highly heterogeneous across different clients. Given this, we propose a novel algorithm Power-EF that only communicates compressed information via a novel error-feedback scheme. To our knowledge, Power-EF is the first distributed and compressed SGD algorithm that provably escapes saddle points in heterogeneous FL without any data homogeneity assumptions. In particular, Power-EF improves to second-order stationary points after visiting first-order (possibly saddle) points, using additional gradient queries and communication rounds only of almost the same order required by first-order convergence, and the convergence rate exhibits a linear speedup in terms of the number of workers. Our theory improves/recovers previous results, while extending to much more tolerant settings on the local data. Numerical experiments are provided to complement the theory.
• Abstract（参考訳）: 本研究では,不均一なフェデレーション学習(FL)の2次定常点を求める問題を考える。 flの以前の研究は、不安定な鞍点のシナリオを除外しない一階収束保証に重点を置いている。 一方で、特にローカルデータが異なるクライアント間で非常に異質な場合において、学習精度を補償することなく通信効率を達成することは、flの重要なボトルネックである。 そこで本研究では,新しい誤りフィードバック方式を用いて圧縮情報のみを通信する新しいアルゴリズムpower-efを提案する。 我々の知る限り、Power-EFはデータ均一性の仮定なしに不均一FLにおけるサドル点を確実に回避する最初の分散圧縮SGDアルゴリズムである。 特に、Power-EFは、第1次収束で要求されるほぼ同じ順序でのみ追加の勾配クエリと通信ラウンドを使用して、第1次(おそらくはサドル)ポイントを訪問した後、第2次定常点に改善され、収束率は、労働者数の観点から線形スピードアップを示す。 我々の理論は、以前の結果を改善し、またローカルデータのより寛容な設定に拡張する。 この理論を補うために数値実験が行われる。

関連論文リスト

• Switch and Conquer: Efficient Algorithms By Switching Stochastic Gradient Oracles For Decentralized Saddle Point Problems [1.2277343096128712]
  そこで本研究では, 一次変数と双対変数の更新を可能にする非接触な原始的ハイブリッド勾配(非接触PDHG)法を開発した。 GSGとSVRGの最適収束位相を利用することで、C-DPSSGが低-ナトリウム精度の解を得るのに適していることを示す。
  論文  参考訳（メタデータ） (2023-09-02T17:48:42Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• NET-FLEET: Achieving Linear Convergence Speedup for Fully Decentralized Federated Learning with Heterogeneous Data [12.701031075169887]
  フェデレーテッド・ラーニング(FL)は、データプライバシ保護、効率的な通信、並列データ処理といったメリットにより、近年、注目を集めている。 FLの既存の作業の多くは、データと集中型パラメータサーバを持つシステムに限られている。 我々は、データ不均一性を持つ完全分散FLシステムのための新しいアルゴリズム、NET-FLEETを提案する。
  論文  参考訳（メタデータ） (2022-08-17T19:17:23Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Achieving Statistical Optimality of Federated Learning: Beyond Stationary Points [19.891597817559038]
  Federated Learning(FL)は、プライバシ保護とクラウドでの計算負荷の低減に大きな可能性を持つ、有望なフレームワークである。 最近の研究は、(1)その固定点が元の最適化問題の定常点に対応していないこと、(2)見いだされた共通モデルが局所的にうまく一般化できないこと、の2つの方法に対する懸念を提起している。 一般的なカーネル回帰設定では、FedAvgとFedProxの両方が極小最大誤差率に収束することを示す。
  論文  参考訳（メタデータ） (2021-06-29T09:59:43Z)
• Second-Order Guarantees in Federated Learning [49.17137296715029]
  フェデレーション学習は,分散データからの集中学習として有用なものだ。 本稿では,集中型および分散型設定における2次最適性アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2020-12-02T19:30:08Z)
• Federated Composite Optimization [28.11253930828807]
  Federated Learning(FL)は、デバイス上での学習を協調的にプライベートにスケールする分散学習パラダイムである。 FedAvgのような標準FLアルゴリズムは、主にスムーズな制約のない設定に向けられている。 本稿では,新しいサーバの二重平均化手法を用いることで,プライマリ・デュアル平均化の呪いを回避できる新しいプライマリ・デュアル平均化アルゴリズムであるフェデレート・デュアル平均化(FedDual Avg)を提案する。
  論文  参考訳（メタデータ） (2020-11-17T06:54:06Z)
• A Unified Linear Speedup Analysis of Federated Averaging and Nesterov FedAvg [49.76940694847521]
  フェデレーションラーニング(FL)は、互いにプライベートに保持されたデータを共有せずに、参加する一連のデバイスからモデルを共同で学習する。 本稿では,FedAvg(Federated Averaging, FedAvg)に焦点をあてる。 また,FedAvgは収束率や通信効率が異なるが,各ケースで線形スピードアップを享受していることを示す。
  論文  参考訳（メタデータ） (2020-07-11T05:59:08Z)
• Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
  コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。 非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。 また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
  論文  参考訳（メタデータ） (2020-04-11T03:50:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。