論文の概要: On Convergence of FedProx: Local Dissimilarity Invariant Bounds, Non-smoothness and Beyond

• arxiv url: http://arxiv.org/abs/2206.05187v1
• Date: Fri, 10 Jun 2022 15:35:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-13 17:12:17.853987
• Title: On Convergence of FedProx: Local Dissimilarity Invariant Bounds, Non-smoothness and Beyond
• Title（参考訳）: FedProxの収束性について:局所的な相似性不変境界、非平滑性および超越性
• Authors: Xiao-Tong Yuan and Ping Li
• Abstract要約: 我々はFedProxの収束理論とアルゴリズム安定性のレンズによるミニバッチ拡張の新しい局所的な相似性を開発する。 一連のベンチマークFLデータセットの予備実験結果が報告され、FedProxのサンプル効率を改善するためのミニバッチの利点を示す。
• 参考スコア（独自算出の注目度）: 41.082982732100696
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The FedProx algorithm is a simple yet powerful distributed proximal point optimization method widely used for federated learning (FL) over heterogeneous data. Despite its popularity and remarkable success witnessed in practice, the theoretical understanding of FedProx is largely underinvestigated: the appealing convergence behavior of FedProx is so far characterized under certain non-standard and unrealistic dissimilarity assumptions of local functions, and the results are limited to smooth optimization problems. In order to remedy these deficiencies, we develop a novel local dissimilarity invariant convergence theory for FedProx and its minibatch stochastic extension through the lens of algorithmic stability. As a result, we contribute to derive several new and deeper insights into FedProx for non-convex federated optimization including: 1) convergence guarantees independent on local dissimilarity type conditions; 2) convergence guarantees for non-smooth FL problems; and 3) linear speedup with respect to size of minibatch and number of sampled devices. Our theory for the first time reveals that local dissimilarity and smoothness are not must-have for FedProx to get favorable complexity bounds. Preliminary experimental results on a series of benchmark FL datasets are reported to demonstrate the benefit of minibatching for improving the sample efficiency of FedProx.
• Abstract（参考訳）: FedProxアルゴリズムは、異種データ上でのフェデレーション学習(FL)に広く用いられている、単純だが強力な分散近位点最適化手法である。 フェデプロックスの人気と顕著な成功にもかかわらず、フェデプロックスの理論的な理解は概ね過小評価されている:フェデプロックスの魅力的な収束挙動は、局所関数のある種の非標準的かつ非現実的異質な仮定の下で特徴づけられ、その結果は滑らかな最適化問題に限定されている。 これらの欠点を解消するために,feedprox の局所的不類似性不変収束理論とアルゴリズム安定性のレンズを通したミニバッチ確率拡張を開発した。 その結果、非凸フェデレーション最適化のためのFedProxに関するいくつかの新しい深い洞察を導出することに貢献する。 1) 局所的相似型条件に依存しない収束保証 2)非滑らかなFL問題に対する収束保証,及び 3)ミニバッチのサイズとサンプルデバイス数に関する線形速度アップ。 我々の理論では、局所的な相似性と滑らかさはfedproxが好ましい複雑性境界を得るのに必須ではないことを初めて明らかにした。 一連のベンチマークFLデータセットの予備実験結果が報告され、FedProxのサンプル効率を改善するためのミニバッチの利点を示す。

関連論文リスト

• Tighter Performance Theory of FedExProx [85.92481138826949]
  我々は最近提案した分散最適化法であるFedExProxを再検討し,外挿による並列アルゴリズムの収束特性の向上を図った。 非強凸二次問題に対して、より厳密な線形収束率を確立するための新しい解析フレームワークを開発する。 解析の応用性はPolyak-Lojasiewicz条件を満たす一般関数に拡張され、以前の強い凸解析よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-20T11:53:25Z)
• Byzantine-resilient Federated Learning Employing Normalized Gradients on Non-IID Datasets [23.640506243685863]
  実践的連合学習(FLNGA)では、悪意のある攻撃やデータ不均一性の存在が学習プロセスにバイアスをもたらすことが多い。 本稿では、アップロードされた局所勾配をアグリゲーションの前に正規化する正規化勾配単位(Fed-M)モデルを提案し、$mathcalO(pM)$を達成した。
  論文  参考訳（メタデータ） (2024-08-18T16:50:39Z)
• FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
  我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。 我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2022-12-14T13:57:01Z)
• Achieving Statistical Optimality of Federated Learning: Beyond Stationary Points [19.891597817559038]
  Federated Learning(FL)は、プライバシ保護とクラウドでの計算負荷の低減に大きな可能性を持つ、有望なフレームワークである。 最近の研究は、(1)その固定点が元の最適化問題の定常点に対応していないこと、(2)見いだされた共通モデルが局所的にうまく一般化できないこと、の2つの方法に対する懸念を提起している。 一般的なカーネル回帰設定では、FedAvgとFedProxの両方が極小最大誤差率に収束することを示す。
  論文  参考訳（メタデータ） (2021-06-29T09:59:43Z)
• Distributionally Robust Federated Averaging [19.875176871167966]
  適応サンプリングを用いた堅牢な学習周期平均化のためのコミュニケーション効率の高い分散アルゴリズムを提案する。 我々は、フェデレーション学習環境における理論的結果に関する実験的証拠を裏付ける。
  論文  参考訳（メタデータ） (2021-02-25T03:32:09Z)
• A Unified Linear Speedup Analysis of Federated Averaging and Nesterov FedAvg [49.76940694847521]
  フェデレーションラーニング(FL)は、互いにプライベートに保持されたデータを共有せずに、参加する一連のデバイスからモデルを共同で学習する。 本稿では,FedAvg(Federated Averaging, FedAvg)に焦点をあてる。 また,FedAvgは収束率や通信効率が異なるが,各ケースで線形スピードアップを享受していることを示す。
  論文  参考訳（メタデータ） (2020-07-11T05:59:08Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)
• FedDANE: A Federated Newton-Type Method [49.9423212899788]
  フェデレートラーニングは、大規模分散データセット上で低統計モデルを共同で学習することを目的としている。 我々は、フェデレーション学習を扱うために、DANEから適応する最適化であるFedDANEを提案する。
  論文  参考訳（メタデータ） (2020-01-07T07:44:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。