論文の概要: Tighter Performance Theory of FedExProx
- arxiv url: http://arxiv.org/abs/2410.15368v1
- Date: Sun, 20 Oct 2024 11:53:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 13:19:50.059811
- Title: Tighter Performance Theory of FedExProx
- Title（参考訳）: FedExProxの高機能化理論
- Authors: Wojciech Anyszka, Kaja Gruntkowska, Alexander Tyurin, Peter Richtárik,
- Abstract要約: 我々は最近提案した分散最適化法であるFedExProxを再検討し,外挿による並列アルゴリズムの収束特性の向上を図った。
非強凸二次問題に対して、より厳密な線形収束率を確立するための新しい解析フレームワークを開発する。
解析の応用性はPolyak-Lojasiewicz条件を満たす一般関数に拡張され、以前の強い凸解析よりも優れていた。
- 参考スコア（独自算出の注目度）: 85.92481138826949
- License:
- Abstract: We revisit FedExProx - a recently proposed distributed optimization method designed to enhance convergence properties of parallel proximal algorithms via extrapolation. In the process, we uncover a surprising flaw: its known theoretical guarantees on quadratic optimization tasks are no better than those offered by the vanilla Gradient Descent (GD) method. Motivated by this observation, we develop a novel analysis framework, establishing a tighter linear convergence rate for non-strongly convex quadratic problems. By incorporating both computation and communication costs, we demonstrate that FedExProx can indeed provably outperform GD, in stark contrast to the original analysis. Furthermore, we consider partial participation scenarios and analyze two adaptive extrapolation strategies - based on gradient diversity and Polyak stepsizes - again significantly outperforming previous results. Moving beyond quadratics, we extend the applicability of our analysis to general functions satisfying the Polyak-Lojasiewicz condition, outperforming the previous strongly convex analysis while operating under weaker assumptions. Backed by empirical results, our findings point to a new and stronger potential of FedExProx, paving the way for further exploration of the benefits of extrapolation in federated learning.
- Abstract（参考訳）: 我々は最近提案された分散最適化法であるFedExProxを再検討し、外挿による並列近似アルゴリズムの収束性を高める。
二次最適化タスクに関する既知の理論上の保証は、バニラグラディエント・ディフレクション(GD)法で提供されるものほど良くない。
そこで本研究では,非強凸2次問題に対するより厳密な線形収束率の確立を目的とした,新しい解析枠組みを構築した。
計算コストと通信コストを両立させることで,FedExProxがGDより優れていることを示す。
さらに、部分的な参加シナリオを考察し、勾配の多様性とポリアクのステップサイズに基づく2つの適応的外挿戦略を解析し、以前の結果よりも大幅に上回った。
二次論を超えて、我々は解析の適用性をポリアック・ロジャシエヴィチ条件を満たす一般関数に拡張し、より弱い仮定の下で動作しながら、以前の強い凸解析より優れている。
実験結果から得られた知見は,フェデックスの新たな,より強力な可能性を示し,フェデレーション学習における外挿のメリットをさらに探求する道を開いた。
関連論文リスト
- Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。
我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。
本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
論文 参考訳（メタデータ） (2023-12-07T15:55:58Z) - On Convergence of FedProx: Local Dissimilarity Invariant Bounds,
Non-smoothness and Beyond [41.082982732100696]
我々はFedProxの収束理論とアルゴリズム安定性のレンズによるミニバッチ拡張の新しい局所的な相似性を開発する。
一連のベンチマークFLデータセットの予備実験結果が報告され、FedProxのサンプル効率を改善するためのミニバッチの利点を示す。
論文 参考訳（メタデータ） (2022-06-10T15:35:10Z) - Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
平均場ランゲヴィン力学の収束速度解析について述べる。
ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
論文 参考訳（メタデータ） (2022-01-25T17:13:56Z) - Finite Sample Analysis of Minimax Offline Reinforcement Learning:
Completeness, Fast Rates and First-Order Efficiency [83.02999769628593]
強化学習におけるオフ・ポリティィ・アセスメント(OPE)の理論的特徴について述べる。
ミニマックス法により、重みと品質関数の高速収束を実現することができることを示す。
非タブラル環境における1次効率を持つ最初の有限サンプル結果を示す。
論文 参考訳（メタデータ） (2021-02-05T03:20:39Z) - Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave
Min-Max Problems with PL Condition [52.08417569774822]
本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
論文 参考訳（メタデータ） (2020-06-12T00:32:21Z) - Better Theory for SGD in the Nonconvex World [2.6397379133308214]
大規模な非最適化問題は、現代の機械学習ではユビキタスである。
我々は, 広範囲の合成ミニバッチサイズがグラディエントDescent (SG) 問題に与える影響について実験を行った。
論文 参考訳（メタデータ） (2020-02-09T09:56:06Z) - FedDANE: A Federated Newton-Type Method [49.9423212899788]
フェデレートラーニングは、大規模分散データセット上で低統計モデルを共同で学習することを目的としている。
我々は、フェデレーション学習を扱うために、DANEから適応する最適化であるFedDANEを提案する。
論文 参考訳（メタデータ） (2020-01-07T07:44:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。