論文の概要: Optimization-Based GenQSGD for Federated Edge Learning

• arxiv url: http://arxiv.org/abs/2110.12987v1
• Date: Mon, 25 Oct 2021 14:25:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-26 16:50:02.494300
• Title: Optimization-Based GenQSGD for Federated Edge Learning
• Title（参考訳）: フェデレーションエッジ学習のための最適化に基づくGenQSGD
• Authors: Yangchen Li, Ying Cui, Vincent Lau
• Abstract要約: 我々は、連合学習(FL)のための一般化された並列最小バッチ収束降下(SGD)アルゴリズムを提案する。 我々は,時間収束誤差の下でのエネルギーコストを最小限に抑えるために,アルゴリズムパラメータを最適化する。 その結果,既存のFLアルゴリズムよりも有意な利得が得られた。
• 参考スコア（独自算出の注目度）: 12.371264770814097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimal algorithm design for federated learning (FL) remains an open problem. This paper explores the full potential of FL in practical edge computing systems where workers may have different computation and communication capabilities, and quantized intermediate model updates are sent between the server and workers. First, we present a general quantized parallel mini-batch stochastic gradient descent (SGD) algorithm for FL, namely GenQSGD, which is parameterized by the number of global iterations, the numbers of local iterations at all workers, and the mini-batch size. We also analyze its convergence error for any choice of the algorithm parameters. Then, we optimize the algorithm parameters to minimize the energy cost under the time constraint and convergence error constraint. The optimization problem is a challenging non-convex problem with non-differentiable constraint functions. We propose an iterative algorithm to obtain a KKT point using advanced optimization techniques. Numerical results demonstrate the significant gains of GenQSGD over existing FL algorithms and reveal the importance of optimally designing FL algorithms.
• Abstract（参考訳）: フェデレーション学習(FL)のための最適アルゴリズム設計は未解決の問題である。 本稿では,作業者が異なる計算能力と通信能力を有し,サーバと作業者間で量子化された中間モデル更新が送信される,実用的なエッジコンピューティングシステムにおけるFLの可能性について検討する。 まず,大域的な反復数,全作業者の局所的な反復数,およびミニバッチサイズによってパラメータ化されるFLのための一般化並列最小バッチ確率勾配勾配(SGD)アルゴリズムを提案する。 また,アルゴリズムパラメータの任意の選択に対して収束誤差を解析する。 次に,時間制約および収束誤差制約の下でのエネルギーコストを最小化するアルゴリズムパラメータを最適化する。 最適化問題は、微分不能な制約関数を持つ非凸問題である。 高度な最適化手法を用いてKKT点を求める反復アルゴリズムを提案する。 計算結果は既存のflアルゴリズムに対するgenqsgdの有意な向上を示し、flアルゴリズムを最適に設計することの重要性を明らかにした。

関連論文リスト

• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• GQFedWAvg: Optimization-Based Quantized Federated Learning in General Edge Computing Systems [11.177402054314674]
  エッジコンピューティングにおけるフェデレートラーニング(FL)の最適実装は際立った問題であった。 一般エッジコンピューティングシステムと一様あるいは一様でない計算・通信システムとを適切に適合させることができる最適化量子化FLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-13T02:18:24Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• Adaptive Federated Minimax Optimization with Lower Complexities [82.51223883622552]
  本稿では,これらのミニマックス問題の解法として,適応最小最適化アルゴリズム(AdaFGDA)を提案する。 運動量に基づく還元および局所SGD技術を構築し、様々な適応学習率を柔軟に組み込む。
  論文  参考訳（メタデータ） (2022-11-14T12:32:18Z)
• Optimization-based Block Coordinate Gradient Coding for Mitigating Partial Stragglers in Distributed Learning [58.91954425047425]
  本稿では,分散学習における部分トラグラーの緩和を目的とした,新たな勾配符号化方式を提案する。 L の符号パラメータを L に表わした勾配座標符号化方式を提案する。
  論文  参考訳（メタデータ） (2022-06-06T09:25:40Z)
• An Optimization Framework for Federated Edge Learning [11.007444733506714]
  本稿では,サーバとワーカが異なる計算能力と通信能力を持つエッジコンピューティングシステムについて考察する。 我々はまず,グローバルおよびローカル反復数,ミニバッチサイズ,ステップサイズシーケンスによってパラメータ化された一般FLアルゴリズム,すなわちGenQSGDを提案する。
  論文  参考訳（メタデータ） (2021-11-26T14:47:32Z)
• DESTRESS: Computation-Optimal and Communication-Efficient Decentralized Nonconvex Finite-Sum Optimization [43.31016937305845]
  インターネット・オブ・シング、ネットワークセンシング、自律システム、有限サム最適化のための分散アルゴリズムのためのフェデレーション学習。 非有限サム最適化のためのDecentralized STochastic Recursive MethodDESTRESSを開発した。 詳細な理論的および数値的な比較は、DESTRESSが事前の分散アルゴリズムにより改善されていることを示している。
  論文  参考訳（メタデータ） (2021-10-04T03:17:41Z)
• Continuation Newton methods with deflation techniques for global optimization problems [3.705839280172101]
  最適化問題のグローバルな最小点はエンジニアリングである。 本稿では,この非線形大規模問題に対する新しいメメティックアルゴリズムについて考察する。 我々の数値実験によると、新しいアルゴリズムは制約のない未制約問題に対してうまく機能する。
  論文  参考訳（メタデータ） (2021-07-29T09:53:49Z)
• Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
  通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。 我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。 我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
  論文  参考訳（メタデータ） (2021-06-08T15:54:44Z)
• Decentralized and Model-Free Federated Learning: Consensus-Based Distillation in Function Space [7.627597166844701]
  本稿では,マルチホップネットワークを介して接続されたIoEデバイスのための分散FL方式を提案する。 CMFDはパラメータアグリゲーション法よりも安定性が高いことを示す。
  論文  参考訳（メタデータ） (2021-04-01T09:17:20Z)
• Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
  適応性は現代最適化理論において重要であるが、研究されていない性質である。 提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
  論文  参考訳（メタデータ） (2020-02-13T05:42:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。