論文の概要: GQFedWAvg: Optimization-Based Quantized Federated Learning in General Edge Computing Systems

• arxiv url: http://arxiv.org/abs/2306.07497v2
• Date: Sat, 18 Nov 2023 11:43:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 19:13:16.113321
• Title: GQFedWAvg: Optimization-Based Quantized Federated Learning in General Edge Computing Systems
• Title（参考訳）: gqfedwavg: エッジコンピューティングシステムにおける最適化に基づく量子化連合学習
• Authors: Yangchen Li, Ying Cui, and Vincent Lau
• Abstract要約: エッジコンピューティングにおけるフェデレートラーニング(FL)の最適実装は際立った問題であった。 一般エッジコンピューティングシステムと一様あるいは一様でない計算・通信システムとを適切に適合させることができる最適化量子化FLアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 11.177402054314674
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The optimal implementation of federated learning (FL) in practical edge computing systems has been an outstanding problem. In this paper, we propose an optimization-based quantized FL algorithm, which can appropriately fit a general edge computing system with uniform or nonuniform computing and communication resources at the workers. Specifically, we first present a new random quantization scheme and analyze its properties. Then, we propose a general quantized FL algorithm, namely GQFedWAvg. Specifically, GQFedWAvg applies the proposed quantization scheme to quantize wisely chosen model update-related vectors and adopts a generalized mini-batch stochastic gradient descent (SGD) method with the weighted average local model updates in global model aggregation. Besides, GQFedWAvg has several adjustable algorithm parameters to flexibly adapt to the computing and communication resources at the server and workers. We also analyze the convergence of GQFedWAvg. Next, we optimize the algorithm parameters of GQFedWAvg to minimize the convergence error under the time and energy constraints. We successfully tackle the challenging non-convex problem using general inner approximation (GIA) and multiple delicate tricks. Finally, we interpret GQFedWAvg's function principle and show its considerable gains over existing FL algorithms using numerical results.
• Abstract（参考訳）: 実用エッジコンピューティングシステムにおけるフェデレートラーニング(FL)の最適実装は際立った問題であった。 本稿では,汎用エッジコンピューティングシステムに対して,作業者の一様あるいは非一様計算と通信資源を適切に適合させることができる最適化に基づく量子化flアルゴリズムを提案する。 具体的には,まず新しいランダム量子化スキームを示し,その性質を解析した。 そこで我々はGQFedWAvgという一般量子化FLアルゴリズムを提案する。 具体的には、GQFedWAvgが提案した量子化スキームを適用して、適切に選択されたモデル更新関連ベクトルを定量化し、グローバルモデルアグリゲーションにおける平均局所モデル更新を重み付けした一般化されたミニバッチ確率勾配勾配(SGD)法を採用する。 さらに、GQFedWAvgには、サーバやワーカのコンピューティングおよび通信リソースに柔軟に適応する、いくつかの調整可能なアルゴリズムパラメータがある。 また、GQFedWAvgの収束も解析する。 次に,gqfedwavgのアルゴリズムパラメータを最適化し,時間およびエネルギー制約下での収束誤差を最小化する。 我々は、一般内積近似(GIA)と複数の微妙なトリックを用いて、難解な非凸問題に取り組むことに成功した。 最後に, gqfedwavg の関数原理を解釈し, 計算結果を用いて既存の fl アルゴリズムに対するその有意な向上を示す。

関連論文リスト

• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• AskewSGD : An Annealed interval-constrained Optimisation method to train Quantized Neural Networks [12.229154524476405]
  我々は、深層ニューラルネットワーク(DNN)を量子化重みでトレーニングするための新しいアルゴリズム、Annealed Skewed SGD - AskewSGDを開発した。 アクティブなセットと実行可能な方向を持つアルゴリズムとは異なり、AskewSGDは実行可能な全セットの下でのプロジェクションや最適化を避けている。 実験結果から,AskewSGDアルゴリズムは古典的ベンチマークの手法と同等以上の性能を示した。
  論文  参考訳（メタデータ） (2022-11-07T18:13:44Z)
• On the Convergence to a Global Solution of Shuffling-Type Gradient Algorithms [18.663264755108703]
  勾配降下アルゴリズム (SGD) は、多くの機械学習タスクにおいて選択の方法である。 本稿では,SGDが凸設定として望まれる計算一般複雑性を達成したことを示す。
  論文  参考訳（メタデータ） (2022-06-13T01:25:59Z)
• An Optimization Framework for Federated Edge Learning [11.007444733506714]
  本稿では,サーバとワーカが異なる計算能力と通信能力を持つエッジコンピューティングシステムについて考察する。 我々はまず,グローバルおよびローカル反復数,ミニバッチサイズ,ステップサイズシーケンスによってパラメータ化された一般FLアルゴリズム,すなわちGenQSGDを提案する。
  論文  参考訳（メタデータ） (2021-11-26T14:47:32Z)
• Optimization-Based GenQSGD for Federated Edge Learning [12.371264770814097]
  我々は、連合学習(FL)のための一般化された並列最小バッチ収束降下(SGD)アルゴリズムを提案する。 我々は,時間収束誤差の下でのエネルギーコストを最小限に抑えるために,アルゴリズムパラメータを最適化する。 その結果,既存のFLアルゴリズムよりも有意な利得が得られた。
  論文  参考訳（メタデータ） (2021-10-25T14:25:11Z)
• AsySQN: Faster Vertical Federated Learning Algorithms with Better Computation Resource Utilization [159.75564904944707]
  垂直連合学習(VFL)のための非同期準ニュートン(AsySQN)フレームワークを提案する。 提案アルゴリズムは、逆ヘッセン行列を明示的に計算することなく、近似して降下ステップをスケールする。 本稿では,非同期計算を採用することにより,計算資源の有効利用が期待できることを示す。
  論文  参考訳（メタデータ） (2021-09-26T07:56:10Z)
• Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding Design for Multiuser MIMO Systems [59.804810122136345]
  本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。 古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。 提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
  論文  参考訳（メタデータ） (2020-06-15T02:57:57Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)
• Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
  適応性は現代最適化理論において重要であるが、研究されていない性質である。 提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
  論文  参考訳（メタデータ） (2020-02-13T05:42:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。