論文の概要: An Optimization Framework for Federated Edge Learning
- arxiv url: http://arxiv.org/abs/2111.13526v1
- Date: Fri, 26 Nov 2021 14:47:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-29 17:16:34.252314
- Title: An Optimization Framework for Federated Edge Learning
- Title（参考訳）: フェデレーションエッジ学習のための最適化フレームワーク
- Authors: Yangchen Li, Ying Cui, and Vincent Lau
- Abstract要約: 本稿では,サーバとワーカが異なる計算能力と通信能力を持つエッジコンピューティングシステムについて考察する。
我々はまず,グローバルおよびローカル反復数,ミニバッチサイズ,ステップサイズシーケンスによってパラメータ化された一般FLアルゴリズム,すなわちGenQSGDを提案する。
- 参考スコア（独自算出の注目度）: 11.007444733506714
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The optimal design of federated learning (FL) algorithms for solving general
machine learning (ML) problems in practical edge computing systems with
quantized message passing remains an open problem. This paper considers an edge
computing system where the server and workers have possibly different computing
and communication capabilities and employ quantization before transmitting
messages. To explore the full potential of FL in such an edge computing system,
we first present a general FL algorithm, namely GenQSGD, parameterized by the
numbers of global and local iterations, mini-batch size, and step size
sequence. Then, we analyze its convergence for an arbitrary step size sequence
and specify the convergence results under three commonly adopted step size
rules, namely the constant, exponential, and diminishing step size rules. Next,
we optimize the algorithm parameters to minimize the energy cost under the time
constraint and convergence error constraint, with the focus on the overall
implementing process of FL. Specifically, for any given step size sequence
under each considered step size rule, we optimize the numbers of global and
local iterations and mini-batch size to optimally implement FL for applications
with preset step size sequences. We also optimize the step size sequence along
with these algorithm parameters to explore the full potential of FL. The
resulting optimization problems are challenging non-convex problems with
non-differentiable constraint functions. We propose iterative algorithms to
obtain KKT points using general inner approximation (GIA) and tricks for
solving complementary geometric programming (CGP). Finally, we numerically
demonstrate the remarkable gains of GenQSGD with optimized algorithm parameters
over existing FL algorithms and reveal the significance of optimally designing
general FL algorithms.
- Abstract（参考訳）: 量子化されたメッセージパッシングを伴う実用エッジコンピューティングシステムにおける一般機械学習(ml)問題を解決するためのフェデレーション学習(fl)アルゴリズムの最適設計は、まだ未解決の問題である。
本稿では,サーバとワーカが異なる計算能力を持ち,送信前に量子化を利用するエッジコンピューティングシステムについて考察する。
このようなエッジコンピューティングシステムにおけるflのポテンシャルの完全性を探るために,まず,グローバルおよびローカルイテレーション数,ミニバッチサイズ,ステップサイズシーケンスによってパラメータ化されるgenqsgdという一般的なflアルゴリズムを提案する。
次に、任意のステップサイズ列に対する収束を分析し、その収束結果を3つの一般的なステップサイズルール、すなわち定数、指数関数、および減少するステップサイズルールで指定する。
次に,時間制約および収束誤差制約の下でのエネルギーコストを最小化するアルゴリズムパラメータを最適化し,FLの全体実装プロセスに焦点をあてる。
具体的には、各ステップサイズルールに基づく任意のステップサイズシーケンスに対して、事前設定されたステップサイズシーケンスを持つアプリケーションに対して、グローバルおよびローカルイテレーションの数とミニバッチサイズを最適化し、FLを最適に実装する。
また、これらのアルゴリズムパラメータとともにステップサイズシーケンスを最適化し、flのポテンシャルを完全に探究する。
結果として生じる最適化問題は、微分不能な制約関数を持つ非凸問題に対する挑戦である。
一般内近似(GIA)と相補的幾何プログラミング(CGP)の解法を用いてKKT点を求める反復アルゴリズムを提案する。
最後に、既存のFLアルゴリズムよりも最適化されたアルゴリズムパラメータを用いたGenQSGDの顕著な利点を数値的に示し、汎用FLアルゴリズムを最適に設計することの重要性を明らかにする。
関連論文リスト
- Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-04T01:47:37Z) - Accelerating Cutting-Plane Algorithms via Reinforcement Learning
Surrogates [49.84541884653309]
凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。
多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。
そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
論文 参考訳（メタデータ） (2023-07-17T20:11:56Z) - GQFedWAvg: Optimization-Based Quantized Federated Learning in General
Edge Computing Systems [11.177402054314674]
エッジコンピューティングにおけるフェデレートラーニング(FL)の最適実装は際立った問題であった。
一般エッジコンピューティングシステムと一様あるいは一様でない計算・通信システムとを適切に適合させることができる最適化量子化FLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-06-13T02:18:24Z) - Iterative-Free Quantum Approximate Optimization Algorithm Using Neural
Networks [20.051757447006043]
そこで本稿では,ニューラルネットワークを用いて与えられた問題に対して,より優れたパラメータを求めるための実践的手法を提案する。
我々の手法は一貫して収束し、最終結果も最高速である。
論文 参考訳（メタデータ） (2022-08-21T14:05:11Z) - Optimization-Based GenQSGD for Federated Edge Learning [12.371264770814097]
我々は、連合学習(FL)のための一般化された並列最小バッチ収束降下(SGD)アルゴリズムを提案する。
我々は,時間収束誤差の下でのエネルギーコストを最小限に抑えるために,アルゴリズムパラメータを最適化する。
その結果,既存のFLアルゴリズムよりも有意な利得が得られた。
論文 参考訳（メタデータ） (2021-10-25T14:25:11Z) - DESTRESS: Computation-Optimal and Communication-Efficient Decentralized
Nonconvex Finite-Sum Optimization [43.31016937305845]
インターネット・オブ・シング、ネットワークセンシング、自律システム、有限サム最適化のための分散アルゴリズムのためのフェデレーション学習。
非有限サム最適化のためのDecentralized STochastic Recursive MethodDESTRESSを開発した。
詳細な理論的および数値的な比較は、DESTRESSが事前の分散アルゴリズムにより改善されていることを示している。
論文 参考訳（メタデータ） (2021-10-04T03:17:41Z) - Quantum constraint learning for quantum approximate optimization
algorithm [0.0]
本稿では,探索部分空間を厳しく制約するミキサーハミルトンを学習するための量子機械学習手法を提案する。
学習したユニタリを直接適応可能なアンサッツを使用してQAOAフレームワークにプラグインすることができる。
また,Wasserstein距離を用いた近似最適化アルゴリズムの性能を,制約なしで評価する直感的計量法を開発した。
論文 参考訳（メタデータ） (2021-05-14T11:31:14Z) - Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。
我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。
すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
論文 参考訳（メタデータ） (2020-10-01T18:14:11Z) - Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding
Design for Multiuser MIMO Systems [59.804810122136345]
本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。
古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。
提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
論文 参考訳（メタデータ） (2020-06-15T02:57:57Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳（メタデータ） (2020-06-11T17:43:19Z) - Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
適応性は現代最適化理論において重要であるが、研究されていない性質である。
提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
論文 参考訳（メタデータ） (2020-02-13T05:42:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。