Fugu-MT 論文翻訳(概要): FedExP: Speeding up Federated Averaging Via Extrapolation

論文の概要: FedExP: Speeding up Federated Averaging Via Extrapolation

arxiv url: http://arxiv.org/abs/2301.09604v1
Date: Mon, 23 Jan 2023 18:10:22 GMT
ステータス: 処理完了
システム内更新日: 2023-01-24 12:49:29.179107
Title: FedExP: Speeding up Federated Averaging Via Extrapolation
Title（参考訳）: fedexp:外挿で平均フェデレーションを高速化
Authors: Divyansh Jhunjhunwala, Shiqiang Wang, Gauri Joshi
Abstract要約: Federated Averaging (FedAvg) は、Federated Learning (FL) 最適化の最も一般的なアルゴリズムである。最近の研究は、FedAvgにおけるステートレス凸平均化を一般化されたバニラ降下に一般化している。動的に変化する擬似次数に基づいてFLのサーバステップサイズを適応的に決定するFedExPを提案する。
参考スコア（独自算出の注目度）: 18.121818810252083
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated Averaging (FedAvg) remains the most popular algorithm for Federated Learning (FL) optimization due to its simple implementation, stateless nature, and privacy guarantees combined with secure aggregation. Recent work has sought to generalize the vanilla averaging in FedAvg to a generalized gradient descent step by treating client updates as pseudo-gradients and using a server step size. While the use of a server step size has been shown to provide performance improvement theoretically, the practical benefit of the server step size has not been seen in most existing works. In this work, we present FedExP, a method to adaptively determine the server step size in FL based on dynamically varying pseudo-gradients throughout the FL process. We begin by considering the overparameterized convex regime, where we reveal an interesting similarity between FedAvg and the Projection Onto Convex Sets (POCS) algorithm. We then show how FedExP can be motivated as a novel extension to the extrapolation mechanism that is used to speed up POCS. Our theoretical analysis later also discusses the implications of FedExP in underparameterized and non-convex settings. Experimental results show that FedExP consistently converges faster than FedAvg and competing baselines on a range of realistic FL datasets.
Abstract（参考訳）: Federated Averaging(FedAvg)は、シンプルな実装、ステートレスな性質、プライバシ保証とセキュアなアグリゲーションを組み合わせたため、Federated Learning(FL)最適化の最も一般的なアルゴリズムである。最近の研究は、クライアントの更新を擬似段階として扱い、サーバのステップサイズを用いて、FedAvgのバニラ平均化を一般化した勾配降下ステップに一般化しようと試みている。サーバステップサイズの使用は理論的にパフォーマンス改善をもたらすことが示されているが、サーバステップサイズの実用的メリットは、既存のほとんどの作業では見られていない。本稿では、FLプロセス全体を通して動的に変化する擬似階調に基づいて、FLにおけるサーバステップサイズを適応的に決定するFedExPを提案する。我々は、FedAvgとPOCS(Projection Onto Convex Sets)アルゴリズムの興味深い類似性を明らかにするために、過パラメータ化された凸系を考えることから始める。次に、POCSの高速化に使用される外挿機構の新たな拡張としてFedExPを動機付ける方法を示す。また,FedExPのパラメータ下および非凸状態における影響についても理論的に検討した。実験結果から,FedExPはFedAvgよりも一貫して収束し,現実的なFLデータセットをベースラインとして競合することがわかった。

関連論文リスト

FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文参考訳（メタデータ） (2022-12-14T13:57:01Z)
Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文参考訳（メタデータ） (2022-12-03T03:27:51Z)
Analysis of Error Feedback in Federated Non-Convex Optimization with Biased Compression [37.6593006747285]
学習サーバ(FL)システムでは、クライアントと中心的ボトルネックの間の通信コストが高くなる。本稿では,バイアス圧縮の欠点を解消する手法を提案する。部分的な参加の下では、いわゆる「ストールエラー蓄積」効果により、余分なスローダウン係数が発達する。
論文参考訳（メタデータ） (2022-11-25T18:49:53Z)
A General Theory for Federated Optimization with Asynchronous and Heterogeneous Clients Updates [10.609815608017065]
我々は、クライアント更新時間の変動を表すために集約重みを導入し、標準のFedAvgアグリゲーションスキームを拡張した。私たちのフォーマリズムは、クライアントが不均一なデータセットを持ち、少なくとも1ステップの勾配降下を行う、一般的な連邦設定に適用されます。我々は,FedAvgの新たな拡張であるFedFixを開発し,同期アグリゲーションの収束安定性を維持しつつ,効率的な非同期フェデレーショントレーニングを実現する。
論文参考訳（メタデータ） (2022-06-21T08:46:05Z)
On Convergence of FedProx: Local Dissimilarity Invariant Bounds, Non-smoothness and Beyond [41.082982732100696]
我々はFedProxの収束理論とアルゴリズム安定性のレンズによるミニバッチ拡張の新しい局所的な相似性を開発する。一連のベンチマークFLデータセットの予備実験結果が報告され、FedProxのサンプル効率を改善するためのミニバッチの利点を示す。
論文参考訳（メタデータ） (2022-06-10T15:35:10Z)
FedAvg with Fine Tuning: Local Updates Lead to Representation Learning [54.65133770989836]
Federated Averaging (FedAvg)アルゴリズムは、クライアントノードでのいくつかのローカルな勾配更新と、サーバでのモデル平均更新の交互化で構成されている。我々は、FedAvgの出力の一般化の背景には、クライアントのタスク間の共通データ表現を学習する能力があることを示す。異種データを用いたフェデレーション画像分類におけるFedAvgの表現学習能力を示す実証的証拠も提供する。
論文参考訳（メタデータ） (2022-05-27T00:55:24Z)
Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文参考訳（メタデータ） (2020-12-07T21:05:31Z)
Federated Composite Optimization [28.11253930828807]
Federated Learning(FL)は、デバイス上での学習を協調的にプライベートにスケールする分散学習パラダイムである。 FedAvgのような標準FLアルゴリズムは、主にスムーズな制約のない設定に向けられている。本稿では,新しいサーバの二重平均化手法を用いることで,プライマリ・デュアル平均化の呪いを回避できる新しいプライマリ・デュアル平均化アルゴリズムであるフェデレート・デュアル平均化(FedDual Avg)を提案する。
論文参考訳（メタデータ） (2020-11-17T06:54:06Z)
Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文参考訳（メタデータ） (2020-09-27T08:28:25Z)
Federated Learning with Nesterov Accelerated Gradient Momentum Method [47.49442006239034]
Federated Learning(FL)は、複数のワーカーが分散データセットに基づいてグローバルモデルをトレーニングできる、迅速な開発技術である。 Nesterov Accelerated Gradient (NAG) が集中トレーニング環境においてより有利であることはよく知られている。本研究では,NAGに基づくFLのバージョンに着目し,詳細な収束解析を行う。
論文参考訳（メタデータ） (2020-09-18T09:38:11Z)
A Unified Linear Speedup Analysis of Stochastic FedAvg and Nesterov Accelerated FedAvg [43.15502689098102]
フェデレーションラーニング(FL)は、互いにプライベートに保持されたデータを共有せずに、参加する一連のデバイスからモデルを共同で学習する。フェデレート平均化 (FedAvg) に着目し、その収束率を統一的かつ包括的に研究する。
論文参考訳（メタデータ） (2020-07-11T05:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。