Fugu-MT 論文翻訳(概要): FedExP: Speeding up Federated Averaging Via Extrapolation

論文の概要: FedExP: Speeding up Federated Averaging Via Extrapolation

arxiv url: http://arxiv.org/abs/2301.09604v1
Date: Mon, 23 Jan 2023 18:10:22 GMT
ステータス: 処理完了
システム内更新日: 2023-01-24 12:49:29.179107
Title: FedExP: Speeding up Federated Averaging Via Extrapolation
Title（参考訳）: fedexp:外挿で平均フェデレーションを高速化
Authors: Divyansh Jhunjhunwala, Shiqiang Wang, Gauri Joshi
Abstract要約: Federated Averaging (FedAvg) は、Federated Learning (FL) 最適化の最も一般的なアルゴリズムである。最近の研究は、FedAvgにおけるステートレス凸平均化を一般化されたバニラ降下に一般化している。動的に変化する擬似次数に基づいてFLのサーバステップサイズを適応的に決定するFedExPを提案する。
参考スコア（独自算出の注目度）: 18.121818810252083
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated Averaging (FedAvg) remains the most popular algorithm for Federated Learning (FL) optimization due to its simple implementation, stateless nature, and privacy guarantees combined with secure aggregation. Recent work has sought to generalize the vanilla averaging in FedAvg to a generalized gradient descent step by treating client updates as pseudo-gradients and using a server step size. While the use of a server step size has been shown to provide performance improvement theoretically, the practical benefit of the server step size has not been seen in most existing works. In this work, we present FedExP, a method to adaptively determine the server step size in FL based on dynamically varying pseudo-gradients throughout the FL process. We begin by considering the overparameterized convex regime, where we reveal an interesting similarity between FedAvg and the Projection Onto Convex Sets (POCS) algorithm. We then show how FedExP can be motivated as a novel extension to the extrapolation mechanism that is used to speed up POCS. Our theoretical analysis later also discusses the implications of FedExP in underparameterized and non-convex settings. Experimental results show that FedExP consistently converges faster than FedAvg and competing baselines on a range of realistic FL datasets.
Abstract（参考訳）: Federated Averaging(FedAvg)は、シンプルな実装、ステートレスな性質、プライバシ保証とセキュアなアグリゲーションを組み合わせたため、Federated Learning(FL)最適化の最も一般的なアルゴリズムである。最近の研究は、クライアントの更新を擬似段階として扱い、サーバのステップサイズを用いて、FedAvgのバニラ平均化を一般化した勾配降下ステップに一般化しようと試みている。サーバステップサイズの使用は理論的にパフォーマンス改善をもたらすことが示されているが、サーバステップサイズの実用的メリットは、既存のほとんどの作業では見られていない。本稿では、FLプロセス全体を通して動的に変化する擬似階調に基づいて、FLにおけるサーバステップサイズを適応的に決定するFedExPを提案する。我々は、FedAvgとPOCS(Projection Onto Convex Sets)アルゴリズムの興味深い類似性を明らかにするために、過パラメータ化された凸系を考えることから始める。次に、POCSの高速化に使用される外挿機構の新たな拡張としてFedExPを動機付ける方法を示す。また,FedExPのパラメータ下および非凸状態における影響についても理論的に検討した。実験結果から,FedExPはFedAvgよりも一貫して収束し,現実的なFLデータセットをベースラインとして競合することがわかった。

関連論文リスト

Fed-CVLC: Compressing Federated Learning Communications with Variable-Length Codes [54.18186259484828]
フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。 FLの圧縮には可変長が有用であることを示す。本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
論文参考訳（メタデータ） (2024-02-06T07:25:21Z)
Leveraging Function Space Aggregation for Federated Learning at Scale [20.866482460590973]
クライアントが学習した関数に対する局所近似を集約するアルゴリズムであるFedFishを提案する。我々はFedFishを、現実的で大規模なクロスデバイスベンチマークで評価する。
論文参考訳（メタデータ） (2023-11-17T02:37:10Z)
FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
論文参考訳（メタデータ） (2023-10-04T21:11:40Z)
FedSpeed: Larger Local Interval, Less Communication Round, and Higher Generalization Accuracy [84.45004766136663]
フェデレートラーニング(Federated Learning)は、分散機械学習フレームワークである。これは、局所的不整合最適と局所的過度な適合による頑丈なクライアントドリフトによってもたらされる非消滅バイアスに悩まされる。本稿では,これらの問題による負の影響を軽減するために,新しい実用的手法であるFedSpeedを提案する。
論文参考訳（メタデータ） (2023-02-21T03:55:29Z)
FedDA: Faster Framework of Local Adaptive Gradient Methods via Restarted Dual Averaging [104.41634756395545]
フェデレートラーニング(Federated Learning, FL)は、大規模な分散データに取り組むための新たな学習パラダイムである。局所適応勾配法のための新しいフレームワークである textbfFedDA を提案する。 textbfFedDA-MVR は適応FLアルゴリズムとしては初めてこの速度を実現することを示す。
論文参考訳（メタデータ） (2023-02-13T05:10:30Z)
Analysis of Error Feedback in Federated Non-Convex Optimization with Biased Compression [37.6593006747285]
学習サーバ(FL)システムでは、クライアントと中心的ボトルネックの間の通信コストが高くなる。本稿では,バイアス圧縮の欠点を解消する手法を提案する。部分的な参加の下では、いわゆる「ストールエラー蓄積」効果により、余分なスローダウン係数が発達する。
論文参考訳（メタデータ） (2022-11-25T18:49:53Z)
A General Theory for Federated Optimization with Asynchronous and Heterogeneous Clients Updates [10.609815608017065]
我々は、クライアント更新時間の変動を表すために集約重みを導入し、標準のFedAvgアグリゲーションスキームを拡張した。私たちのフォーマリズムは、クライアントが不均一なデータセットを持ち、少なくとも1ステップの勾配降下を行う、一般的な連邦設定に適用されます。我々は,FedAvgの新たな拡張であるFedFixを開発し,同期アグリゲーションの収束安定性を維持しつつ,効率的な非同期フェデレーショントレーニングを実現する。
論文参考訳（メタデータ） (2022-06-21T08:46:05Z)
FedAvg with Fine Tuning: Local Updates Lead to Representation Learning [54.65133770989836]
Federated Averaging (FedAvg)アルゴリズムは、クライアントノードでのいくつかのローカルな勾配更新と、サーバでのモデル平均更新の交互化で構成されている。我々は、FedAvgの出力の一般化の背景には、クライアントのタスク間の共通データ表現を学習する能力があることを示す。異種データを用いたフェデレーション画像分類におけるFedAvgの表現学習能力を示す実証的証拠も提供する。
論文参考訳（メタデータ） (2022-05-27T00:55:24Z)
Sparse Federated Learning with Hierarchical Personalized Models [24.763028713043468]
フェデレートラーニング(FL)は、ユーザのプライベートデータを収集することなく、プライバシセーフで信頼性の高い協調トレーニングを実現する。階層型パーソナライズされたモデルを用いたスパースフェデレーション学習(sFedHP)という,モロー包絡に基づく階層型近位写像を用いたパーソナライズされたFLアルゴリズムを提案する。また、連続的に微分可能な近似L1ノルムをスパース制約として使用して通信コストを低減させる。
論文参考訳（メタデータ） (2022-03-25T09:06:42Z)
Federated Composite Optimization [28.11253930828807]
Federated Learning(FL)は、デバイス上での学習を協調的にプライベートにスケールする分散学習パラダイムである。 FedAvgのような標準FLアルゴリズムは、主にスムーズな制約のない設定に向けられている。本稿では,新しいサーバの二重平均化手法を用いることで,プライマリ・デュアル平均化の呪いを回避できる新しいプライマリ・デュアル平均化アルゴリズムであるフェデレート・デュアル平均化(FedDual Avg)を提案する。
論文参考訳（メタデータ） (2020-11-17T06:54:06Z)
A Unified Linear Speedup Analysis of Federated Averaging and Nesterov FedAvg [49.76940694847521]
フェデレーションラーニング(FL)は、互いにプライベートに保持されたデータを共有せずに、参加する一連のデバイスからモデルを共同で学習する。本稿では,FedAvg(Federated Averaging, FedAvg)に焦点をあてる。また,FedAvgは収束率や通信効率が異なるが,各ケースで線形スピードアップを享受していることを示す。
論文参考訳（メタデータ） (2020-07-11T05:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。