Fugu-MT 論文翻訳(概要): Federated Composite Optimization

論文の概要: Federated Composite Optimization

arxiv url: http://arxiv.org/abs/2011.08474v3
Date: Sat, 5 Jun 2021 06:32:27 GMT
ステータス: 処理完了
システム内更新日: 2022-09-24 16:19:32.614598
Title: Federated Composite Optimization
Title（参考訳）: フェデレート複合最適化
Authors: Honglin Yuan, Manzil Zaheer, Sashank Reddi
Abstract要約: Federated Learning(FL)は、デバイス上での学習を協調的にプライベートにスケールする分散学習パラダイムである。 FedAvgのような標準FLアルゴリズムは、主にスムーズな制約のない設定に向けられている。本稿では,新しいサーバの二重平均化手法を用いることで,プライマリ・デュアル平均化の呪いを回避できる新しいプライマリ・デュアル平均化アルゴリズムであるフェデレート・デュアル平均化(FedDual Avg)を提案する。
参考スコア（独自算出の注目度）: 28.11253930828807
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated Learning (FL) is a distributed learning paradigm that scales on-device learning collaboratively and privately. Standard FL algorithms such as FedAvg are primarily geared towards smooth unconstrained settings. In this paper, we study the Federated Composite Optimization (FCO) problem, in which the loss function contains a non-smooth regularizer. Such problems arise naturally in FL applications that involve sparsity, low-rank, monotonicity, or more general constraints. We first show that straightforward extensions of primal algorithms such as FedAvg are not well-suited for FCO since they suffer from the "curse of primal averaging," resulting in poor convergence. As a solution, we propose a new primal-dual algorithm, Federated Dual Averaging (FedDualAvg), which by employing a novel server dual averaging procedure circumvents the curse of primal averaging. Our theoretical analysis and empirical experiments demonstrate that FedDualAvg outperforms the other baselines.
Abstract（参考訳）: Federated Learning(FL)は、デバイス上での学習を協調的にプライベートにスケールする分散学習パラダイムである。 FedAvgのような標準FLアルゴリズムは、主にスムーズな制約のない設定に向けられている。本稿では,損失関数が非スムース正則化子を含むフェデレート複合最適化(fco)問題について検討する。このような問題は、疎度、低ランク、単調性、あるいはより一般的な制約を含むFLアプリケーションで自然に発生する。まず、fedavgのような素数アルゴリズムの直接的な拡張は「素数平均化の波」に苦しむため、fcoにはあまり適さないことを示した。そこで本研究では,新しいサーバ2重平均化手法を用いて,プライマリ・デュアル平均化の呪いを回避できる新しいアルゴリズムFedDual Averaging(FedDualAvg)を提案する。理論的解析と実証実験により,FedDualAvgが他のベースラインより優れていることが示された。

関連論文リスト

On Principled Local Optimization Methods for Federated Learning [2.628859872479184]
論文は、以下の3つの方向において、局所的手法の理論的基礎を前進させることを目的としている。まず、フェデレートラーニングで最も人気のあるアルゴリズムであるFedAvgのシャープバウンドを確立する。次に,FedAc(Federated Accelerated Descent)を提案する。
論文参考訳（メタデータ） (2024-01-24T03:57:45Z)
Escaping Saddle Points in Heterogeneous Federated Learning via Distributed SGD with Communication Compression [42.85797250438604]
本稿では,新しいエラーフィードバック方式により,圧縮された情報のみを伝達する新しいアルゴリズムPower-EFを提案する。 Power-EFは、データ均一性を仮定せずに不均一FLにおけるサドル点を確実に回避する最初の分散圧縮SGDアルゴリズムである。我々の理論は、ローカルデータに対するより寛容な設定を拡張しながら、以前の結果を改善・復元する。
論文参考訳（メタデータ） (2023-10-29T16:24:53Z)
FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
論文参考訳（メタデータ） (2023-10-04T21:11:40Z)
Preconditioned Federated Learning [7.7269332266153326]
Federated Learning(FL)は、コミュニケーションの効率的かつプライバシ保護の方法でモデルトレーニングを可能にする分散機械学習アプローチである。 FedAvgは、現代の一階適応最適化と比較してアルゴリズム適応性を欠いていると考えられている。局所適応性(PreFed)とサーバ側適応性(PreFedOp)の2つのフレームワークに基づく通信効率の高い新しいFLアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-09-20T14:58:47Z)
FedDA: Faster Framework of Local Adaptive Gradient Methods via Restarted Dual Averaging [104.41634756395545]
フェデレートラーニング(Federated Learning, FL)は、大規模な分散データに取り組むための新たな学習パラダイムである。局所適応勾配法のための新しいフレームワークである textbfFedDA を提案する。 textbfFedDA-MVR は適応FLアルゴリズムとしては初めてこの速度を実現することを示す。
論文参考訳（メタデータ） (2023-02-13T05:10:30Z)
Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文参考訳（メタデータ） (2022-12-03T03:27:51Z)
Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文参考訳（メタデータ） (2022-12-02T05:07:50Z)
A Convergence Theory for Federated Average: Beyond Smoothness [28.074273047592065]
フェデレートラーニングにより、大量のエッジコンピューティングデバイスが、データ共有を併用せずにモデルを学習できるようになる。この設定における主要なアルゴリズムとして、ローカルデバイス上でGradient Descent(SGD)を並列に実行するFederated Average FedAvgが広く使用されている。本稿では,フェデレートラーニングに関する理論的収束研究について述べる。
論文参考訳（メタデータ） (2022-11-03T04:50:49Z)
Achieving Statistical Optimality of Federated Learning: Beyond Stationary Points [19.891597817559038]
Federated Learning(FL)は、プライバシ保護とクラウドでの計算負荷の低減に大きな可能性を持つ、有望なフレームワークである。最近の研究は、(1)その固定点が元の最適化問題の定常点に対応していないこと、(2)見いだされた共通モデルが局所的にうまく一般化できないこと、の2つの方法に対する懸念を提起している。一般的なカーネル回帰設定では、FedAvgとFedProxの両方が極小最大誤差率に収束することを示す。
論文参考訳（メタデータ） (2021-06-29T09:59:43Z)
Hybrid Federated Learning: Algorithms and Implementation [61.0640216394349]
Federated Learning(FL)は、分散データセットとプライベートデータセットを扱う分散機械学習パラダイムである。ハイブリッドFLのためのモデルマッチングに基づく新しい問題定式化を提案する。次に,グローバルモデルとローカルモデルを協調して学習し,完全かつ部分的な特徴量を扱う効率的なアルゴリズムを提案する。
論文参考訳（メタデータ） (2020-12-22T23:56:03Z)
A Unified Linear Speedup Analysis of Federated Averaging and Nesterov FedAvg [49.76940694847521]
フェデレーションラーニング(FL)は、互いにプライベートに保持されたデータを共有せずに、参加する一連のデバイスからモデルを共同で学習する。本稿では,FedAvg(Federated Averaging, FedAvg)に焦点をあてる。また,FedAvgは収束率や通信効率が異なるが,各ケースで線形スピードアップを享受していることを示す。
論文参考訳（メタデータ） (2020-07-11T05:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。