Fugu-MT 論文翻訳(概要): Adaptive Federated Optimization

論文の概要: Adaptive Federated Optimization

arxiv url: http://arxiv.org/abs/2003.00295v5
Date: Wed, 8 Sep 2021 23:37:17 GMT
ステータス: 処理完了
システム内更新日: 2022-12-27 20:35:39.559819
Title: Adaptive Federated Optimization
Title（参考訳）: 適応フェデレーション最適化
Authors: Sashank Reddi, Zachary Charles, Manzil Zaheer, Zachary Garrett, Keith Rush, Jakub Kone\v{c}n\'y, Sanjiv Kumar, H. Brendan McMahan
Abstract要約: フェデレートラーニングでは、多数のクライアントが中央サーバとコーディネートして、自身のデータを共有せずにモデルを学習する。適応最適化手法は、このような問題に対処する際、顕著な成功を収めている。適応型学習は,フェデレート学習の性能を著しく向上させることができることを示す。
参考スコア（独自算出の注目度）: 43.78438670284309
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning is a distributed machine learning paradigm in which a large number of clients coordinate with a central server to learn a model without sharing their own training data. Standard federated optimization methods such as Federated Averaging (FedAvg) are often difficult to tune and exhibit unfavorable convergence behavior. In non-federated settings, adaptive optimization methods have had notable success in combating such issues. In this work, we propose federated versions of adaptive optimizers, including Adagrad, Adam, and Yogi, and analyze their convergence in the presence of heterogeneous data for general non-convex settings. Our results highlight the interplay between client heterogeneity and communication efficiency. We also perform extensive experiments on these methods and show that the use of adaptive optimizers can significantly improve the performance of federated learning.
Abstract（参考訳）: フェデレーション学習(federated learning)は、多数のクライアントが中央サーバと協調して、自身のトレーニングデータを共有せずにモデルを学ぶ分散機械学習パラダイムである。フェデレート平均化(FedAvg)のような標準フェデレーション最適化手法は、しばしばチューニングが困難であり、好ましくない収束挙動を示す。非フェデレーション環境では、適応最適化手法はこのような問題に対処する上で顕著な成功を収めた。本研究では, adagrad, adam, yogiを含む適応オプティマイザのフェデレーションバージョンを提案し, 一般の非凸設定のための不均一データの存在下での収束解析を行う。本結果は,クライアントの不均一性と通信効率の相互作用を強調した。また,これらの手法について広範な実験を行い,適応オプティマイザの利用により,連合学習の性能が著しく向上することを示す。

関連論文リスト

Efficient and Robust Regularized Federated Recommendation [52.24782464815489]
推薦システム(RSRS)は、ユーザの好みとプライバシの両方に対処する。通信効率を向上させるために,非一様勾配勾配勾配を取り入れた新しい手法を提案する。 RFRecFの強靭性は、多様なベースラインに比べて優れている。
論文参考訳（メタデータ） (2024-11-03T12:10:20Z)
FADAS: Towards Federated Adaptive Asynchronous Optimization [56.09666452175333]
フェデレートラーニング(FL)は、プライバシ保護機械学習のトレーニングパラダイムとして広く採用されている。本稿では、非同期更新を適応的フェデレーション最適化と証明可能な保証に組み込む新しい手法であるFADASについて紹介する。提案アルゴリズムの収束率を厳格に確立し,FADASが他の非同期FLベースラインよりも優れていることを示す実験結果を得た。
論文参考訳（メタデータ） (2024-07-25T20:02:57Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Locally Adaptive Federated Learning [30.19411641685853]
フェデレートラーニング(Federated Learning)とは、複数のクライアントが中央サーバと協調してモデルを学習する分散機械学習のパラダイムである。 Federated Averaging (FedAvg)のような標準的なフェデレーション最適化手法は、クライアント間の一般化を保証する。本稿では,各クライアント関数の局所的幾何情報を利用する局所的フェデレーション学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2023-07-12T17:02:32Z)
Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文参考訳（メタデータ） (2023-02-24T08:41:19Z)
Accelerated Federated Learning with Decoupled Adaptive Optimization [53.230515878096426]
フェデレートドラーニング(FL)フレームワークは、クライアント上のトレーニングデータのプライバシを維持しながら、共有モデルを協調的に学習することを可能にする。近年,SGDM,Adam,AdaGradなどの集中型適応最適化手法をフェデレートした設定に一般化するためのイテレーションが多数実施されている。本研究は、常微分方程式(ODE)のダイナミクスの観点から、FLの新しい適応最適化手法を開発することを目的としている。
論文参考訳（メタデータ） (2022-07-14T22:46:43Z)
Communication-Efficient Adaptive Federated Learning [17.721884358895686]
フェデレーション・ラーニング(Federated Learning)は、機械学習のパラダイムであり、クライアントが独自のローカライズされたデータを共有せずに、モデルの共同トレーニングを可能にする。実際には、連合学習の実装は、大きな通信オーバーヘッドなど、多くの課題に直面している。理論的収束を保証する新しいコミュニケーション効率適応学習法(FedCAMS)を提案する。
論文参考訳（メタデータ） (2022-05-05T15:47:04Z)
Effective Federated Adaptive Gradient Methods with Non-IID Decentralized Data [18.678289386084113]
フェデレーション学習は、デバイスがデータ共有なしで協調的にモデルを学習することを可能にする。本稿では,第1次および第2次カリブレータを併用したフェデレートAGMを提案する。我々は、標準のAdam byepsilonを含む、連邦学習の校正スキームを比較した。
論文参考訳（メタデータ） (2020-09-14T16:37:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。