論文の概要: Federated Learning with Randomized Douglas-Rachford Splitting Methods
- arxiv url: http://arxiv.org/abs/2103.03452v1
- Date: Fri, 5 Mar 2021 03:24:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-09 03:03:52.944916
- Title: Federated Learning with Randomized Douglas-Rachford Splitting Methods
- Title（参考訳）: ランダム化Douglas-Rachford分割法によるフェデレーション学習
- Authors: Nhan H. Pham, Lam M. Nguyen, Dzung T. Phan, Quoc Tran-Dinh
- Abstract要約: 我々は textbfFedDR と textbfDRaa という2つの新しいアルゴリズムを開発した。
解析の結果,新しいアルゴリズムはより低い仮定下での通信効率と一致していることがわかった。
- 参考スコア（独自算出の注目度）: 30.998685972581754
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we develop two new algorithms, called, \textbf{FedDR} and
\textbf{asyncFedDR}, for solving a fundamental nonconvex optimization problem
in federated learning. Our algorithms rely on a novel combination between a
nonconvex Douglas-Rachford splitting method, randomized block-coordinate
strategies, and asynchronous implementation. Unlike recent methods in the
literature, e.g., FedSplit and FedPD, our algorithms update only a subset of
users at each communication round, and possibly in an asynchronous mode, making
them more practical. These new algorithms also achieve communication efficiency
and more importantly can handle statistical and system heterogeneity, which are
the two main challenges in federated learning. Our convergence analysis shows
that the new algorithms match the communication complexity lower bound up to a
constant factor under standard assumptions. Our numerical experiments
illustrate the advantages of the proposed methods compared to existing ones
using both synthetic and real datasets.
- Abstract（参考訳）: 本稿では,フェデレート学習における基本非凸最適化問題を解くための2つの新しいアルゴリズム, \textbf{feddr} と \textbf{asyncfeddr} を開発した。
提案手法は,非凸douglas-rachford分割法,ランダム化ブロック座標戦略,非同期実装の新たな組み合わせに依拠する。
FedSplitやFedPDのような最近の文献の手法とは異なり、我々のアルゴリズムは各通信ラウンドにおけるユーザーのサブセットのみを更新し、おそらく非同期モードで更新し、より実用的になる。
これらの新しいアルゴリズムは通信効率も達成し、さらに重要なことは、フェデレート学習における2つの主要な課題である統計的およびシステム不均一性を扱うことができる。
コンバージェンス解析により,新しいアルゴリズムは,標準仮定下での定数係数まで低い通信複雑性に適合することが示された。
数値実験により,合成データと実データの両方を用いた既存手法と比較して,提案手法の利点を示す。
関連論文リスト
- Composite federated learning with heterogeneous data [11.40641907024708]
本稿では,複合フェデレート学習(FL)問題を解くための新しいアルゴリズムを提案する。
このアルゴリズムは、近似演算子と通信を戦略的に分離することで非滑らかな正規化を管理し、データ類似性に関する仮定なしにクライアントのドリフトに対処する。
提案アルゴリズムは最適解の近傍に線形に収束し,数値実験における最先端手法よりもアルゴリズムの優位性を示す。
論文 参考訳（メタデータ） (2023-09-04T20:22:57Z) - Communication-Efficient Decentralized Federated Learning via One-Bit
Compressive Sensing [52.402550431781805]
分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。
集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。
我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-08-31T12:22:40Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - Faster Adaptive Momentum-Based Federated Methods for Distributed
Composition Optimization [14.579475552088692]
非分散合成問題の解法として,高速なフェデレート合成最適化アルゴリズム(MFCGDとAdaMFCGD)を提案する。
特に、我々の適応アルゴリズム(AdaMFCGD)は、様々な適応学習率を柔軟に組み込むために統一適応行列を使用する。
論文 参考訳（メタデータ） (2022-11-03T15:17:04Z) - Federated Learning with a Sampling Algorithm under Isoperimetry [9.990687944474738]
フェデレーション学習は、機械学習アルゴリズムのトレーニングを複数のデバイスに効率的に分散するために、一連のテクニックを使用する。
本稿では,Langevinvin のサンプル Aafteri の通信効率のよい変種を提案する。
論文 参考訳（メタデータ） (2022-06-02T08:19:03Z) - Resource-constrained Federated Edge Learning with Heterogeneous Data:
Formulation and Analysis [8.863089484787835]
ヘテロジニアスデータによる不均一な統計的課題を解決するために, 分散されたニュートン型ニュートン型トレーニングスキームであるFedOVAを提案する。
FedOVAはマルチクラス分類問題をより単純なバイナリ分類問題に分解し、アンサンブル学習を用いてそれぞれの出力を結合する。
論文 参考訳（メタデータ） (2021-10-14T17:35:24Z) - Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex
Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。
我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。
我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
論文 参考訳（メタデータ） (2021-06-08T15:54:44Z) - Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth
Nonlinear TD Learning [145.54544979467872]
本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。
本研究の結果は, 同時一次および二重側収束の形で表される。
論文 参考訳（メタデータ） (2020-08-23T20:36:49Z) - FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity
to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。
クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文 参考訳（メタデータ） (2020-05-22T23:07:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。