論文の概要: Improving Accelerated Federated Learning with Compression and Importance
Sampling
- arxiv url: http://arxiv.org/abs/2306.03240v1
- Date: Mon, 5 Jun 2023 20:50:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 18:19:04.741251
- Title: Improving Accelerated Federated Learning with Compression and Importance
Sampling
- Title(参考訳): 圧縮と重要度サンプリングによる加速的フェデレーション学習の改善
- Authors: Micha{\l} Grudzie\'n, Grigory Malinovsky, Peter Richt\'arik
- Abstract要約: 本稿では, 地域学習, 圧縮, 部分参加など, 必要なすべての要素を取り入れたフェデレートラーニングの完全な方法を提案する。
部分的参加のための一般的なサンプリングフレームワークを分析し、より優れたパフォーマンスをもたらす重要なサンプリングスキームを導出する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning is a collaborative training framework that leverages
heterogeneous data distributed across a vast number of clients. Since it is
practically infeasible to request and process all clients during the
aggregation step, partial participation must be supported. In this setting, the
communication between the server and clients poses a major bottleneck. To
reduce communication loads, there are two main approaches: compression and
local steps. Recent work by Mishchenko et al. [2022] introduced the new
ProxSkip method, which achieves an accelerated rate using the local steps
technique. Follow-up works successfully combined local steps acceleration with
partial participation [Grudzie\'n et al., 2023, Condat et al. 2023] and
gradient compression [Condat et al. [2022]. In this paper, we finally present a
complete method for Federated Learning that incorporates all necessary
ingredients: Local Training, Compression, and Partial Participation. We obtain
state-of-the-art convergence guarantees in the considered setting. Moreover, we
analyze the general sampling framework for partial participation and derive an
importance sampling scheme, which leads to even better performance. We
experimentally demonstrate the advantages of the proposed method in practice.
- Abstract(参考訳): Federated Learningは、多数のクライアントに分散した異種データを活用する共同トレーニングフレームワークである。
集約ステップ中にすべてのクライアントをリクエストして処理することは事実上不可能であるため、部分的な参加をサポートする必要がある。
この設定では、サーバとクライアント間の通信が大きなボトルネックとなる。
通信負荷を低減するため、圧縮と局所ステップの2つの主要なアプローチがある。
Mishchenkoらによる最近の作品。
2022] は, 局所ステップ法を用いて加速率を達成する新しい ProxSkip 法を導入した。
フォローアップ作業は,局所的なステップアクセラレーションと部分参加 [grudzie\'n et al., 2023, condat et al. 2023] と勾配圧縮 [condat et al. [2022] を組み合わせることに成功している。
本稿では, 地域学習, 圧縮, 部分参加など, 必要なすべての要素を取り入れたフェデレーション学習の完全な方法を提案する。
考慮された設定において、最先端の収束保証を得る。
さらに、部分参加のための一般的なサンプリングフレームワークを分析し、より優れたパフォーマンスをもたらす重要なサンプリングスキームを導出する。
提案手法の実際的利点を実験的に実証した。
関連論文リスト
- Federated Learning Can Find Friends That Are Beneficial [11.183904362096753]
フェデレートラーニング(FL)では、クライアントデータの分散の性質と均一性は、機会と課題の両方を示します。
本稿では,FLトレーニングに参加するクライアントに対して適応的なアグリゲーション重みを割り当てるアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-02-07T17:46:37Z) - Learn What You Need in Personalized Federated Learning [53.83081622573734]
$textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。
我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2024-01-16T12:45:15Z) - Accelerating Hybrid Federated Learning Convergence under Partial
Participation [23.410461721204786]
フェデレートラーニング(FL)には、共通のモデルを学ぶために協力する分散型データを持つクライアントのグループが含まれる。
現実的なシナリオでは、サーバは人口分布を概ね模倣した少量のデータを集めることができるかもしれない。
我々は、ハイブリッドFLにおけるサーバの2倍の役割を調査するFedCLGと呼ばれる新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-04-10T19:13:14Z) - TAMUNA: Doubly Accelerated Federated Learning with Local Training,
Compression, and Partial Participation [6.843808986792989]
連合学習では、多くのユーザが協力してグローバルモデルを学ぶ。
分散最適化とフェデレート学習のための最初のアルゴリズムであるTAMUNAを提案する。
論文 参考訳(メタデータ) (2023-02-20T08:37:44Z) - GradSkip: Communication-Accelerated Local Gradient Methods with Better
Computational Complexity [3.222802562733787]
本研究では,クライアントが通信に先立って複数の局所勾配型訓練を行えるようにすることで,通信コストの低減を目的とした分散最適化アルゴリズムのクラスについて検討する。
我々は、GradSkipという名前が同じ仮定の下で線形に収束する修正法を証明した。
論文 参考訳(メタデータ) (2022-10-28T20:59:06Z) - A Computation and Communication Efficient Method for Distributed
Nonconvex Problems in the Partial Participation Setting [58.59873548589766]
本稿では, 分散低減, 部分的参加, 圧縮通信の3つの重要な要素を含む新しい手法を提案する。
本手法は, 部分的参加環境において, 最適オラクル複雑性と最先端通信複雑性を有することを示す。
論文 参考訳(メタデータ) (2022-05-31T07:41:20Z) - On Second-order Optimization Methods for Federated Learning [59.787198516188425]
フェデレート学習環境における局所的なステップを持つ2階分散手法の性能評価を行った。
本稿では,更新のための2階ローカル情報とグローバルライン検索を用いて,結果の局所的特異性に対処する新たな変種を提案する。
論文 参考訳(メタデータ) (2021-09-06T12:04:08Z) - FedChain: Chained Algorithms for Near-Optimal Communication Cost in
Federated Learning [24.812767482563878]
フェデレートラーニング(FL)は、多くのクライアントに分散した異種データ上でモデルをトレーニングする際のコミュニケーションの複雑さを最小限にすることを目的としている。
本稿では,局所的手法と大域的手法の強みを組み合わせたアルゴリズムフレームワークであるFedChainを提案する。
論文 参考訳(メタデータ) (2021-08-16T02:57:06Z) - SIMPLE: SIngle-network with Mimicking and Point Learning for Bottom-up
Human Pose Estimation [81.03485688525133]
Single-network with Mimicking and Point Learning for Bottom-up Human Pose Estimation (SIMPLE) を提案する。
具体的には、トレーニングプロセスにおいて、SIMPLEが高性能なトップダウンパイプラインからのポーズ知識を模倣できるようにする。
さらに、SIMPLEは人間検出とポーズ推定を統一的なポイントラーニングフレームワークとして定式化し、単一ネットワークで相互に補完する。
論文 参考訳(メタデータ) (2021-04-06T13:12:51Z) - Straggler-Resilient Federated Learning: Leveraging the Interplay Between
Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。
本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文 参考訳(メタデータ) (2020-12-28T19:21:14Z) - ScopeFlow: Dynamic Scene Scoping for Optical Flow [94.42139459221784]
我々は,光流の一般的なトレーニングプロトコルを変更することを提案する。
この改善は、挑戦的なデータをサンプリングする際のバイアスを観察することに基づいている。
トレーニングプロトコルでは,正規化と拡張の双方が減少することが判明した。
論文 参考訳(メタデータ) (2020-02-25T09:58:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。