論文の概要: TAMUNA: Accelerated Federated Learning with Local Training and Partial Participation

• arxiv url: http://arxiv.org/abs/2302.09832v1
• Date: Mon, 20 Feb 2023 08:37:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-21 16:08:53.373908
• Title: TAMUNA: Accelerated Federated Learning with Local Training and Partial Participation
• Title（参考訳）: TAMUNA: ローカルトレーニングと部分参加による促進的フェデレーション学習
• Authors: Laurent Condat, Grigory Malinovsky, Peter Richt\'arik
• Abstract要約: 連合学習では、多くのユーザが協調的な方法で、グローバルな学習タスクに関与している。 ローカル計算と遠隔サーバとの通信を交互に行う。 本稿では,局所的なトレーニングと部分的な参加を,最先端のコミュニケーションの複雑さで処理する新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 7.691755449724637
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In federated learning, a large number of users are involved in a global learning task, in a collaborative way. They alternate local computations and communication with a distant server. Communication, which can be slow and costly, is the main bottleneck in this setting. To accelerate distributed gradient descent, the popular strategy of local training is to communicate less frequently; that is, to perform several iterations of local computations between the communication steps. A recent breakthrough in this field was made by Mishchenko et al. (2022): their Scaffnew algorithm is the first to probably benefit from local training, with accelerated communication complexity. However, it was an open and challenging question to know whether the powerful mechanism behind Scaffnew would be compatible with partial participation, the desirable feature that not all clients need to participate to every round of the training process. We answer this question positively and propose a new algorithm, which handles local training and partial participation, with state-of-the-art communication complexity.
• Abstract（参考訳）: 連合学習では、多数のユーザが協調的な方法でグローバルな学習タスクに関与している。 ローカル計算と遠隔サーバとの通信を交互に行う。 通信は遅くてコストがかかる可能性があるが、この設定の主なボトルネックは通信だ。 分散勾配降下を加速するために、局所学習の一般的な戦略は、より頻繁に通信すること、すなわち、通信ステップ間で局所的な計算を繰り返し行うことである。 この分野における最近のブレークスルーは、mishchenkoら (2022) によってなされた: 彼らのスカフニューアルゴリズムは、おそらく最初のローカルトレーニングの恩恵を受け、通信の複雑さを加速する。 しかしながら、Scaffnewの背後にある強力なメカニズムが部分的な参加と互換性があるかどうかを知ることは、オープンで難しい問題でした。 本稿では,この問題を肯定的に解き,局所的なトレーニングと部分的参加を扱う新しいアルゴリズムを提案する。

関連論文リスト

• LoCoDL: Communication-Efficient Distributed Learning with Local Training and Compression [8.37672888329615]
  そこで我々はLoCoDL(LoCoDL)と,フロートの実次元ベクトルの代わりに短いビットストリームが送信される圧縮(Compression)という,ローカルトレーニングの一般的かつ効果的な2つの手法を利用する通信効率の高いアルゴリズムを紹介した。 LoCoDLは、局所的な訓練と圧縮の恩恵を受け、強い凸関数を持つ一般的な異種体制において、関数の条件数とモデル次元に関して、二重に加速された通信複雑性を享受する。
  論文  参考訳（メタデータ） (2024-03-07T09:22:50Z)
• Optimal Data Splitting in Distributed Optimization for Machine Learning [85.99744701008802]
  本研究は,サーバとローカルマシン間の分散データの最適比に着目し,通信コストとローカル計算のコストについて検討する。 ネットワークの実行時間は、一様分布と最適分布で比較される。 提案手法の優れた理論的性能を実験的に検証した。
  論文  参考訳（メタデータ） (2024-01-15T16:30:12Z)
• Communication-Efficient Decentralized Federated Learning via One-Bit Compressive Sensing [52.402550431781805]
  分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。 集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。 我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-08-31T12:22:40Z)
• Explicit Personalization and Local Training: Double Communication Acceleration in Federated Learning [7.691755449724637]
  通信コストを削減するための一般的な戦略は、連続する通信ラウンド間で複数の局所勾配降下ステップを実行することで構成されるローカルトレーニングである。 そこで我々は,明示的なパーソナライズとローカルトレーニングを効率的に統合する新しいアルゴリズムであるScafflixを紹介する。
  論文  参考訳（メタデータ） (2023-05-22T15:58:01Z)
• Provably Doubly Accelerated Federated Learning: The First Theoretically Successful Combination of Local Training and Compressed Communication [7.691755449724637]
  分散最適化とフェデレート学習のための最初のアルゴリズムを提案する。 我々のアルゴリズムは2倍の加速速度で直線的に正確な解に収束する。
  論文  参考訳（メタデータ） (2022-10-24T14:13:54Z)
• DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training [84.81043932706375]
  本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。 Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。 本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
  論文  参考訳（メタデータ） (2022-06-01T02:20:57Z)
• Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD for Communication Efficient Nonconvex Distributed Learning [58.79085525115987]
  ローカル手法は通信時間を短縮する有望なアプローチの1つである。 局所的データセットが局所的損失の滑らかさよりも小さい場合,通信の複雑さは非局所的手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-12T15:12:17Z)
• On Second-order Optimization Methods for Federated Learning [59.787198516188425]
  フェデレート学習環境における局所的なステップを持つ2階分散手法の性能評価を行った。 本稿では,更新のための2階ローカル情報とグローバルライン検索を用いて,結果の局所的特異性に対処する新たな変種を提案する。
  論文  参考訳（メタデータ） (2021-09-06T12:04:08Z)
• FedChain: Chained Algorithms for Near-Optimal Communication Cost in Federated Learning [24.812767482563878]
  フェデレートラーニング(FL)は、多くのクライアントに分散した異種データ上でモデルをトレーニングする際のコミュニケーションの複雑さを最小限にすることを目的としている。 本稿では,局所的手法と大域的手法の強みを組み合わせたアルゴリズムフレームワークであるFedChainを提案する。
  論文  参考訳（メタデータ） (2021-08-16T02:57:06Z)
• Communication-Efficient Decentralized Learning with Sparsification and Adaptive Peer Selection [13.963329236804586]
  本稿では,以下の特徴を持つ分散学習アルゴリズムを提案する。 各ワーカーは、高度に圧縮されたモデルで、各コミュニケーションラウンドで1人のピアと通信するだけです。 実験結果から,本アルゴリズムは通信トラフィックを大幅に削減し,比較的高帯域幅のピアを選択する。
  論文  参考訳（メタデータ） (2020-02-22T12:31:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。