論文の概要: TAMUNA: Doubly Accelerated Federated Learning with Local Training,
Compression, and Partial Participation
- arxiv url: http://arxiv.org/abs/2302.09832v2
- Date: Wed, 24 May 2023 18:08:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 20:44:37.205050
- Title: TAMUNA: Doubly Accelerated Federated Learning with Local Training,
Compression, and Partial Participation
- Title(参考訳): TAMUNA: ローカルトレーニング, 圧縮, 部分参加による2倍のフェデレーション学習
- Authors: Laurent Condat, Ivan Agarsk\'y, Grigory Malinovsky, Peter Richt\'arik
- Abstract要約: 連合学習では、多くのユーザが協力してグローバルモデルを学ぶ。
分散最適化とフェデレート学習のための最初のアルゴリズムであるTAMUNAを提案する。
- 参考スコア(独自算出の注目度): 6.843808986792989
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In federated learning, a large number of users collaborate to learn a global
model. They alternate local computations and communication with a distant
server. Communication, which can be slow and costly, is the main bottleneck in
this setting. In addition to communication-efficiency, a robust algorithm
should allow for partial participation, the desirable feature that not all
clients need to participate to every round of the training process. To reduce
the communication load and therefore accelerate distributed gradient descent,
two strategies are popular: 1) communicate less frequently; that is, perform
several iterations of local computations between the communication rounds; and
2) communicate compressed information instead of full-dimensional vectors. We
propose TAMUNA, the first algorithm for distributed optimization and federated
learning, which harnesses these two strategies jointly and allows for partial
participation. TAMUNA converges linearly to an exact solution in the strongly
convex setting, with a doubly accelerated rate: it provably benefits from the
two acceleration mechanisms provided by local training and compression, namely
a better dependency on the condition number of the functions and on the model
dimension, respectively.
- Abstract(参考訳): 連合学習では、多くのユーザが協力してグローバルモデルを学ぶ。
ローカル計算と遠隔サーバとの通信を交互に行う。
通信は遅くてコストがかかる可能性があるが、この設定の主なボトルネックは通信だ。
コミュニケーション効率に加えて、ロバストなアルゴリズムでは、トレーニングプロセス毎にすべてのクライアントが参加する必要のない、部分的な参加を可能にする必要がある。
通信負荷を低減し、分散勾配降下を加速するために、2つの戦略が人気がある。
1) 通信頻度が低くなること,すなわち,通信ラウンド間の局所計算を複数回行うこと,
2) 全次元ベクトルの代わりに圧縮情報を伝達する。
我々は,これら2つの戦略を共同で活用し,部分的参加を可能にする,分散最適化と連合学習のための最初のアルゴリズムである tamuna を提案する。
TAMUNAは、局所的なトレーニングと圧縮によって提供される2つの加速度メカニズム、すなわち関数の条件数とモデル次元にそれぞれよりよく依存することの恩恵を受ける。
関連論文リスト
- LoCoDL: Communication-Efficient Distributed Learning with Local Training
and Compression [8.37672888329615]
そこで我々はLoCoDL(LoCoDL)と,フロートの実次元ベクトルの代わりに短いビットストリームが送信される圧縮(Compression)という,ローカルトレーニングの一般的かつ効果的な2つの手法を利用する通信効率の高いアルゴリズムを紹介した。
LoCoDLは、局所的な訓練と圧縮の恩恵を受け、強い凸関数を持つ一般的な異種体制において、関数の条件数とモデル次元に関して、二重に加速された通信複雑性を享受する。
論文 参考訳(メタデータ) (2024-03-07T09:22:50Z) - Communication Efficient ConFederated Learning: An Event-Triggered SAGA
Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。
単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。
本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文 参考訳(メタデータ) (2024-02-28T03:27:10Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - Communication-Efficient Decentralized Federated Learning via One-Bit
Compressive Sensing [52.402550431781805]
分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。
集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。
我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
論文 参考訳(メタデータ) (2023-08-31T12:22:40Z) - Explicit Personalization and Local Training: Double Communication
Acceleration in Federated Learning [7.691755449724637]
通信コストを削減するための一般的な戦略は、連続する通信ラウンド間で複数の局所勾配降下ステップを実行することで構成されるローカルトレーニングである。
そこで我々は,明示的なパーソナライズとローカルトレーニングを効率的に統合する新しいアルゴリズムであるScafflixを紹介する。
論文 参考訳(メタデータ) (2023-05-22T15:58:01Z) - DeAR: Accelerating Distributed Deep Learning with Fine-Grained
All-Reduce Pipelining [22.168137965177284]
コミュニケーションスケジューリングは、分散トレーニングの加速に有効であることが示されている。
本稿では,全再現プリミティブを2つの連続演算に分解する新しいスケジューリングアルゴリズムであるDeARを提案する。
DeARは最先端ソリューションよりも最大83%,15%のトレーニングスピードアップを実現していることを示す。
論文 参考訳(メタデータ) (2023-02-24T04:11:18Z) - Provably Doubly Accelerated Federated Learning: The First Theoretically
Successful Combination of Local Training and Compressed Communication [7.691755449724637]
分散最適化とフェデレート学習のための最初のアルゴリズムを提案する。
我々のアルゴリズムは2倍の加速速度で直線的に正確な解に収束する。
論文 参考訳(メタデータ) (2022-10-24T14:13:54Z) - DisPFL: Towards Communication-Efficient Personalized Federated Learning
via Decentralized Sparse Training [84.81043932706375]
本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。
Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。
本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
論文 参考訳(メタデータ) (2022-06-01T02:20:57Z) - Accelerating Federated Edge Learning via Optimized Probabilistic Device
Scheduling [57.271494741212166]
本稿では,通信時間最小化問題を定式化し,解決する。
最適化されたポリシーは、トレーニングプロセスが進むにつれて、残りの通信ラウンドの抑制から、ラウンドごとのレイテンシの低減へと、徐々に優先順位を転換している。
提案手法の有効性は,自律運転における協調的3次元目標検出のユースケースを通じて実証される。
論文 参考訳(メタデータ) (2021-07-24T11:39:17Z) - Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of
Partitioned Edge Learning [73.82875010696849]
機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。
本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
論文 参考訳(メタデータ) (2020-03-10T05:52:15Z) - Communication-Efficient Decentralized Learning with Sparsification and
Adaptive Peer Selection [13.963329236804586]
本稿では,以下の特徴を持つ分散学習アルゴリズムを提案する。
各ワーカーは、高度に圧縮されたモデルで、各コミュニケーションラウンドで1人のピアと通信するだけです。
実験結果から,本アルゴリズムは通信トラフィックを大幅に削減し,比較的高帯域幅のピアを選択する。
論文 参考訳(メタデータ) (2020-02-22T12:31:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。