論文の概要: Achieving Dimension-Free Communication in Federated Learning via Zeroth-Order Optimization
- arxiv url: http://arxiv.org/abs/2405.15861v2
- Date: Mon, 24 Jun 2024 04:52:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 00:43:06.844158
- Title: Achieving Dimension-Free Communication in Federated Learning via Zeroth-Order Optimization
- Title（参考訳）: ゼロ次最適化によるフェデレーション学習における次元自由通信の実現
- Authors: Zhe Li, Bicheng Ying, Zidong Liu, Haibo Yang,
- Abstract要約: Federated Learning (FL)は、コラボレーションとプライバシ保護の機械学習のための有望なフレームワークを提供する。
FLとのかなりの通信コストは、その効率に重大な課題をもたらす。
本稿では,ゼロオーダー最適化技術を活用したFLのための新しい自由通信方式を提案する。
- 参考スコア（独自算出の注目度）: 9.035576658491534
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) offers a promising framework for collaborative and privacy-preserving machine learning across distributed data sources. However, the substantial communication costs associated with FL pose a significant challenge to its efficiency. Specifically, in each communication round, the communication costs scale linearly with the model's dimension, which presents a formidable obstacle, especially in large model scenarios. Despite various communication efficient strategies, the intrinsic dimension-dependent communication cost remains a major bottleneck for current FL implementations. In this paper, we introduce a novel dimension-free communication strategy for FL, leveraging zero-order optimization techniques. We propose a new algorithm, FedDisco, which facilitates the transmission of only a constant number of scalar values between clients and the server in each communication round, thereby reducing the communication cost from $\mathscr{O}(d)$ to $\mathscr{O}(1)$, where $d$ is the dimension of the model parameters. Theoretically, in non-convex functions, we prove that our algorithm achieves state-of-the-art rates, which show a linear speedup of the number of clients and local steps under standard assumptions and dimension-free rate for low effective rank scenarios. Empirical evaluations through classic deep learning training and large language model fine-tuning substantiate significant reductions in communication overhead compared to traditional FL approaches. Our code is available at https://github.com/ZidongLiu/FedDisco.
- Abstract（参考訳）: Federated Learning (FL)は、分散データソース間の協調的およびプライバシ保護機械学習のための有望なフレームワークを提供する。
しかし、FLに関連するかなりの通信コストは、その効率に重大な課題をもたらす。
具体的には、各通信ラウンドにおいて、通信コストはモデルの次元と線形にスケールする。
様々な通信効率の戦略にもかかわらず、本質的な次元に依存した通信コストは、現在のFL実装において大きなボトルネックとなっている。
本稿では,ゼロオーダー最適化技術を活用したFLのための新しい次元自由通信方式を提案する。
本稿では,各通信ラウンドにおけるクライアントとサーバ間のスカラー値の一定数の送信を容易にし,通信コストを$\mathscr{O}(d)$から$\mathscr{O}(1)$に削減する新しいアルゴリズムであるFedDiscoを提案する。
理論的には、非凸関数では、我々のアルゴリズムが最先端の速度を達成することが証明され、これは標準的な仮定の下でのクライアント数とローカルステップの線形高速化と、低効率なランクシナリオに対する次元自由率を示す。
古典的深層学習訓練と大規模言語モデルによる経験的評価は,従来のFL手法と比較して,通信オーバーヘッドを大幅に削減する。
私たちのコードはhttps://github.com/ZidongLiu/FedDisco.comで入手可能です。
関連論文リスト
- SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。
実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
論文 参考訳（メタデータ） (2024-06-01T13:10:35Z) - Fed-CVLC: Compressing Federated Learning Communications with
Variable-Length Codes [54.18186259484828]
フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。
FLの圧縮には可変長が有用であることを示す。
本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
論文 参考訳（メタデータ） (2024-02-06T07:25:21Z) - Federated Hyperdimensional Computing [14.844383542052169]
フェデレートラーニング(FL)は、参加するクライアントの緩やかなセットが、中央サーバによる調整を通じて、グローバルモデルを協調的に学習することを可能にする。
既存のFLアプローチは、ディープニューラルネットワーク(DNN)のような巨大なモデルを持つ複雑なアルゴリズムに依存している。
我々はまず,超次元コンピューティング(HDC)に基づくフェデレーション学習フレームワークであるFedHDCを提案する。
論文 参考訳（メタデータ） (2023-12-26T09:24:19Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - Communication and Storage Efficient Federated Split Learning [19.369076939064904]
Federated Split LearningはFLの並列モデルトレーニング原則を保存する。
サーバはクライアントごとに別々のモデルをメンテナンスしなければなりません。
本稿では,コミュニケーションと記憶の効率的なフェデレーションと分割学習戦略を提案する。
論文 参考訳（メタデータ） (2023-02-11T04:44:29Z) - Fundamental Limits of Communication Efficiency for Model Aggregation in
Distributed Learning: A Rate-Distortion Approach [54.311495894129585]
本研究では,分散学習におけるモデルアグリゲーションの通信コストの限界について,速度歪みの観点から検討する。
SignSGDでは,ワーカノード間の相関を利用した通信利得が重要であることがわかった。
論文 参考訳（メタデータ） (2022-06-28T13:10:40Z) - OFedQIT: Communication-Efficient Online Federated Learning via
Quantization and Intermittent Transmission [7.6058140480517356]
オンライン連合学習(OFL)は、分散ストリーミングデータから非線形関数(またはモデル)のシーケンスを協調的に学習する、有望なフレームワークである。
本稿では、量子化と断続伝送を用いた通信効率の高いOFLアルゴリズム(OFedQIT)を提案する。
分析の結果,OfedQITは優れた学習精度を維持しつつ,OfedAvgの欠点に対処できることがわかった。
論文 参考訳（メタデータ） (2022-05-13T07:46:43Z) - A Newton-type algorithm for federated learning based on incremental
Hessian eigenvector sharing [5.404315085380945]
我々は、フェデレートラーニング(FL)を高速化するために設計された、通信制約付きニュートン型(NT)アルゴリズムを提案する。
提案手法は実際のデータセットで完全に検証される。
論文 参考訳（メタデータ） (2022-02-11T17:52:56Z) - FedKD: Communication Efficient Federated Learning via Knowledge
Distillation [56.886414139084216]
フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。
フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。
本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
論文 参考訳（メタデータ） (2021-08-30T15:39:54Z) - Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。
FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。
本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文 参考訳（メタデータ） (2021-08-12T14:18:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。