論文の概要: Communication-Efficient Federated Learning with Compensated
Overlap-FedAvg
- arxiv url: http://arxiv.org/abs/2012.06706v1
- Date: Sat, 12 Dec 2020 02:50:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-10 05:12:32.353714
- Title: Communication-Efficient Federated Learning with Compensated
Overlap-FedAvg
- Title(参考訳): Compensated Overlap-FedAvgを用いたコミュニケーション効率の良いフェデレーション学習
- Authors: Yuhao Zhou, Ye Qing, and Jiancheng Lv
- Abstract要約: フェデレーションラーニングは、クラスタ内でデータセットを共有することなく、複数のクライアントの複合データによるモデルトレーニングを実行するために提案される。
Overlap-FedAvgはモデルアップロードおよびダウンロードフェーズとモデルトレーニングフェーズを並列化するフレームワークである。
オーバーラップfedavgはさらに階層的計算戦略、データ補償機構、ネステロフ加速勾配(nag)アルゴリズムを用いて開発されている。
- 参考スコア(独自算出の注目度): 22.636184975591004
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Petabytes of data are generated each day by emerging Internet of Things
(IoT), but only few of them can be finally collected and used for Machine
Learning (ML) purposes due to the apprehension of data & privacy leakage, which
seriously retarding ML's growth. To alleviate this problem, Federated learning
is proposed to perform model training by multiple clients' combined data
without the dataset sharing within the cluster. Nevertheless, federated
learning introduces massive communication overhead as the synchronized data in
each epoch is of the same size as the model, and thereby leading to a low
communication efficiency. Consequently, variant methods mainly focusing on the
communication rounds reduction and data compression are proposed to reduce the
communication overhead of federated learning. In this paper, we propose
Overlap-FedAvg, a framework that parallels the model training phase with model
uploading & downloading phase, so that the latter phase can be totally covered
by the former phase. Compared to vanilla FedAvg, Overlap-FedAvg is further
developed with a hierarchical computing strategy, a data compensation mechanism
and a nesterov accelerated gradients~(NAG) algorithm. Besides, Overlap-FedAvg
is orthogonal to many other compression methods so that they can be applied
together to maximize the utilization of the cluster. Furthermore, the
theoretical analysis is provided to prove the convergence of the proposed
Overlap-FedAvg framework. Extensive experiments on both conventional and
recurrent tasks with multiple models and datasets also demonstrate that the
proposed Overlap-FedAvg framework substantially boosts the federated learning
process.
- Abstract(参考訳): 新たなIoT(Internet of Things)によって、ペタバイト単位のデータが毎日生成されるが、データとプライバシリークの理解がMLの成長を著しく変えているため、マシンラーニング(ML)の目的で最終的に収集され、使用されるのはごくわずかである。
この問題を軽減するために、フェデレートラーニングはクラスタ内でデータセットを共有することなく、複数のクライアントの複合データによるモデルトレーニングを実行する。
それでも、フェデレーション学習は、各エポックにおける同期データのサイズがモデルと同じであるため、膨大な通信オーバーヘッドをもたらし、通信効率を低下させる。
そこで, 通信ラウンドの削減とデータ圧縮を主とする変種手法を提案し, 連合学習の通信オーバーヘッドを低減した。
本稿では,モデル学習フェーズとモデルアップロード・ダウンロードフェーズを並列化するフレームワークであるoverload-fedavgを提案する。
バニラFedAvgと比較して、Overlap-FedAvgは階層型コンピューティング戦略、データ補償機構、ネステロフ加速勾配〜(NAG)アルゴリズムでさらに開発されている。
さらに、Overlap-FedAvgは、クラスタの利用を最大化するために、他の多くの圧縮メソッドと直交している。
さらに,提案した Overlap-FedAvg フレームワークの収束性を証明する理論解析を行った。
複数のモデルとデータセットを用いた従来のタスクとリカレントタスクの両方に関する広範囲な実験により、提案手法が連合学習プロセスを大幅に促進することを示した。
関連論文リスト
- Communication-Efficient Federated Learning through Adaptive Weight
Clustering and Server-Side Distillation [10.541541376305245]
Federated Learning(FL)は、複数のデバイスにわたるディープニューラルネットワークの協調トレーニングのための有望なテクニックである。
FLは、トレーニング中に繰り返しサーバー・クライアント間の通信によって、過剰な通信コストによって妨げられる。
本稿では,動的重みクラスタリングとサーバ側知識蒸留を組み合わせた新しいアプローチであるFedCompressを提案する。
論文 参考訳(メタデータ) (2024-01-25T14:49:15Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。
本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。
エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。
さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文 参考訳(メタデータ) (2023-10-16T05:49:28Z) - Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。
提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文 参考訳(メタデータ) (2023-07-12T16:28:21Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳(メタデータ) (2023-02-24T08:41:19Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳(メタデータ) (2022-07-20T04:55:18Z) - Communication-Efficient Federated Distillation with Active Data Sampling [6.516631577963641]
フェデレートラーニング(FL)は、分散データからプライバシー保護の深層ラーニングを可能にする、有望なパラダイムである。
フェデレート蒸留(Federated Distillation, FD)は、通信効率とロバストなFLを実現するための代替案である。
本稿では、FDのための汎用メタアルゴリズムを提案し、実験により鍵パラメータの影響について検討する。
本稿では,アクティブデータサンプリングによる通信効率の高いFDアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-03-14T07:50:55Z) - Rethinking Architecture Design for Tackling Data Heterogeneity in
Federated Learning [53.73083199055093]
注意に基づくアーキテクチャ(例えばTransformers)は、分散シフトに対してかなり堅牢であることを示す。
我々の実験は、畳み込みネットワークをトランスフォーマーに置き換えることによって、過去のデバイスを壊滅的に忘れることを大幅に減らせることを示した。
論文 参考訳(メタデータ) (2021-06-10T21:04:18Z) - Improving Federated Relational Data Modeling via Basis Alignment and
Weight Penalty [18.096788806121754]
近年,フェデレートラーニング(FL)が注目されている。
知識グラフ(KG)上でのフェデレーションモデリングを行うグラフニューラルネットワークアルゴリズムの修正版を提案する。
我々は,1) クライアント上でのパーソナライズのための最適輸送(OT)と,2) 収束を高速化するための重み制約を備えた新しい最適化アルゴリズムであるFedAlignを提案する。
実験の結果,提案手法はFedAVGやFedProxといった最先端のFL法よりも優れており,収束性が高いことがわかった。
論文 参考訳(メタデータ) (2020-11-23T12:52:18Z) - Ternary Compression for Communication-Efficient Federated Learning [17.97683428517896]
フェデレートされた学習は、プライバシ保護とセキュアな機械学習に対する潜在的なソリューションを提供する。
本稿では,第3次フェデレーション平均化プロトコル(T-FedAvg)を提案する。
その結果,提案したT-FedAvgは通信コストの低減に有効であり,非IIDデータの性能も若干向上できることがわかった。
論文 参考訳(メタデータ) (2020-03-07T11:55:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。