論文の概要: Accurate and Fast Federated Learning via IID and Communication-Aware
Grouping
- arxiv url: http://arxiv.org/abs/2012.04857v1
- Date: Wed, 9 Dec 2020 04:30:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-16 01:52:58.122472
- Title: Accurate and Fast Federated Learning via IID and Communication-Aware
Grouping
- Title(参考訳): iidとコミュニケーション・アウェア・グルーピングによる正確で高速な連合学習
- Authors: Jin-woo Lee, Jaehoon Oh, Yooju Shin, Jae-Gil Lee, Se-Young Yoon
- Abstract要約: 連合学習は、協調機械学習の新しいパラダイムとして登場した。
また、非独立で同一の分散(IID)データや高い通信コストなど、いくつかの課題に直面しています。
IIDとコミュニケーション対応グループフェデレーション学習の新たなフレームワークを提案し,精度と通信速度を同時に最大化する。
- 参考スコア(独自算出の注目度): 10.05687757555923
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning has emerged as a new paradigm of collaborative machine
learning; however, it has also faced several challenges such as non-independent
and identically distributed(IID) data and high communication cost. To this end,
we propose a novel framework of IID and communication-aware group federated
learning that simultaneously maximizes both accuracy and communication speed by
grouping nodes based on data distributions and physical locations of the nodes.
Furthermore, we provide a formal convergence analysis and an efficient
optimization algorithm called FedAvg-IC. Experimental results show that,
compared with the state-of-the-art algorithms, FedAvg-IC improved the test
accuracy by up to 22.2% and simultaneously reduced the communication time to as
small as 12%.
- Abstract(参考訳): 連合学習は、協調機械学習の新しいパラダイムとして登場したが、非独立かつ同一分散(iid)データや高い通信コストといったいくつかの課題にも直面している。
そこで本研究では,データ分布と物理位置に基づいてノードをグループ化することで,精度と通信速度を同時に最大化する,iidと通信認識グループ連合学習の新たな枠組みを提案する。
さらに,FedAvg-ICと呼ばれる正規収束解析と効率的な最適化アルゴリズムを提案する。
実験の結果、最先端のアルゴリズムと比較して、FedAvg-ICはテストの精度を最大22.2%改善し、同時に通信時間を12%にまで短縮した。
関連論文リスト
- FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - DPP-based Client Selection for Federated Learning with Non-IID Data [97.1195165400568]
本稿では,統合学習(FL)のコミュニケーションボトルネックに対処するクライアント選択(CS)手法を提案する。
まず、FLにおけるCSの効果を分析し、各学習ラウンドにおけるトレーニングデータセットの多様化に参加者を適切に選択することで、FLトレーニングを加速させることができることを示す。
我々は、データプロファイリングと決定点プロセス(DPP)サンプリング技術を活用し、DPPに基づく参加者選択(FL-DP$3$S)によるフェデレートラーニング(Federated Learning)と呼ばれるアルゴリズムを開発する。
論文 参考訳(メタデータ) (2023-03-30T13:14:54Z) - Communication-Efficient Federated Bilevel Optimization with Local and
Global Lower Level Problems [118.00379425831566]
我々はFedBiOAccという通信効率の高いアルゴリズムを提案する。
我々は、FedBiOAcc-Localがこの種の問題に対して同じ速度で収束していることを証明する。
実験結果から,アルゴリズムの性能が向上した。
論文 参考訳(メタデータ) (2023-02-13T21:28:53Z) - Personalized Decentralized Multi-Task Learning Over Dynamic
Communication Graphs [59.96266198512243]
本稿では,正と負の相関関係を持つタスクに対する分散・フェデレーション学習アルゴリズムを提案する。
本アルゴリズムでは,タスク間の相関関係を自動的に計算し,コミュニケーショングラフを動的に調整して相互に有益なタスクを接続し,互いに悪影響を及ぼす可能性のあるタスクを分離する。
合成ガウスデータセットと大規模セレブ属性(CelebA)データセットについて実験を行った。
論文 参考訳(メタデータ) (2022-12-21T18:58:24Z) - Communication-Efficient Federated Learning With Data and Client
Heterogeneity [22.432529149142976]
Federated Learning (FL)は、機械学習モデルの大規模分散トレーニングを可能にする。
FLを大規模に実行するには、本質的に実践的な課題が伴う。
従来のフェデレーション平均化(FedAvg)アルゴリズムの最初の変種を示す。
論文 参考訳(メタデータ) (2022-06-20T22:39:39Z) - Finite-Time Consensus Learning for Decentralized Optimization with
Nonlinear Gossiping [77.53019031244908]
本稿では,非線形ゴシップ(NGO)に基づく分散学習フレームワークを提案する。
コミュニケーション遅延とランダム化チャットが学習にどう影響するかを解析することで,実践的なバリエーションの導出が可能となる。
論文 参考訳(メタデータ) (2021-11-04T15:36:25Z) - Resource-constrained Federated Edge Learning with Heterogeneous Data:
Formulation and Analysis [8.863089484787835]
ヘテロジニアスデータによる不均一な統計的課題を解決するために, 分散されたニュートン型ニュートン型トレーニングスキームであるFedOVAを提案する。
FedOVAはマルチクラス分類問題をより単純なバイナリ分類問題に分解し、アンサンブル学習を用いてそれぞれの出力を結合する。
論文 参考訳(メタデータ) (2021-10-14T17:35:24Z) - Precision-Weighted Federated Learning [1.8160945635344528]
フェデレート学習環境で訓練されたモデルのパラメータの重み付け平均を計算する際に,勾配のばらつきを考慮した新しいアルゴリズムを提案する。
本手法は,2つの異なるデータ分割戦略 (IID/non-IID) を持つ標準画像分類データセットを用いて,資源制約環境下での手法の性能と速度を測定した。
論文 参考訳(メタデータ) (2021-07-20T17:17:10Z) - Straggler-Resilient Federated Learning: Leveraging the Interplay Between
Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。
本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文 参考訳(メタデータ) (2020-12-28T19:21:14Z) - Communication-Efficient Distributed Deep Learning: A Comprehensive
Survey [22.42450750097714]
本稿では,コミュニケーション効率のよい分散学習アルゴリズムの総合的な調査を行う。
まず,データ並列分散トレーニングアルゴリズムの分類法を提案する。
次に、これらの4次元の問題に対処する最先端の研究について検討する。
論文 参考訳(メタデータ) (2020-03-10T05:42:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。