Fugu-MT 論文翻訳(概要): Accurate and Fast Federated Learning via IID and Communication-Aware Grouping

論文の概要: Accurate and Fast Federated Learning via IID and Communication-Aware Grouping

arxiv url: http://arxiv.org/abs/2012.04857v1
Date: Wed, 9 Dec 2020 04:30:38 GMT
ステータス: 処理完了
システム内更新日: 2021-05-16 01:52:58.122472
Title: Accurate and Fast Federated Learning via IID and Communication-Aware Grouping
Title（参考訳）: iidとコミュニケーション・アウェア・グルーピングによる正確で高速な連合学習
Authors: Jin-woo Lee, Jaehoon Oh, Yooju Shin, Jae-Gil Lee, Se-Young Yoon
Abstract要約: 連合学習は、協調機械学習の新しいパラダイムとして登場した。また、非独立で同一の分散(IID)データや高い通信コストなど、いくつかの課題に直面しています。 IIDとコミュニケーション対応グループフェデレーション学習の新たなフレームワークを提案し,精度と通信速度を同時に最大化する。
参考スコア（独自算出の注目度）: 10.05687757555923
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning has emerged as a new paradigm of collaborative machine learning; however, it has also faced several challenges such as non-independent and identically distributed(IID) data and high communication cost. To this end, we propose a novel framework of IID and communication-aware group federated learning that simultaneously maximizes both accuracy and communication speed by grouping nodes based on data distributions and physical locations of the nodes. Furthermore, we provide a formal convergence analysis and an efficient optimization algorithm called FedAvg-IC. Experimental results show that, compared with the state-of-the-art algorithms, FedAvg-IC improved the test accuracy by up to 22.2% and simultaneously reduced the communication time to as small as 12%.
Abstract（参考訳）: 連合学習は、協調機械学習の新しいパラダイムとして登場したが、非独立かつ同一分散(iid)データや高い通信コストといったいくつかの課題にも直面している。そこで本研究では,データ分布と物理位置に基づいてノードをグループ化することで,精度と通信速度を同時に最大化する,iidと通信認識グループ連合学習の新たな枠組みを提案する。さらに,FedAvg-ICと呼ばれる正規収束解析と効率的な最適化アルゴリズムを提案する。実験の結果、最先端のアルゴリズムと比較して、FedAvg-ICはテストの精度を最大22.2%改善し、同時に通信時間を12%にまで短縮した。

関連論文リスト

Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
論文参考訳（メタデータ） (2024-10-09T06:17:16Z)
Faster Convergence on Heterogeneous Federated Edge Learning: An Adaptive Clustered Data Sharing Approach [27.86468387141422]
Federated Edge Learning (FEEL)は、6G Hyper-Connectivityのための分散機械学習パラダイムのパイオニアとして登場した。現在のFEELアルゴリズムは、非独立かつ非独立に分散した(非IID)データと競合し、通信コストの上昇とモデルの精度が損なわれる。我々はクラスタ化データ共有フレームワークを導入し、クラスタヘッドから信頼されたアソシエイトに部分的なデータを選択的に共有することで、データの均一性を緩和する。実験により, このフレームワークは, 限られた通信環境において, 収束速度が速く, モデル精度が高い非IIDデータセット上で FEEL を促進することを示した。
論文参考訳（メタデータ） (2024-06-14T07:22:39Z)
Distributed Event-Based Learning via ADMM [11.461617927469316]
エージェントがネットワーク上で情報を交換することで,グローバルな目的関数を最小限に抑える分散学習問題を考える。提案手法には2つの特徴がある: (i) 必要なときにのみ通信をトリガーすることで通信を大幅に削減し, (ii) 異なるエージェント間のデータ分散に非依存である。
論文参考訳（メタデータ） (2024-05-17T08:30:28Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Communication-Efficient Federated Bilevel Optimization with Local and Global Lower Level Problems [118.00379425831566]
我々はFedBiOAccという通信効率の高いアルゴリズムを提案する。我々は、FedBiOAcc-Localがこの種の問題に対して同じ速度で収束していることを証明する。実験結果から,アルゴリズムの性能が向上した。
論文参考訳（メタデータ） (2023-02-13T21:28:53Z)
Personalized Decentralized Multi-Task Learning Over Dynamic Communication Graphs [59.96266198512243]
本稿では,正と負の相関関係を持つタスクに対する分散・フェデレーション学習アルゴリズムを提案する。本アルゴリズムでは,タスク間の相関関係を自動的に計算し,コミュニケーショングラフを動的に調整して相互に有益なタスクを接続し,互いに悪影響を及ぼす可能性のあるタスクを分離する。合成ガウスデータセットと大規模セレブ属性(CelebA)データセットについて実験を行った。
論文参考訳（メタデータ） (2022-12-21T18:58:24Z)
Communication-Efficient Federated Learning With Data and Client Heterogeneity [22.432529149142976]
Federated Learning (FL)は、機械学習モデルの大規模分散トレーニングを可能にする。 FLを大規模に実行するには、本質的に実践的な課題が伴う。従来のフェデレーション平均化(FedAvg)アルゴリズムの最初の変種を示す。
論文参考訳（メタデータ） (2022-06-20T22:39:39Z)
Finite-Time Consensus Learning for Decentralized Optimization with Nonlinear Gossiping [77.53019031244908]
本稿では,非線形ゴシップ(NGO)に基づく分散学習フレームワークを提案する。コミュニケーション遅延とランダム化チャットが学習にどう影響するかを解析することで,実践的なバリエーションの導出が可能となる。
論文参考訳（メタデータ） (2021-11-04T15:36:25Z)
Precision-Weighted Federated Learning [1.8160945635344528]
フェデレート学習環境で訓練されたモデルのパラメータの重み付け平均を計算する際に,勾配のばらつきを考慮した新しいアルゴリズムを提案する。本手法は,2つの異なるデータ分割戦略 (IID/non-IID) を持つ標準画像分類データセットを用いて,資源制約環境下での手法の性能と速度を測定した。
論文参考訳（メタデータ） (2021-07-20T17:17:10Z)
Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文参考訳（メタデータ） (2020-12-28T19:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。