論文の概要: Decentralized Federated Learning: Balancing Communication and Computing Costs

• arxiv url: http://arxiv.org/abs/2107.12048v1
• Date: Mon, 26 Jul 2021 09:09:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-27 15:49:26.401264
• Title: Decentralized Federated Learning: Balancing Communication and Computing Costs
• Title（参考訳）: 分散連合学習:コミュニケーションとコンピューティングのコストのバランス
• Authors: Wei Liu, Li Chen, and Wenyi Zhang
• Abstract要約: 分散統合学習(DFL)は分散機械学習の強力なフレームワークである。 本稿では,コミュニケーション効率と収束性能のバランスをとるための汎用的な分散化フェデレーション学習フレームワークを提案する。 MNISTとCIFAR-10データセットに基づく実験結果は、従来の分散SGD法よりもDFLの方が優れていることを示している。
• 参考スコア（独自算出の注目度）: 21.694468026280806
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized federated learning (DFL) is a powerful framework of distributed machine learning and decentralized stochastic gradient descent (SGD) is a driving engine for DFL. The performance of decentralized SGD is jointly influenced by communication-efficiency and convergence rate. In this paper, we propose a general decentralized federated learning framework to strike a balance between communication-efficiency and convergence performance. The proposed framework performs both multiple local updates and multiple inter-node communications periodically, unifying traditional decentralized SGD methods. We establish strong convergence guarantees for the proposed DFL algorithm without the assumption of convex objective function. The balance of communication and computation rounds is essential to optimize decentralized federated learning under constrained communication and computation resources. For further improving communication-efficiency of DFL, compressed communication is applied to DFL, named DFL with compressed communication (C-DFL). The proposed C-DFL exhibits linear convergence for strongly convex objectives. Experiment results based on MNIST and CIFAR-10 datasets illustrate the superiority of DFL over traditional decentralized SGD methods and show that C-DFL further enhances communication-efficiency.
• Abstract（参考訳）: 分散統合学習(DFL)は分散機械学習の強力なフレームワークであり、分散確率勾配降下(SGD)はDFLの駆動エンジンである。 分散SGDの性能は通信効率と収束率に左右される。 本稿では,コミュニケーション効率と収束性能のバランスをとるための汎用的な分散化フェデレーション学習フレームワークを提案する。 提案フレームワークは、複数のローカル更新と複数のノード間通信の両方を定期的に実行し、従来の分散SGDメソッドを統一する。 我々は凸目的関数を仮定せずに提案したDFLアルゴリズムに対して強い収束保証を確立する。 通信と計算のバランスは、制約付きコミュニケーションと計算リソースの下で分散した連合学習を最適化するために不可欠である。 DFLの通信効率をさらに向上するため、圧縮通信(C-DFL)を備えたDFLと呼ばれるDFLに圧縮通信を適用する。 提案するc-dflは強凸目的に対して線形収束を示す。 MNISTおよびCIFAR-10データセットに基づく実験結果は、従来の分散SGD法よりもDFLの方が優れており、C-DFLが通信効率をさらに高めることを示す。

関連論文リスト

• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Decentralized Personalized Federated Learning based on a Conditional Sparse-to-Sparser Scheme [5.5058010121503]
  分散連邦学習(DFL)は、その堅牢性と集中的調整の回避によって人気を博している。 本稿では, DA-DPFL という新しいテクスチャパース・ツー・スパーサー・トレーニング手法を提案する。 実験の結果, DA-DPFLはDFLのベースラインの精度を大幅に上回り, エネルギーコストの最大5ドル削減を実現していることがわかった。
  論文  参考訳（メタデータ） (2024-04-24T16:03:34Z)
• OCD-FL: A Novel Communication-Efficient Peer Selection-based Decentralized Federated Learning [2.203783085755103]
  本稿では,OCD-FL(Opportunistic Communication- efficient decentralized Federated Learning)方式を提案する。 OCD-FLは協調作業のための系統的なFLピア選択で構成され,エネルギー消費を低減しつつ,FL知識の最大ゲインを達成することを目的としている。 実験の結果,OCD-FLは完全協調型FLと同等あるいは良好な性能を達成でき,消費エネルギーを少なくとも30%,最大80%低減できることがわかった。
  論文  参考訳（メタデータ） (2024-03-06T20:34:08Z)
• Communication-Efficient Decentralized Federated Learning via One-Bit Compressive Sensing [52.402550431781805]
  分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。 集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。 我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-08-31T12:22:40Z)
• Communication Resources Constrained Hierarchical Federated Learning for End-to-End Autonomous Driving [67.78611905156808]
  本稿では,最適化に基づくコミュニケーションリソース制約付き階層型学習フレームワークを提案する。 その結果,提案したCRCHFLは収束速度を加速し,フェデレーション学習自律運転モデルの一般化を促進することがわかった。
  論文  参考訳（メタデータ） (2023-06-28T12:44:59Z)
• Decentralized Federated Learning: A Survey and Perspective [45.81975053649379]
  分散FL(DFL)は、中央サーバーを必要としない分散ネットワークアーキテクチャである。 DFLはクライアント間の直接通信を可能にし、通信リソースの大幅な節約をもたらす。
  論文  参考訳（メタデータ） (2023-06-02T15:12:58Z)
• Communication-Efficient Consensus Mechanism for Federated Reinforcement Learning [20.891460617583302]
  FLは、トレーニング効率と安定性の観点から、IRLのポリシー性能を向上させることができることを示す。 本稿では,モデル収束性能の向上と,必要な通信や計算オーバーヘッドの低減のバランスをとるために,システムユーティリティ関数を提案する。
  論文  参考訳（メタデータ） (2022-01-30T04:04:24Z)
• Finite-Time Consensus Learning for Decentralized Optimization with Nonlinear Gossiping [77.53019031244908]
  本稿では,非線形ゴシップ(NGO)に基づく分散学習フレームワークを提案する。 コミュニケーション遅延とランダム化チャットが学習にどう影響するかを解析することで,実践的なバリエーションの導出が可能となる。
  論文  参考訳（メタデータ） (2021-11-04T15:36:25Z)
• Federated Learning over Wireless IoT Networks with Optimized Communication and Resources [98.18365881575805]
  協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。 無線システム上での高速応答および高精度FLスキームの検証が重要である。 提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
  論文  参考訳（メタデータ） (2021-10-22T13:25:57Z)
• Wireless Communications for Collaborative Federated Learning [160.82696473996566]
  IoT(Internet of Things)デバイスは、収集したデータを中央のコントローラに送信することができず、機械学習モデルをトレーニングすることができる。 GoogleのセミナルFLアルゴリズムでは、すべてのデバイスを中央コントローラに直接接続する必要がある。 本稿では,コラボレーティブFL(CFL)と呼ばれる新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-03T20:00:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。