論文の概要: Two Timescale Hybrid Federated Learning with Cooperative D2D Local Model Aggregations

• arxiv url: http://arxiv.org/abs/2103.10481v1
• Date: Thu, 18 Mar 2021 18:58:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-22 14:39:42.964149
• Title: Two Timescale Hybrid Federated Learning with Cooperative D2D Local Model Aggregations
• Title（参考訳）: 協調d2d局所モデルアグリゲーションを用いた2つの時間スケールハイブリッド連合学習
• Authors: Frank Po-Chen Lin, Seyyedali Hosseinalipour, Sheikh Shams Azam, Christopher G. Brinton, Nicolo Michelusi
• Abstract要約: フェデレーテッド・ラーニングは、機械学習(ML)モデルのトレーニングを無線エッジに分散する一般的なテクニックとして登場した。 モデル学習のためのデバイス間通信パラダイムとデバイス間通信(d2d)のハイブリッドである,tt-hf(timescale hybrid federated learning)を提案する。
• 参考スコア（独自算出の注目度）: 10.702853653891902
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning has emerged as a popular technique for distributing machine learning (ML) model training across the wireless edge. In this paper, we propose two timescale hybrid federated learning (TT-HF), which is a hybrid between the device-to-server communication paradigm in federated learning and device-to-device (D2D) communications for model training. In TT-HF, during each global aggregation interval, devices (i) perform multiple stochastic gradient descent iterations on their individual datasets, and (ii) aperiodically engage in consensus formation of their model parameters through cooperative, distributed D2D communications within local clusters. With a new general definition of gradient diversity, we formally study the convergence behavior of TT-HF, resulting in new convergence bounds for distributed ML. We leverage our convergence bounds to develop an adaptive control algorithm that tunes the step size, D2D communication rounds, and global aggregation period of TT-HF over time to target a sublinear convergence rate of O(1/t) while minimizing network resource utilization. Our subsequent experiments demonstrate that TT-HF significantly outperforms the current art in federated learning in terms of model accuracy and/or network energy consumption in different scenarios where local device datasets exhibit statistical heterogeneity.
• Abstract（参考訳）: フェデレーテッド・ラーニングは、機械学習(ML)モデルのトレーニングを無線エッジに分散する一般的なテクニックとして登場した。 本稿では,フェデレーション学習におけるデバイス間通信パラダイムとモデル学習のためのデバイス間通信(d2d)のハイブリッドであるtt-hf(timescale hybrid federated learning)を提案する。 TT-HFでは,各グローバルアグリゲーション間隔において,デバイス (i) がそれぞれのデータセットに対して複数の確率勾配降下繰り返しを行い, (ii) 局所クラスタ内の協調分散D2D通信を通じて,モデルパラメータのコンセンサス形成に定期的に関与する。 勾配多様性の新しい一般定義により,tt-hf の収束挙動を形式的に研究し,分散 ml に対する新しい収束境界を導出した。 ネットワーク資源利用を最小化しつつ,O(1/t)のサブ線形収束率を目標とし,ステップサイズ,D2D通信ラウンド,TT-HFのグローバルアグリゲーション周期を時間とともに調整する適応制御アルゴリズムを開発する。 実験の結果,tt-hfは,局所的デバイスデータセットが統計的不均一性を示す様々なシナリオにおいて,モデル精度やネットワークエネルギー消費の観点から,現在のフェデレーション学習の技術を著しく上回っていることがわかった。

関連論文リスト

• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• FedDCT: A Dynamic Cross-Tier Federated Learning Framework in Wireless Networks [5.914766366715661]
  フェデレートラーニング(FL)は、ローカルデータを公開せずにデバイス全体でグローバルモデルをトレーニングする。 無線ネットワークにおけるリソースの不均一性と避けられないストラグラーは、FLトレーニングの効率と正確性に大きな影響を与えます。 動的クロスティアフェデレーション学習フレームワーク(FedDCT)を提案する。
  論文  参考訳（メタデータ） (2023-07-10T08:54:07Z)
• Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization [82.12796238714589]
  高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。 アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。 我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-05-04T09:26:03Z)
• Decentralized Event-Triggered Federated Learning with Heterogeneous Communication Thresholds [12.513477328344255]
  ネットワークグラフトポロジ上での非同期なイベントトリガーによるコンセンサス反復による分散モデルアグリゲーションのための新しい手法を提案する。 本手法は,分散学習とグラフコンセンサス文学における標準的な仮定の下で,グローバルな最適学習モデルを実現することを実証する。
  論文  参考訳（メタデータ） (2022-04-07T20:35:37Z)
• Time-Correlated Sparsification for Efficient Over-the-Air Model Aggregation in Wireless Federated Learning [23.05003652536773]
  Federated Edge Learning(FEEL)は、エッジインテリジェンスアプリケーションを駆動するための有望な分散機械学習(ML)フレームワークである。 通信効率の高いFEELのためのハイブリッドアグリゲーション(TCS-H)を用いた時間相関スペーシングを提案する。
  論文  参考訳（メタデータ） (2022-02-17T02:48:07Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• Federated Learning Beyond the Star: Local D2D Model Consensus with Global Cluster Sampling [9.976132745670458]
  フェデレートラーニングは、ネットワークエッジにモデルトレーニングを分散する一般的なテクニックとして登場した。 本稿では,デバイス間通信(D2D)を介して,より分散したトポロジに移行する2つの時間スケールハイブリッド・フェデレーション・ラーニング(TT-HF)を提案する。 TT-HFにより得られる収束と利用の改善を,最先端のフェデレーション学習ベースラインに対して実証した。
  論文  参考訳（メタデータ） (2021-09-07T21:48:17Z)
• Fast-Convergent Federated Learning [82.32029953209542]
  フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。 本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-26T14:37:51Z)
• Multi-Stage Hybrid Federated Learning over Large-Scale D2D-Enabled Fog Networks [61.30171206892684]
  ネットワークを多層クラスタベース構造とみなす階層内モデル学習と層間モデル学習のハイブリッドを開発する。 MH-FLは、デバイス間通信(D2D)を介して形成されたローカルネットワークを含む、クラスタ内のノード間のトポロジー構造を考察している。 異なるネットワーク層におけるデバイスを協調的/協調的にオーケストレーションし、モデルパラメータの局所的なコンセンサスを形成する。
  論文  参考訳（メタデータ） (2020-07-18T20:03:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。