論文の概要: Multi-Stage Hybrid Federated Learning over Large-Scale D2D-Enabled Fog Networks

• arxiv url: http://arxiv.org/abs/2007.09511v5
• Date: Wed, 12 Jan 2022 22:43:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 06:09:42.067344
• Title: Multi-Stage Hybrid Federated Learning over Large-Scale D2D-Enabled Fog Networks
• Title（参考訳）: 大規模D2D-Enabled Fog Networkにおける多段階ハイブリッドフェデレーション学習
• Authors: Seyyedali Hosseinalipour, Sheikh Shams Azam, Christopher G. Brinton, Nicolo Michelusi, Vaneet Aggarwal, David J. Love, and Huaiyu Dai
• Abstract要約: ネットワークを多層クラスタベース構造とみなす階層内モデル学習と層間モデル学習のハイブリッドを開発する。 MH-FLは、デバイス間通信(D2D)を介して形成されたローカルネットワークを含む、クラスタ内のノード間のトポロジー構造を考察している。 異なるネットワーク層におけるデバイスを協調的/協調的にオーケストレーションし、モデルパラメータの局所的なコンセンサスを形成する。
• 参考スコア（独自算出の注目度）: 61.30171206892684
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning has generated significant interest, with nearly all works focused on a "star" topology where nodes/devices are each connected to a central server. We migrate away from this architecture and extend it through the network dimension to the case where there are multiple layers of nodes between the end devices and the server. Specifically, we develop multi-stage hybrid federated learning (MH-FL), a hybrid of intra- and inter-layer model learning that considers the network as a multi-layer cluster-based structure. MH-FL considers the topology structures among the nodes in the clusters, including local networks formed via device-to-device (D2D) communications, and presumes a semi-decentralized architecture for federated learning. It orchestrates the devices at different network layers in a collaborative/cooperative manner (i.e., using D2D interactions) to form local consensus on the model parameters and combines it with multi-stage parameter relaying between layers of the tree-shaped hierarchy. We derive the upper bound of convergence for MH-FL with respect to parameters of the network topology (e.g., the spectral radius) and the learning algorithm (e.g., the number of D2D rounds in different clusters). We obtain a set of policies for the D2D rounds at different clusters to guarantee either a finite optimality gap or convergence to the global optimum. We then develop a distributed control algorithm for MH-FL to tune the D2D rounds in each cluster over time to meet specific convergence criteria. Our experiments on real-world datasets verify our analytical results and demonstrate the advantages of MH-FL in terms of resource utilization metrics.
• Abstract（参考訳）: 連合学習は大きな関心を集めており、ほぼすべての作業は、ノード/デバイスが中央サーバに接続される"スター"トポロジに焦点を当てている。 このアーキテクチャから移行し、ネットワークのディメンションを通じて、エンドデバイスとサーバの間に複数のノード層が存在するケースに拡張します。 具体的には、ネットワークをマルチ層クラスタベース構造とみなす階層内および層間モデル学習のハイブリッドであるマルチステージハイブリッドフェデレーションラーニング(MH-FL)を開発する。 mh-flは、デバイス間通信(d2d)によって形成されるローカルネットワークを含むクラスタ内のノード間のトポロジ構造を検討し、連合学習のための半分散アーキテクチャを想定している。 異なるネットワーク層におけるデバイスを協調的/協調的な方法で(D2Dインタラクションを使用する)編成し、モデルパラメータの局所的なコンセンサスを形成し、木型階層の層間を中継する多段階パラメータと組み合わせる。 ネットワークトポロジ(例えば、スペクトル半径)と学習アルゴリズム(例えば、異なるクラスタ内のD2Dラウンドの数)のパラメータに関して、MH-FLの収束の上限を導出する。 異なるクラスタでのD2Dラウンドに対する一連のポリシーを取得し、有限最適性ギャップまたは大域最適性への収束を保証する。 次に,MH-FLの分散制御アルゴリズムを開発し,各クラスタのD2Dラウンドを時間とともに調整し,特定の収束基準を満たす。 実世界のデータセットに関する実験は、我々の分析結果を検証し、資源利用指標の観点からMH-FLの利点を実証する。

関連論文リスト

• On Optimizing the Communication of Model Parallelism [74.15423270435949]
  大規模モデル並列ディープラーニング(DL)における新しい重要なコミュニケーションパターンについて検討する。 クロスメッシュリシャーディングでは、シャードテンソルをソースデバイスメッシュから宛先デバイスメッシュに送信する必要がある。 本稿では、効率的な放送ベースの通信システムと「重複しやすい」パイプラインスケジュールという、クロスメシュ・リシャーディングに対処するための2つのコントリビューションを提案する。
  論文  参考訳（メタデータ） (2022-11-10T03:56:48Z)
• Deep Image Clustering with Contrastive Learning and Multi-scale Graph Convolutional Networks [58.868899595936476]
  コントラスト学習とマルチスケールグラフ畳み込みネットワーク(IcicleGCN)を用いた画像クラスタリング手法を提案する。 複数の画像データセットの実験は、最先端のIcicleGCNよりも優れたクラスタリング性能を示している。
  論文  参考訳（メタデータ） (2022-07-14T19:16:56Z)
• Deep Embedded Clustering with Distribution Consistency Preservation for Attributed Networks [15.895606627146291]
  本研究では,属性ネットワークに対するエンドツーエンドの深層クラスタリングモデルを提案する。 グラフオートエンコーダとノード属性オートエンコーダを使用して、ノード表現とクラスタ割り当てをそれぞれ学習する。 提案手法は, 最先端手法と比較して, 性能が著しく向上する。
  論文  参考訳（メタデータ） (2022-05-28T02:35:34Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• Federated Learning Beyond the Star: Local D2D Model Consensus with Global Cluster Sampling [9.976132745670458]
  フェデレートラーニングは、ネットワークエッジにモデルトレーニングを分散する一般的なテクニックとして登場した。 本稿では,デバイス間通信(D2D)を介して,より分散したトポロジに移行する2つの時間スケールハイブリッド・フェデレーション・ラーニング(TT-HF)を提案する。 TT-HFにより得られる収束と利用の改善を,最先端のフェデレーション学習ベースラインに対して実証した。
  論文  参考訳（メタデータ） (2021-09-07T21:48:17Z)
• Two Timescale Hybrid Federated Learning with Cooperative D2D Local Model Aggregations [10.702853653891902]
  フェデレーテッド・ラーニングは、機械学習(ML)モデルのトレーニングを無線エッジに分散する一般的なテクニックとして登場した。 モデル学習のためのデバイス間通信パラダイムとデバイス間通信(d2d)のハイブリッドである,tt-hf(timescale hybrid federated learning)を提案する。
  論文  参考訳（メタデータ） (2021-03-18T18:58:45Z)
• Multi-Level Local SGD for Heterogeneous Hierarchical Networks [11.699472346137739]
  異種ネットワークにおける学習・非目的フレームワークのための分散勾配法であるマルチレベルローカルSGDを提案する。 まず,マルチレベル局所SGDアルゴリズムを記述する統一数学的手法を提案する。 次に,アルゴリズムの理論的解析を行う。
  論文  参考訳（メタデータ） (2020-07-27T19:14:23Z)
• From Federated to Fog Learning: Distributed Machine Learning over Heterogeneous Wireless Networks [71.23327876898816]
  フェデレートラーニング(Federated Learning)は、データを収集するノード間で処理能力を活用することによって、ネットワークエッジでMLモデルをトレーニングするテクニックとして登場した。 我々は、エッジデバイスからクラウドサーバへのノード連続体にMLモデルのトレーニングをインテリジェントに分散する、フォグラーニングと呼ばれる新しい学習パラダイムを提唱する。
  論文  参考訳（メタデータ） (2020-06-07T05:11:18Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。