論文の概要: Federated Learning Beyond the Star: Local D2D Model Consensus with Global Cluster Sampling

• arxiv url: http://arxiv.org/abs/2109.03350v1
• Date: Tue, 7 Sep 2021 21:48:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-09 13:34:41.094389
• Title: Federated Learning Beyond the Star: Local D2D Model Consensus with Global Cluster Sampling
• Title（参考訳）: 星を越えたフェデレーション学習:グローバルクラスタサンプリングによるローカルD2Dモデル合意
• Authors: Frank Po-Chen Lin, Seyyedali Hosseinalipour, Sheikh Shams Azam, Christopher G. Brinton, and Nicol\`o Michelusi
• Abstract要約: フェデレートラーニングは、ネットワークエッジにモデルトレーニングを分散する一般的なテクニックとして登場した。 本稿では,デバイス間通信(D2D)を介して,より分散したトポロジに移行する2つの時間スケールハイブリッド・フェデレーション・ラーニング(TT-HF)を提案する。 TT-HFにより得られる収束と利用の改善を,最先端のフェデレーション学習ベースラインに対して実証した。
• 参考スコア（独自算出の注目度）: 9.976132745670458
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning has emerged as a popular technique for distributing model training across the network edge. Its learning architecture is conventionally a star topology between the devices and a central server. In this paper, we propose two timescale hybrid federated learning (TT-HF), which migrates to a more distributed topology via device-to-device (D2D) communications. In TT-HF, local model training occurs at devices via successive gradient iterations, and the synchronization process occurs at two timescales: (i) macro-scale, where global aggregations are carried out via device-server interactions, and (ii) micro-scale, where local aggregations are carried out via D2D cooperative consensus formation in different device clusters. Our theoretical analysis reveals how device, cluster, and network-level parameters affect the convergence of TT-HF, and leads to a set of conditions under which a convergence rate of O(1/t) is guaranteed. Experimental results demonstrate the improvements in convergence and utilization that can be obtained by TT-HF over state-of-the-art federated learning baselines.
• Abstract（参考訳）: フェデレートラーニングは、ネットワークエッジにモデルトレーニングを分散する一般的なテクニックとして登場した。 その学習アーキテクチャは、通常、デバイスと中央サーバーの間の星のトポロジーである。 本稿では,デバイス間通信(d2d)を介して,より分散したトポロジへ移行する2つの時間スケールハイブリッド連合学習(tt-hf)を提案する。 tt-hfでは、連続する勾配反復によってデバイスで局所モデルトレーニングが行われ、同期処理は2つのタイムスケールで行われる: (i) グローバルアグリゲーションがデバイスサーバ間インタラクションによって実行されるマクロスケール、 (ii) マイクロスケールでは、異なるデバイスクラスタでd2d協調コンセンサス形成を介して局所アグリゲーションが行われる。 理論解析により,デバイス,クラスタ,ネットワークレベルのパラメータがTT-HFの収束にどのように影響するかが明らかとなり,O(1/t)の収束率が保証される条件の集合が導かれる。 実験結果は,tt-hfが最先端のフェデレート学習ベースラインに対して得られる収束と利用の改善を示す。

関連論文リスト

• TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
  本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。 時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。 並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
  論文  参考訳（メタデータ） (2024-04-15T06:01:48Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Event-Triggered Decentralized Federated Learning over Resource-Constrained Edge Devices [12.513477328344255]
  Federated Learning (FL)は分散機械学習(ML)のための技術である 従来のFLアルゴリズムでは、エッジで訓練されたモデルを中央サーバに定期的に送信して集約する。 我々は、デバイスが協調的なコンセンサス形成を通じてモデルアグリゲーションを行う完全分散FLのための新しい手法を開発した。
  論文  参考訳（メタデータ） (2022-11-23T00:04:05Z)
• Decentralized Event-Triggered Federated Learning with Heterogeneous Communication Thresholds [12.513477328344255]
  ネットワークグラフトポロジ上での非同期なイベントトリガーによるコンセンサス反復による分散モデルアグリゲーションのための新しい手法を提案する。 本手法は,分散学習とグラフコンセンサス文学における標準的な仮定の下で,グローバルな最適学習モデルを実現することを実証する。
  論文  参考訳（メタデータ） (2022-04-07T20:35:37Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• Two Timescale Hybrid Federated Learning with Cooperative D2D Local Model Aggregations [10.702853653891902]
  フェデレーテッド・ラーニングは、機械学習(ML)モデルのトレーニングを無線エッジに分散する一般的なテクニックとして登場した。 モデル学習のためのデバイス間通信パラダイムとデバイス間通信(d2d)のハイブリッドである,tt-hf(timescale hybrid federated learning)を提案する。
  論文  参考訳（メタデータ） (2021-03-18T18:58:45Z)
• Fast-Convergent Federated Learning [82.32029953209542]
  フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。 本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-26T14:37:51Z)
• Multi-Stage Hybrid Federated Learning over Large-Scale D2D-Enabled Fog Networks [61.30171206892684]
  ネットワークを多層クラスタベース構造とみなす階層内モデル学習と層間モデル学習のハイブリッドを開発する。 MH-FLは、デバイス間通信(D2D)を介して形成されたローカルネットワークを含む、クラスタ内のノード間のトポロジー構造を考察している。 異なるネットワーク層におけるデバイスを協調的/協調的にオーケストレーションし、モデルパラメータの局所的なコンセンサスを形成する。
  論文  参考訳（メタデータ） (2020-07-18T20:03:07Z)
• From Federated to Fog Learning: Distributed Machine Learning over Heterogeneous Wireless Networks [71.23327876898816]
  フェデレートラーニング(Federated Learning)は、データを収集するノード間で処理能力を活用することによって、ネットワークエッジでMLモデルをトレーニングするテクニックとして登場した。 我々は、エッジデバイスからクラウドサーバへのノード連続体にMLモデルのトレーニングをインテリジェントに分散する、フォグラーニングと呼ばれる新しい学習パラダイムを提唱する。
  論文  参考訳（メタデータ） (2020-06-07T05:11:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。