論文の概要: Delay-Aware Hierarchical Federated Learning

• arxiv url: http://arxiv.org/abs/2303.12414v1
• Date: Wed, 22 Mar 2023 09:23:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-23 14:33:51.454683
• Title: Delay-Aware Hierarchical Federated Learning
• Title（参考訳）: 遅延アウェア階層型連合学習
• Authors: Frank Po-Chen Lin, Seyyedali Hosseinalipour, Christopher Brinton, Nicol\`o Michelusi
• Abstract要約: 本稿では,分散機械学習(ML)モデルの学習効率を向上させるために,遅延認識型フェデレーション学習(DFL)を提案する。 DFLは、各グローバルアグリゲーション収束中に複数の勾配降下データセットを使用し、ローカライズワークのエッジサーバを通じてモデルパラメータを断続的に集約する。 DFL向けに適応制御アルゴリズムを開発し、サブ線形収束率を目標として、エネルギーとエッジ・ツー・クラウド通信遅延を緩和するポリシーを実装した。
• 参考スコア（独自算出の注目度）: 7.462919719955788
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning has gained popularity as a means of training models distributed across the wireless edge. The paper introduces delay-aware federated learning (DFL) to improve the efficiency of distributed machine learning (ML) model training by addressing communication delays between edge and cloud. DFL employs multiple stochastic gradient descent iterations on device datasets during each global aggregation interval and intermittently aggregates model parameters through edge servers in local subnetworks. The cloud server synchronizes the local models with the global deployed model computed via a local-global combiner at global synchronization. The convergence behavior of DFL is theoretically investigated under a generalized data heterogeneity metric. A set of conditions is obtained to achieve the sub-linear convergence rate of O(1/k). Based on these findings, an adaptive control algorithm is developed for DFL, implementing policies to mitigate energy consumption and edge-to-cloud communication latency while aiming for a sublinear convergence rate. Numerical evaluations show DFL's superior performance in terms of faster global model convergence, reduced resource consumption, and robustness against communication delays compared to existing FL algorithms. In summary, this proposed method offers improved efficiency and satisfactory results when dealing with both convex and non-convex loss functions.
• Abstract（参考訳）: フェデレーション学習は、ワイヤレスエッジに分散したトレーニングモデルとして人気を集めている。 本稿では、エッジとクラウド間の通信遅延に対処することにより、分散機械学習(ML)モデルのトレーニング効率を向上させるために、遅延認識フェデレーション学習(DFL)を提案する。 DFLは、各グローバルアグリゲーションインターバル中にデバイスデータセットに複数の確率勾配降下イテレーションを導入し、ローカルサブネットワーク内のエッジサーバを介してモデルパラメータを間欠的に集約する。 クラウドサーバは、グローバル同期時にローカルグローバルコンビネータを介して計算されるグローバルデプロイモデルとローカルモデルを同期する。 DFLの収束挙動は、一般化されたデータ不均一性計量の下で理論的に研究される。 一連の条件が得られ、o(1/k) の部分線形収束率を達成する。 これらの知見に基づき, DFL の適応制御アルゴリズムを開発し, サブ線形収束率を目標として, エネルギー消費とエッジ-クラウド通信遅延を緩和するポリシーを実装した。 数値評価により、dflは、既存のflアルゴリズムよりも高速なグローバルモデル収束、リソース消費の低減、通信遅延に対する堅牢性において優れた性能を示す。 要約すると,提案手法は凸損失関数と非凸損失関数の両方を扱う際の効率と満足度の向上をもたらす。

関連論文リスト

• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Time-sensitive Learning for Heterogeneous Federated Edge Intelligence [52.83633954857744]
  フェデレーションエッジインテリジェンス(FEI)システムにおけるリアルタイム機械学習について検討する。 FEIシステムは異種通信と計算資源分布を示す。 本稿では,共有MLモデルの協調学習における全体の実行時間を最小化するために,時間依存型フェデレーションラーニング(TS-FL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-26T08:13:22Z)
• Time Minimization in Hierarchical Federated Learning [11.678121177730718]
  フェデレートラーニング(Federated Learning)は、ユーザ機器が機械学習タスクをローカルに実行し、モデルパラメータを中央サーバにアップロードする、現代的な分散機械学習技術である。 本稿では,クラウドとエッジサーバ間のモデルパラメータ交換を含む3層階層型階層型学習システムについて考察する。
  論文  参考訳（メタデータ） (2022-10-07T13:53:20Z)
• Resource-Efficient and Delay-Aware Federated Learning Design under Edge Heterogeneity [10.702853653891902]
  フェデレーテッド・ラーニング(FL)は、ワイヤレスエッジデバイスに機械学習を分散するための一般的な方法論として登場した。 本研究では,FLにおけるモデル性能と資源利用のトレードオフを最適化することを検討する。 提案したStoFedDelAvは、FL計算ステップに局所言語モデルコンバインダーを組み込む。
  論文  参考訳（メタデータ） (2021-12-27T22:30:15Z)
• Stragglers Are Not Disaster: A Hybrid Federated Learning Algorithm with Delayed Gradients [21.63719641718363]
  フェデレーション・ラーニング(federated learning, fl)は、多数の分散コンピューティングデバイスで合同モデルをトレーニングする、新しい機械学習フレームワークである。 本稿では,効率と有効性における学習バランスを実現するための新しいflアルゴリズムであるhybrid federated learning(hfl)を提案する。
  論文  参考訳（メタデータ） (2021-02-12T02:27:44Z)
• Federated Learning with Communication Delay in Edge Networks [5.500965885412937]
  フェデレーション学習は、エッジネットワークを通じて機械学習(ML)モデルのトレーニングを分散する潜在的なソリューションとして、大きな注目を集めている。 この研究は、エッジノードとアグリゲータ間の通信遅延という、ネットワークエッジにおけるフェデレーション学習の重要な考慮事項に対処する。 FedDelAvg(フェデレート遅延平均化)と呼ばれる手法が開発され、標準フェデレーション平均化アルゴリズムを一般化し、同期ステップ中に各デバイスで受信した現在のローカルモデルと遅延グローバルモデルとの重み付けを組み込む。
  論文  参考訳（メタデータ） (2020-08-21T06:21:35Z)
• Delay Minimization for Federated Learning Over Wireless Communication Networks [172.42768672943365]
  無線通信ネットワーク上でのフェデレーション学習(FL)における遅延計算の問題について検討した。 最適解を得るために,二項探索アルゴリズムを提案する。 シミュレーションの結果,提案アルゴリズムは従来のFL法と比較して最大27.3%遅延を低減できることがわかった。
  論文  参考訳（メタデータ） (2020-07-05T19:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。