論文の概要: Convergence of Update Aware Device Scheduling for Federated Learning at the Wireless Edge

• arxiv url: http://arxiv.org/abs/2001.10402v2
• Date: Fri, 8 May 2020 11:18:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-06 03:07:20.783246
• Title: Convergence of Update Aware Device Scheduling for Federated Learning at the Wireless Edge
• Title（参考訳）: 無線エッジにおける連合学習のための更新認識デバイススケジューリングの収束
• Authors: Mohammad Mohammadi Amiri, Deniz Gunduz, Sanjeev R. Kulkarni, H. Vincent Poor
• Abstract要約: 遠隔パラメータサーバ(PS)の助けを借りて、ローカルデータセットを持つパワー制限デバイスが共同でジョイントモデルを訓練する無線エッジにおけるフェデレーション学習について研究する。 各ラウンドで送信するデバイスのサブセットを決定する新しいスケジューリングとリソース割り当てポリシーを設計する。 数値実験の結果,提案したスケジューリングポリシーは,チャネル条件と局所モデル更新の重要性の両方に基づいており,両者の指標のみに基づくスケジューリングポリシーよりも長期的性能がよいことがわかった。
• 参考スコア（独自算出の注目度）: 84.55126371346452
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study federated learning (FL) at the wireless edge, where power-limited devices with local datasets collaboratively train a joint model with the help of a remote parameter server (PS). We assume that the devices are connected to the PS through a bandwidth-limited shared wireless channel. At each iteration of FL, a subset of the devices are scheduled to transmit their local model updates to the PS over orthogonal channel resources, while each participating device must compress its model update to accommodate to its link capacity. We design novel scheduling and resource allocation policies that decide on the subset of the devices to transmit at each round, and how the resources should be allocated among the participating devices, not only based on their channel conditions, but also on the significance of their local model updates. We then establish convergence of a wireless FL algorithm with device scheduling, where devices have limited capacity to convey their messages. The results of numerical experiments show that the proposed scheduling policy, based on both the channel conditions and the significance of the local model updates, provides a better long-term performance than scheduling policies based only on either of the two metrics individually. Furthermore, we observe that when the data is independent and identically distributed (i.i.d.) across devices, selecting a single device at each round provides the best performance, while when the data distribution is non-i.i.d., scheduling multiple devices at each round improves the performance. This observation is verified by the convergence result, which shows that the number of scheduled devices should increase for a less diverse and more biased data distribution.
• Abstract（参考訳）: 我々は,無線エッジにおけるフェデレーション学習(FL)について研究し,遠隔パラメータサーバ(PS)の助けを借りて,ローカルデータセットを用いたパワー制限デバイスが共同でジョイントモデルを訓練する。 デバイスは帯域幅制限の共有無線チャネルを介してPSに接続されていると仮定する。 FLの各イテレーションでは、デバイスのサブセットが直交チャネルリソースを介してPSにローカルモデル更新を送信するようにスケジュールされ、各デバイスはリンク容量に合わせてモデル更新を圧縮する必要がある。 我々は,各ラウンドに送信する機器のサブセットを決定する新しいスケジューリングとリソース割り当てポリシと,そのチャネル条件だけでなく,そのローカルモデル更新の意義にもとづいて,参加デバイスにリソースを割り当てる方法について設計する。 次に、デバイスがメッセージを送信する能力に制限のあるデバイススケジューリングによる無線flアルゴリズムの収束を確立する。 数値実験の結果,提案したスケジューリングポリシーは,チャネル条件と局所モデル更新の重要性の両方に基づいており,両者の指標のみに基づくスケジューリングポリシーよりも長期的性能がよいことがわかった。 また、各ラウンドにおける1つのデバイスの選択が最高のパフォーマンスを提供する一方、データ配信が非i.i.dである場合には、各ラウンドにおける複数のデバイスをスケジューリングすることで、パフォーマンスが向上する。 この観測は収束結果によって検証され、より多様で偏りのあるデータ分布のためにスケジュールされたデバイス数が増加することが示されている。

関連論文リスト

• Channel and Gradient-Importance Aware Device Scheduling for Over-the-Air Federated Learning [31.966999085992505]
  フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための分散トレーニングスキームである。 チャネルノイズ歪みの負の影響を緩和するために,PO-FL というオーバー・ザ・エア FL のための機器スケジューリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-26T12:04:59Z)
• Scheduling and Aggregation Design for Asynchronous Federated Learning over Wireless Networks [56.91063444859008]
  Federated Learning(FL)は、デバイス上でのトレーニングとサーバベースのアグリゲーションを組み合わせた、協調的な機械学習フレームワークである。 FLシステムにおけるストラグラー問題に対処するために,周期的アグリゲーションを用いた非同期FL設計を提案する。 年齢認識の集約重み付け設計は,非同期FL設定における学習性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-14T17:33:01Z)
• Federated Learning for Energy-limited Wireless Networks: A Partial Model Aggregation Approach [79.59560136273917]
  デバイス間の限られた通信資源、帯域幅とエネルギー、およびデータ不均一性は、連邦学習(FL)の主要なボトルネックである まず、部分モデルアグリゲーション(PMA)を用いた新しいFLフレームワークを考案する。 提案されたPMA-FLは、2つの典型的な異種データセットにおいて2.72%と11.6%の精度を改善する。
  論文  参考訳（メタデータ） (2022-04-20T19:09:52Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• Federated Learning with Downlink Device Selection [92.14944020945846]
  我々は,無線ネットワークのエッジにおいて,プライバシーに敏感なデータを用いてグローバルモデルを協調訓練するフェデレーションエッジ学習について検討した。 パラメータサーバ(PS)は、グローバルモデルを追跡し、無線エッジデバイスと共有して、プライベートローカルデータを使用したトレーニングを行う。 デバイス選択は、PSがデバイスとグローバルモデルを共有するダウンリンクチャネルに基づいて検討する。
  論文  参考訳（メタデータ） (2021-07-07T22:42:39Z)
• Data-Aware Device Scheduling for Federated Edge Learning [5.521735057483887]
  Federated Edge Learning (FEEL)は、エッジデバイス間の機械学習モデルの協調トレーニングを含む。 FEELにおける非独立分散(非IID)データセットとアンバランスデータセットの新しいスケジューリング方式を提案する。 提案するFEELスケジューリングアルゴリズムは,低コストで数ラウンドで高い精度を実現することができることを示す。
  論文  参考訳（メタデータ） (2021-02-18T17:17:56Z)
• Convergence of Federated Learning over a Noisy Downlink [84.55126371346452]
  我々は,遠隔パラメータサーバの助けを借りて,ローカルデータセットを利用してグローバルモデルを協調訓練するフェデレーション学習について検討した。 このフレームワークは、PSからデバイスへのダウンリンク送信と、デバイスからPSへのアップリンク送信を必要とする。 本研究の目的は、ダウンリンクとアップリンクの両方における帯域幅制限された共有無線媒体がFLの性能に与える影響を検討することである。
  論文  参考訳（メタデータ） (2020-08-25T16:15:05Z)
• Joint Device Scheduling and Resource Allocation for Latency Constrained Wireless Federated Learning [26.813145949399427]
  FL(Federated Learning)では、デバイスがローカルモデルの更新を無線チャネル経由でアップロードする。 モデル精度を最大化するために,共同装置スケジューリングと資源配分ポリシーを提案する。 実験の結果,提案手法は最先端のスケジューリング方式よりも優れていた。
  論文  参考訳（メタデータ） (2020-07-14T16:46:47Z)
• Scheduling Policy and Power Allocation for Federated Learning in NOMA Based MEC [21.267954799102874]
  Federated Learning(FL)は、データ分散を維持しながらモデルを集中的にトレーニングできる、高度に追求された機械学習技術である。 重み付き和データレートを最大化するために、非直交多重アクセス(NOMA)設定を用いた新しいスケジューリングポリシーと電力割当方式を提案する。 シミュレーションの結果,提案手法は,NOMAベースの無線ネットワークにおいて高いFLテスト精度を実現するのに有効であることがわかった。
  論文  参考訳（メタデータ） (2020-06-21T23:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。