論文の概要: Device Sampling and Resource Optimization for Federated Learning in Cooperative Edge Networks

• arxiv url: http://arxiv.org/abs/2311.04350v2
• Date: Tue, 20 Aug 2024 00:45:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 20:41:04.615381
• Title: Device Sampling and Resource Optimization for Federated Learning in Cooperative Edge Networks
• Title（参考訳）: 協調エッジネットワークにおけるフェデレーション学習のためのデバイスサンプリングと資源最適化
• Authors: Su Wang, Roberto Morabito, Seyyedali Hosseinalipour, Mung Chiang, Christopher G. Brinton,
• Abstract要約: フェデレーテッド・ラーニング(FedL)は、サーバによって定期的に集約されたローカルモデルをトレーニングすることで、機械学習(ML)をワーカーデバイスに分散させる。 FedLは、同時代の無線ネットワークの2つの重要な特徴を無視している: (i) ネットワークには異種通信/計算資源が含まれており、 (ii) デバイスのローカルデータ分布にかなりの重複がある可能性がある。 デバイス間オフロード(D2D)によって補完されるインテリジェントデバイスサンプリングにより,これらの要因を共同で考慮する新しい最適化手法を開発した。
• 参考スコア（独自算出の注目度）: 17.637761046608
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The conventional federated learning (FedL) architecture distributes machine learning (ML) across worker devices by having them train local models that are periodically aggregated by a server. FedL ignores two important characteristics of contemporary wireless networks, however: (i) the network may contain heterogeneous communication/computation resources, and (ii) there may be significant overlaps in devices' local data distributions. In this work, we develop a novel optimization methodology that jointly accounts for these factors via intelligent device sampling complemented by device-to-device (D2D) offloading. Our optimization methodology aims to select the best combination of sampled nodes and data offloading configuration to maximize FedL training accuracy while minimizing data processing and D2D communication resource consumption subject to realistic constraints on the network topology and device capabilities. Theoretical analysis of the D2D offloading subproblem leads to new FedL convergence bounds and an efficient sequential convex optimizer. Using these results, we develop a sampling methodology based on graph convolutional networks (GCNs) which learns the relationship between network attributes, sampled nodes, and D2D data offloading to maximize FedL accuracy. Through evaluation on popular datasets and real-world network measurements from our edge testbed, we find that our methodology outperforms popular device sampling methodologies from literature in terms of ML model performance, data processing overhead, and energy consumption.
• Abstract（参考訳）: 従来のフェデレートラーニング(FedL)アーキテクチャは、サーバによって定期的に集約されたローカルモデルをトレーニングすることで、機械学習(ML)をワーカーデバイスに分散させる。 しかし、FedLは現代の無線ネットワークの2つの重要な特徴を無視している。 一 ネットワークに異種通信・計算資源を含ませることができること。 (ii)デバイスのローカルデータ分布には大きな重複がある可能性がある。 本研究では,デバイス・ツー・デバイス・オフローディング(D2D)によって補完されるインテリジェント・デバイス・サンプリングを通じて,これらの要因を共同で考慮する新しい最適化手法を開発する。 本手法は,データ処理とD2D通信資源の消費を最小限に抑えつつ,ネットワークトポロジとデバイス機能に現実的な制約を課すことなく,FedLのトレーニング精度を最大化するために,サンプルノードとデータオフロード構成の最適な組み合わせを選択することを目的とする。 D2Dオフロードサブプロブレムの理論解析は、新しいFedL収束バウンダリと効率的な逐次凸最適化器をもたらす。 これらの結果を用いて,ネットワーク属性,サンプリングノード,およびD2Dデータオフロードの関係を学習し,FedLの精度を最大化するグラフ畳み込みネットワーク(GCN)に基づくサンプリング手法を開発した。 本手法は, 機械学習モデルの性能, データ処理オーバーヘッド, エネルギー消費などの観点から, 一般的なデータセットの評価とエッジテストベッドからの実世界のネットワーク計測により, 文献からの一般的なデバイスサンプリング手法よりも優れていることがわかった。

関連論文リスト

• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Efficient Sparsely Activated Transformers [0.34410212782758054]
  トランスフォーマーベースのニューラルネットワークは、多くの機械学習ドメインで最先端のタスクパフォーマンスを実現している。 最近の研究は、これらのネットワークへの動的挙動の混合層(mixed-of-expert layer)の形での統合について検討している。 我々は,既存のTransformerベースのネットワークとユーザ定義のレイテンシターゲットを取り入れたPLANERという新しいシステムを導入する。
  論文  参考訳（メタデータ） (2022-08-31T00:44:27Z)
• Multi-Edge Server-Assisted Dynamic Federated Learning with an Optimized Floating Aggregation Point [51.47520726446029]
  協調エッジ学習(CE-FL)は、分散機械学習アーキテクチャである。 CE-FLの過程をモデル化し,分析訓練を行った。 実世界のテストベッドから収集したデータを用いて,本フレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2022-03-26T00:41:57Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• Dynamic Network-Assisted D2D-Aided Coded Distributed Learning [59.29409589861241]
  本稿では,デバイス間のロードバランシングのための新しいデバイス・ツー・デバイス(D2D)支援型符号化学習手法(D2D-CFL)を提案する。 最小処理時間を達成するための最適圧縮率を導出し、収束時間との接続を確立する。 提案手法は,ユーザが継続的にトレーニングデータを生成するリアルタイム協調アプリケーションに有用である。
  論文  参考訳（メタデータ） (2021-11-26T18:44:59Z)
• Device Sampling for Heterogeneous Federated Learning: Theory, Algorithms, and Implementation [24.084053136210027]
  グラフシーケンシャル畳み込みネットワーク(GCN)に基づくサンプリング手法を開発した。 提案手法は,全機器の5%以下をサンプリングしながら,訓練されたモデル精度と必要なリソース利用の両面で,fedl(federated learning)を実質的に上回っている。
  論文  参考訳（メタデータ） (2021-01-04T05:59:50Z)
• Deep Learning-based Resource Allocation For Device-to-Device Communication [66.74874646973593]
  デバイス間通信(D2D)を用いたマルチチャネルセルシステムにおいて,リソース割り当ての最適化のためのフレームワークを提案する。 任意のチャネル条件に対する最適な資源配分戦略をディープニューラルネットワーク(DNN)モデルにより近似する深層学習(DL)フレームワークを提案する。 シミュレーションの結果,提案手法のリアルタイム性能を低速で実現できることが確認された。
  論文  参考訳（メタデータ） (2020-11-25T14:19:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。