論文の概要: WHALE-FL: Wireless and Heterogeneity Aware Latency Efficient Federated Learning over Mobile Devices via Adaptive Subnetwork Scheduling

• arxiv url: http://arxiv.org/abs/2405.00885v2
• Date: Mon, 19 Aug 2024 19:38:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 19:59:41.056833
• Title: WHALE-FL: Wireless and Heterogeneity Aware Latency Efficient Federated Learning over Mobile Devices via Adaptive Subnetwork Scheduling
• Title（参考訳）: WHALE-FL:Adaptive Subnetwork Schedulingによるモバイルデバイス上での遅延学習を意識した無線・不均一性
• Authors: Huai-an Su, Jiaxiang Geng, Liang Li, Xiaoqi Qin, Yanzhao Hou, Hao Wang, Xin Fu, Miao Pan,
• Abstract要約: 我々は,適応サブネットワークスケジューリングによるFLトレーニングを高速化するために,無線かつ認識可能な遅延効率FL(WHALE-FL)アプローチを開発した。 評価の結果,WHALE-FLはピアデザインと比較して,学習精度を犠牲にすることなく,FLトレーニングを効果的に加速することがわかった。
• 参考スコア（独自算出の注目度）: 17.029433544096257
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a popular distributed learning paradigm, federated learning (FL) over mobile devices fosters numerous applications, while their practical deployment is hindered by participating devices' computing and communication heterogeneity. Some pioneering research efforts proposed to extract subnetworks from the global model, and assign as large a subnetwork as possible to the device for local training based on its full computing and communications capacity. Although such fixed size subnetwork assignment enables FL training over heterogeneous mobile devices, it is unaware of (i) the dynamic changes of devices' communication and computing conditions and (ii) FL training progress and its dynamic requirements of local training contributions, both of which may cause very long FL training delay. Motivated by those dynamics, in this paper, we develop a wireless and heterogeneity aware latency efficient FL (WHALE-FL) approach to accelerate FL training through adaptive subnetwork scheduling. Instead of sticking to the fixed size subnetwork, WHALE-FL introduces a novel subnetwork selection utility function to capture device and FL training dynamics, and guides the mobile device to adaptively select the subnetwork size for local training based on (a) its computing and communication capacity, (b) its dynamic computing and/or communication conditions, and (c) FL training status and its corresponding requirements for local training contributions. Our evaluation shows that, compared with peer designs, WHALE-FL effectively accelerates FL training without sacrificing learning accuracy.
• Abstract（参考訳）: 一般的な分散学習パラダイムとして、モバイルデバイス上でのフェデレーション学習(FL)は、多数のアプリケーションを育成する一方で、その実践的な展開は、参加するデバイスのコンピューティングとコミュニケーションの不均一性によって妨げられている。 いくつかの先駆的な研究は、グローバルモデルからサブネットワークを抽出し、その完全な計算能力と通信能力に基づいたローカルトレーニングのためのデバイスに可能な限り大規模なサブネットワークを割り当てることを提案した。 このような固定サイズのサブネットワーク割り当ては、不均一なモバイルデバイス上でのFLトレーニングを可能にするが、それは知らない。 (i)機器の通信・コンピューティング条件の動的変化 (II)FLトレーニングの進行と局所的なトレーニングへの貢献の動的要求はどちらも非常に長いFLトレーニングの遅延を引き起こす可能性がある。 そこで本研究では,適応サブネットワークスケジューリングによるFLトレーニングを高速化するために,無線かつ不均一性を考慮したレイテンシ効率FL (WHALE-FL) アプローチを開発した。 固定サイズのサブネットワークに固執する代わりに、WHALE-FLはデバイスとFLトレーニングダイナミクスをキャプチャする新しいサブネットワーク選択ユーティリティ機能を導入し、ローカルトレーニングに基づいてサブネットワークサイズを適応的に選択するようにモバイルデバイスを誘導する。 a) 計算能力と通信能力 (b)その動的計算および/または通信条件、 (c)FL研修の状況とその地域研修への貢献要件。 評価の結果,WHALE-FLはピアデザインと比較して,学習精度を犠牲にすることなく,FLトレーニングを効果的に加速することがわかった。

関連論文リスト

• Scheduling and Aggregation Design for Asynchronous Federated Learning over Wireless Networks [56.91063444859008]
  Federated Learning(FL)は、デバイス上でのトレーニングとサーバベースのアグリゲーションを組み合わせた、協調的な機械学習フレームワークである。 FLシステムにおけるストラグラー問題に対処するために,周期的アグリゲーションを用いた非同期FL設計を提案する。 年齢認識の集約重み付け設計は,非同期FL設定における学習性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-14T17:33:01Z)
• Federated Learning for Inference at Anytime and Anywhere [37.75955497140009]
  本稿では,フェデレートラーニング(FL)における事前学習型トランスフォーマーモデルの活用の課題と可能性について考察する。 本稿では,各トランスブロックに新しいアテンションベースのアダプタモジュールを注入することで,事前学習したモデルの適応を効果的に行うことを提案する。 CIFAR-100、FEMNIST、SpeechCommandsv2などの標準FLベンチマークの実験は、この単純なフレームワークが高速で正確なFLを提供することを示した。
  論文  参考訳（メタデータ） (2022-12-08T05:32:33Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• Energy and Spectrum Efficient Federated Learning via High-Precision Over-the-Air Computation [26.499025986273832]
  フェデレートラーニング(FL)は、データをローカルに保持しながら、モバイルデバイスが共同で共有予測モデルを学ぶことを可能にする。 モバイルデバイス上でFLを実際にデプロイする上で,2つの大きな研究課題がある。 FLにおける局所モデル更新のスペクトル効率向上のためのマルチビットオーバー・ザ・エアコン(M-AirComp)手法を提案する。
  論文  参考訳（メタデータ） (2022-08-15T14:47:21Z)
• Federated Dynamic Sparse Training: Computing Less, Communicating Less, Yet Learning Better [88.28293442298015]
  Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。 我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。 FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
  論文  参考訳（メタデータ） (2021-12-18T02:26:38Z)
• Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks [52.93232352968347]
  本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。 FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2021-12-05T11:17:17Z)
• Federated Learning over Wireless IoT Networks with Optimized Communication and Resources [98.18365881575805]
  協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。 無線システム上での高速応答および高精度FLスキームの検証が重要である。 提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
  論文  参考訳（メタデータ） (2021-10-22T13:25:57Z)
• Convergence Analysis and System Design for Federated Learning over Wireless Networks [16.978276697446724]
  フェデレートラーニング(FL)は、IoTにおいて重要かつ有望な学習スキームとして登場した。 FLトレーニングは、無線通信ネットワークに大きく影響される頻繁なモデル交換を必要とします。 本論文では,コミュニケーションネットワークとトレーニング設定の協調影響を考慮したFLトレーニングの収束率を解析する。
  論文  参考訳（メタデータ） (2021-04-30T02:33:29Z)
• To Talk or to Work: Flexible Communication Compression for Energy Efficient Federated Learning over Heterogeneous Mobile Edge Devices [78.38046945665538]
  巨大なモバイルエッジデバイス上でのフェデレーション学習(FL)は、多数のインテリジェントなモバイルアプリケーションのための新たな地平を開く。 FLは、定期的なグローバル同期と継続的なローカルトレーニングにより、参加するデバイスに膨大な通信と計算負荷を課す。 フレキシブルな通信圧縮を可能にする収束保証FLアルゴリズムを開発。
  論文  参考訳（メタデータ） (2020-12-22T02:54:18Z)
• Lightwave Power Transfer for Federated Learning-based Wireless Networks [34.434349833489954]
  フェデレートラーニング(FL)は、分散した方法で共有機械学習モデルをトレーニングするための新しいテクニックとして最近紹介されている。 無線ネットワークにFLを実装することで、エネルギー制約のあるモバイルデバイスの寿命を大幅に短縮することができる。 本稿では,FLベースの無線ネットワークにおける光波電力伝送の適用に基づく物理層への新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-11T16:27:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。