論文の概要: Device Sampling for Heterogeneous Federated Learning: Theory,
Algorithms, and Implementation
- arxiv url: http://arxiv.org/abs/2101.00787v1
- Date: Mon, 4 Jan 2021 05:59:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-11 22:48:22.394420
- Title: Device Sampling for Heterogeneous Federated Learning: Theory,
Algorithms, and Implementation
- Title（参考訳）: 不均一フェデレーション学習のためのデバイスサンプリング:理論,アルゴリズム,実装
- Authors: Su Wang, Mengyuan Lee, Seyyedali Hosseinalipour, Roberto Morabito,
Mung Chiang, and Christopher G. Brinton
- Abstract要約: グラフシーケンシャル畳み込みネットワーク(GCN)に基づくサンプリング手法を開発した。
提案手法は,全機器の5%以下をサンプリングしながら,訓練されたモデル精度と必要なリソース利用の両面で,fedl(federated learning)を実質的に上回っている。
- 参考スコア（独自算出の注目度）: 24.084053136210027
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The conventional federated learning (FedL) architecture distributes machine
learning (ML) across worker devices by having them train local models that are
periodically aggregated by a server. FedL ignores two important characteristics
of contemporary wireless networks, however: (i) the network may contain
heterogeneous communication/computation resources, while (ii) there may be
significant overlaps in devices' local data distributions. In this work, we
develop a novel optimization methodology that jointly accounts for these
factors via intelligent device sampling complemented by device-to-device (D2D)
offloading. Our optimization aims to select the best combination of sampled
nodes and data offloading configuration to maximize FedL training accuracy
subject to realistic constraints on the network topology and device
capabilities. Theoretical analysis of the D2D offloading subproblem leads to
new FedL convergence bounds and an efficient sequential convex optimizer. Using
this result, we develop a sampling methodology based on graph convolutional
networks (GCNs) which learns the relationship between network attributes,
sampled nodes, and resulting offloading that maximizes FedL accuracy. Through
evaluation on real-world datasets and network measurements from our IoT
testbed, we find that our methodology while sampling less than 5% of all
devices outperforms conventional FedL substantially both in terms of trained
model accuracy and required resource utilization.
- Abstract（参考訳）: 従来のフェデレートラーニング(FedL)アーキテクチャは、サーバによって定期的に集約されたローカルモデルをトレーニングすることで、機械学習(ML)をワーカーデバイスに分散させる。
しかし、FedLは現代の無線ネットワークの2つの重要な特徴を無視している: (i) ネットワークには異種通信/計算資源が含まれ、 (ii) デバイスのローカルデータ分布にかなりの重複がある可能性がある。
本研究では,デバイス対デバイス(d2d)オフロードを補完するインテリジェントデバイスサンプリングにより,これらの要因を共同で考慮する新しい最適化手法を開発した。
本最適化の目的は,ネットワークトポロジとデバイス機能に制約のあるFedLトレーニング精度を最大化するために,サンプルノードとデータオフロード構成の最適な組み合わせを選択することである。
D2Dオフロードサブプロブレムの理論解析は、新しいFedL収束境界と効率的な逐次凸最適化器をもたらす。
本研究では,グラフ畳み込みネットワーク(gcns)に基づくサンプリング手法を開発し,ネットワーク属性とサンプルノードの関係を学習し,feder精度を最大化するオフロードを行う。
実世界のデータセットの評価とIoTテストベッドからのネットワーク測定により,従来のFedLよりも5%未満のデバイスをサンプリングしながら,トレーニング済みモデル精度と必要なリソース利用率の両方で大幅に向上することが判明した。
関連論文リスト
- FedLPS: Heterogeneous Federated Learning for Multiple Tasks with Local
Parameter Sharing [14.938531944702193]
局所異種共有を用いたフェデレーション学習(FedLPS)を提案する。
FedLPSは転送学習を使用して、ローカルモデルを共有エンコーダとタスク固有のエンコーダに分割することで、複数のタスクをひとつのデバイスにデプロイする。
FedLPSは最先端(SOTA)のFLフレームワークを最大4.88%上回り、計算資源消費量を21.3%減らす。
論文 参考訳（メタデータ） (2024-02-13T16:30:30Z) - Device Sampling and Resource Optimization for Federated Learning in Cooperative Edge Networks [17.637761046608]
フェデレーテッド・ラーニング(FedL)は、サーバによって定期的に集約されたローカルモデルをトレーニングすることで、機械学習(ML)をワーカーデバイスに分散させる。
FedLは、同時代の無線ネットワークの2つの重要な特徴を無視している: (i) ネットワークには異種通信/計算資源が含まれており、 (ii) デバイスのローカルデータ分布にかなりの重複がある可能性がある。
デバイス間オフロード(D2D)によって補完されるインテリジェントデバイスサンプリングにより,これらの要因を共同で考慮する新しい最適化手法を開発した。
論文 参考訳（メタデータ） (2023-11-07T21:17:59Z) - Semi-Federated Learning: Convergence Analysis and Optimization of A
Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。
我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文 参考訳（メタデータ） (2023-10-04T03:32:39Z) - Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。
デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。
本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
論文 参考訳（メタデータ） (2022-09-01T03:27:33Z) - Multi-Edge Server-Assisted Dynamic Federated Learning with an Optimized
Floating Aggregation Point [51.47520726446029]
協調エッジ学習(CE-FL)は、分散機械学習アーキテクチャである。
CE-FLの過程をモデル化し,分析訓練を行った。
実世界のテストベッドから収集したデータを用いて,本フレームワークの有効性を示す。
論文 参考訳（メタデータ） (2022-03-26T00:41:57Z) - Parallel Successive Learning for Dynamic Distributed Model Training over
Heterogeneous Wireless Networks [50.68446003616802]
フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。
我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。
我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
論文 参考訳（メタデータ） (2022-02-07T05:11:01Z) - Dynamic Network-Assisted D2D-Aided Coded Distributed Learning [59.29409589861241]
本稿では,デバイス間のロードバランシングのための新しいデバイス・ツー・デバイス(D2D)支援型符号化学習手法(D2D-CFL)を提案する。
最小処理時間を達成するための最適圧縮率を導出し、収束時間との接続を確立する。
提案手法は,ユーザが継続的にトレーニングデータを生成するリアルタイム協調アプリケーションに有用である。
論文 参考訳（メタデータ） (2021-11-26T18:44:59Z) - Federated Learning Based on Dynamic Regularization [43.137064459520886]
本稿では,ニューラルネットワークモデルを分散学習するための新しいフェデレーション学習手法を提案する。
サーバは、各ラウンドでランダムに選択されたデバイスのサブセット間の協力を編成する。
論文 参考訳（メタデータ） (2021-11-08T03:58:28Z) - Fast-Convergent Federated Learning [82.32029953209542]
フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。
本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-26T14:37:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。