論文の概要: Online Data Selection for Federated Learning with Limited Storage

• arxiv url: http://arxiv.org/abs/2209.00195v1
• Date: Thu, 1 Sep 2022 03:27:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-02 14:00:55.537557
• Title: Online Data Selection for Federated Learning with Limited Storage
• Title（参考訳）: 限定ストレージによるフェデレーション学習のためのオンラインデータ選択
• Authors: Chen Gong, Zhenzhe Zheng, Fan Wu, Bingshuai Li, Yunfeng Shao, Guihai Chen
• Abstract要約: ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。 デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。 本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
• 参考スコア（独自算出の注目度）: 53.46789303416799
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning models have been deployed in mobile networks to deal with the data from different layers to enable automated network management and intelligence on devices. To overcome high communication cost and severe privacy concerns of centralized machine learning, Federated Learning (FL) has been proposed to achieve distributed machine learning among networked devices. While the computation and communication limitation has been widely studied in FL, the impact of on-device storage on the performance of FL is still not explored. Without an efficient and effective data selection policy to filter the abundant streaming data on devices, classical FL can suffer from much longer model training time (more than $4\times$) and significant inference accuracy reduction (more than $7\%$), observed in our experiments. In this work, we take the first step to consider the online data selection for FL with limited on-device storage. We first define a new data valuation metric for data selection in FL: the projection of local gradient over an on-device data sample onto the global gradient over the data from all devices. We further design \textbf{ODE}, a framework of \textbf{O}nline \textbf{D}ata s\textbf{E}lection for FL, to coordinate networked devices to store valuable data samples collaboratively, with theoretical guarantees for speeding up model convergence and enhancing final model accuracy, simultaneously. Experimental results on one industrial task (mobile network traffic classification) and three public tasks (synthetic task, image classification, human activity recognition) show the remarkable advantages of ODE over the state-of-the-art approaches. Particularly, on the industrial dataset, ODE achieves as high as $2.5\times$ speedup of training time and $6\%$ increase in final inference accuracy, and is robust to various factors in the practical environment.
• Abstract（参考訳）: マシンラーニングモデルがモバイルネットワークにデプロイされ、さまざまなレイヤのデータを処理して、デバイス上のネットワーク管理とインテリジェンスを自動化する。 集中型機械学習の通信コストと厳しいプライバシー問題に対処するため、ネットワークデバイス間の分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。 flでは計算と通信の制限が広く研究されているが、デバイス上のストレージがflの性能に与える影響はまだ検討されていない。 デバイス上の豊富なストリーミングデータをフィルタリングするための効率的で効果的なデータ選択ポリシーがなければ、従来のFLはより長いモデルトレーニング時間(4\times$以上)と、我々の実験で観察された重要な推論精度の低下(7\%$以上)に悩まされる可能性がある。 本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。 まず,データ選択のための新たなデータ評価指標をflで定義する。 オンデバイスデータサンプル上の局所勾配を,すべてのデバイスからのデータ上でグローバル勾配に投影する。 さらに, fl のための \textbf{o}nline \textbf{d}ata s\textbf{e}lection のフレームワークである \textbf{ode} を設計, モデル収束を高速化し, 最終モデルの精度を向上させるための理論的保証とともに, 価値のあるデータサンプルを協調的に保存するためにネットワークデバイスを調整する。 1つの産業タスク(移動ネットワークトラフィック分類)と3つの公共タスク(合成タスク、画像分類、人間の活動認識)の実験的結果は、最先端のアプローチよりもODEの顕著な優位性を示している。 特に産業データセットでは、odeはトレーニング時間の2.5\times$スピードアップと最終的な推論精度の6\%$向上を達成し、実用環境におけるさまざまな要因に対して堅牢である。

関連論文リスト

• Exploring Deep Reinforcement Learning-Assisted Federated Learning for Online Resource Allocation in EdgeIoT [53.68792408315411]
  フェデレートラーニング(FL)は、モバイルエッジコンピューティングベースのInternet of Thing(EdgeIoT)における盗聴攻撃からデータトレーニングプライバシを保護するために、ますます検討されている。 本研究では,連続領域における最適精度とエネルギー収支を達成するために,FLDLT3フレームワークを提案する。 その結果、FL-DLT3は100回未満の高速収束を実現し、FLの精度-エネルギー消費比は既存の最先端ベンチマークと比較して51.8%向上した。
  論文  参考訳（メタデータ） (2022-02-15T13:36:15Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• Data Heterogeneity-Robust Federated Learning via Group Client Selection in Industrial IoT [57.67687126339891]
  FedGSは5Gのエンパワーメント産業のための階層的なクラウド・エッジ・エンドのFLフレームワークである。 自然にクラスタ化されたファクトリデバイスを利用することで、FedGSは勾配ベースのバイナリ置換アルゴリズムを使用する。 実験によると、FedGSは精度を3.5%改善し、トレーニングラウンドを平均59%削減している。
  論文  参考訳（メタデータ） (2022-02-03T10:48:17Z)
• Deep Reinforcement Learning Assisted Federated Learning Algorithm for Data Management of IIoT [82.33080550378068]
  産業用IoT(Industrial Internet of Things)の継続的な拡大により、IIoT機器は毎回大量のユーザデータを生成する。 IIoTの分野で、これらの時系列データを効率的かつ安全な方法で管理する方法は、依然として未解決の問題である。 本稿では,無線ネットワーク環境におけるIIoT機器データ管理におけるFL技術の適用について検討する。
  論文  参考訳（メタデータ） (2022-02-03T07:12:36Z)
• Spatio-Temporal Federated Learning for Massive Wireless Edge Networks [23.389249751372393]
  エッジサーバと多数のモバイルデバイス(クライアント)は、モバイルデバイスが収集した膨大なデータをエッジサーバに転送することなく、グローバルモデルを共同で学習する。 提案手法は,STFLに参加する予定の様々なモバイルデバイスからの学習更新の空間的および時間的相関を利用している。 収束性能を用いてSTFLの学習能力を研究するために,STFLの分析フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-27T16:46:45Z)
• Communication-Efficient Hierarchical Federated Learning for IoT Heterogeneous Systems with Imbalanced Data [42.26599494940002]
  フェデレートラーニング(Federated Learning, FL)は、複数のノードが協調してディープラーニングモデルをトレーニングできる分散ラーニング方法論である。 本稿では,IoTヘテロジニアスシステムにおける階層FLの可能性について検討する。 複数のエッジノード上でのユーザ割り当てとリソース割り当てに最適化されたソリューションを提案する。
  論文  参考訳（メタデータ） (2021-07-14T08:32:39Z)
• A Framework for Energy and Carbon Footprint Analysis of Distributed and Federated Edge Learning [48.63610479916003]
  本稿では,分散学習政策の環境フットプリントに影響を与える要因を概説し,分析する。 バニラとコンセンサスによって駆動される分散FLポリシーの両方をモデル化する。 その結果、flは低ビット/ジュール効率を特徴とするワイヤレスシステムにおいて、顕著なエンドツーエンドの省エネ(30%-40%)が可能となった。
  論文  参考訳（メタデータ） (2021-03-18T16:04:42Z)
• Device Sampling for Heterogeneous Federated Learning: Theory, Algorithms, and Implementation [24.084053136210027]
  グラフシーケンシャル畳み込みネットワーク(GCN)に基づくサンプリング手法を開発した。 提案手法は,全機器の5%以下をサンプリングしながら,訓練されたモデル精度と必要なリソース利用の両面で,fedl(federated learning)を実質的に上回っている。
  論文  参考訳（メタデータ） (2021-01-04T05:59:50Z)
• FLaPS: Federated Learning and Privately Scaling [3.618133010429131]
  フェデレートラーニング(Federated Learning, FL)とは、データを収集するデバイスにモデルを転送する分散学習プロセスである。 FLaPS(Federated Learning and Privately Scaling)アーキテクチャは,システムのセキュリティとプライバシだけでなく,スケーラビリティも向上する。
  論文  参考訳（メタデータ） (2020-09-13T14:20:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。