論文の概要: Online Data Selection for Federated Learning with Limited Storage

• arxiv url: http://arxiv.org/abs/2209.00195v1
• Date: Thu, 1 Sep 2022 03:27:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-02 14:00:55.537557
• Title: Online Data Selection for Federated Learning with Limited Storage
• Title（参考訳）: 限定ストレージによるフェデレーション学習のためのオンラインデータ選択
• Authors: Chen Gong, Zhenzhe Zheng, Fan Wu, Bingshuai Li, Yunfeng Shao, Guihai Chen
• Abstract要約: ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。 デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。 本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
• 参考スコア（独自算出の注目度）: 53.46789303416799
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning models have been deployed in mobile networks to deal with the data from different layers to enable automated network management and intelligence on devices. To overcome high communication cost and severe privacy concerns of centralized machine learning, Federated Learning (FL) has been proposed to achieve distributed machine learning among networked devices. While the computation and communication limitation has been widely studied in FL, the impact of on-device storage on the performance of FL is still not explored. Without an efficient and effective data selection policy to filter the abundant streaming data on devices, classical FL can suffer from much longer model training time (more than $4\times$) and significant inference accuracy reduction (more than $7\%$), observed in our experiments. In this work, we take the first step to consider the online data selection for FL with limited on-device storage. We first define a new data valuation metric for data selection in FL: the projection of local gradient over an on-device data sample onto the global gradient over the data from all devices. We further design \textbf{ODE}, a framework of \textbf{O}nline \textbf{D}ata s\textbf{E}lection for FL, to coordinate networked devices to store valuable data samples collaboratively, with theoretical guarantees for speeding up model convergence and enhancing final model accuracy, simultaneously. Experimental results on one industrial task (mobile network traffic classification) and three public tasks (synthetic task, image classification, human activity recognition) show the remarkable advantages of ODE over the state-of-the-art approaches. Particularly, on the industrial dataset, ODE achieves as high as $2.5\times$ speedup of training time and $6\%$ increase in final inference accuracy, and is robust to various factors in the practical environment.
• Abstract（参考訳）: マシンラーニングモデルがモバイルネットワークにデプロイされ、さまざまなレイヤのデータを処理して、デバイス上のネットワーク管理とインテリジェンスを自動化する。 集中型機械学習の通信コストと厳しいプライバシー問題に対処するため、ネットワークデバイス間の分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。 flでは計算と通信の制限が広く研究されているが、デバイス上のストレージがflの性能に与える影響はまだ検討されていない。 デバイス上の豊富なストリーミングデータをフィルタリングするための効率的で効果的なデータ選択ポリシーがなければ、従来のFLはより長いモデルトレーニング時間(4\times$以上)と、我々の実験で観察された重要な推論精度の低下(7\%$以上)に悩まされる可能性がある。 本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。 まず,データ選択のための新たなデータ評価指標をflで定義する。 オンデバイスデータサンプル上の局所勾配を,すべてのデバイスからのデータ上でグローバル勾配に投影する。 さらに, fl のための \textbf{o}nline \textbf{d}ata s\textbf{e}lection のフレームワークである \textbf{ode} を設計, モデル収束を高速化し, 最終モデルの精度を向上させるための理論的保証とともに, 価値のあるデータサンプルを協調的に保存するためにネットワークデバイスを調整する。 1つの産業タスク(移動ネットワークトラフィック分類)と3つの公共タスク(合成タスク、画像分類、人間の活動認識)の実験的結果は、最先端のアプローチよりもODEの顕著な優位性を示している。 特に産業データセットでは、odeはトレーニング時間の2.5\times$スピードアップと最終的な推論精度の6\%$向上を達成し、実用環境におけるさまざまな要因に対して堅牢である。

関連論文リスト

• CDFL: Efficient Federated Human Activity Recognition using Contrastive Learning and Deep Clustering [12.472038137777474]
  HAR(Human Activity Recognition)は、多様なセンサーからのデータを介し、人間の行動の自動化とインテリジェントな識別に不可欠である。 中央サーバー上のデータを集約し、集中処理を行うことによる従来の機械学習アプローチは、メモリ集約であり、プライバシの懸念を高める。 本研究は,画像ベースHARのための効率的なフェデレーション学習フレームワークCDFLを提案する。
  論文  参考訳（メタデータ） (2024-07-17T03:17:53Z)
• Efficient Data Distribution Estimation for Accelerated Federated Learning [5.085889377571319]
  Federated Learning(FL)は、多数の分散エッジデバイスでグローバルモデルをその場でトレーニングする、プライバシ保護機械学習パラダイムである。 デバイスはシステムリソースとトレーニングデータの両方において非常に異質である。 様々なクライアント選択アルゴリズムが開発され、モデルカバレッジと精度の点で有望な性能向上を示している。
  論文  参考訳（メタデータ） (2024-06-03T20:33:17Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Enhancing Efficiency in Multidevice Federated Learning through Data Selection [11.67484476827617]
  マルチデバイス環境におけるフェデレーション学習(FL)は、膨大な量のプライベートデータから学習する新たな機会を生み出す。 本稿では、デバイス上のデータ選択を制約されたデバイスに組み込むためのFLフレームワークを開発する。 我々のフレームワークは,実装戦略のないベースラインFLと比較して,19%の精度,58%のレイテンシを実現している。
  論文  参考訳（メタデータ） (2022-11-08T11:39:17Z)
• Data Heterogeneity-Robust Federated Learning via Group Client Selection in Industrial IoT [57.67687126339891]
  FedGSは5Gのエンパワーメント産業のための階層的なクラウド・エッジ・エンドのFLフレームワークである。 自然にクラスタ化されたファクトリデバイスを利用することで、FedGSは勾配ベースのバイナリ置換アルゴリズムを使用する。 実験によると、FedGSは精度を3.5%改善し、トレーニングラウンドを平均59%削減している。
  論文  参考訳（メタデータ） (2022-02-03T10:48:17Z)
• A Framework for Energy and Carbon Footprint Analysis of Distributed and Federated Edge Learning [48.63610479916003]
  本稿では,分散学習政策の環境フットプリントに影響を与える要因を概説し,分析する。 バニラとコンセンサスによって駆動される分散FLポリシーの両方をモデル化する。 その結果、flは低ビット/ジュール効率を特徴とするワイヤレスシステムにおいて、顕著なエンドツーエンドの省エネ(30%-40%)が可能となった。
  論文  参考訳（メタデータ） (2021-03-18T16:04:42Z)
• FLaPS: Federated Learning and Privately Scaling [3.618133010429131]
  フェデレートラーニング(Federated Learning, FL)とは、データを収集するデバイスにモデルを転送する分散学習プロセスである。 FLaPS(Federated Learning and Privately Scaling)アーキテクチャは,システムのセキュリティとプライバシだけでなく,スケーラビリティも向上する。
  論文  参考訳（メタデータ） (2020-09-13T14:20:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。