論文の概要: Efficient Data Distribution Estimation for Accelerated Federated Learning

• arxiv url: http://arxiv.org/abs/2406.01774v1
• Date: Mon, 3 Jun 2024 20:33:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 20:52:25.166519
• Title: Efficient Data Distribution Estimation for Accelerated Federated Learning
• Title（参考訳）: 加速的フェデレーション学習のための効率的なデータ分布推定
• Authors: Yuanli Wang, Lei Huang,
• Abstract要約: Federated Learning(FL)は、多数の分散エッジデバイスでグローバルモデルをその場でトレーニングする、プライバシ保護機械学習パラダイムである。 デバイスはシステムリソースとトレーニングデータの両方において非常に異質である。 様々なクライアント選択アルゴリズムが開発され、モデルカバレッジと精度の点で有望な性能向上を示している。
• 参考スコア（独自算出の注目度）: 5.085889377571319
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning(FL) is a privacy-preserving machine learning paradigm where a global model is trained in-situ across a large number of distributed edge devices. These systems are often comprised of millions of user devices and only a subset of available devices can be used for training in each epoch. Designing a device selection strategy is challenging, given that devices are highly heterogeneous in both their system resources and training data. This heterogeneity makes device selection very crucial for timely model convergence and sufficient model accuracy. To tackle the FL client heterogeneity problem, various client selection algorithms have been developed, showing promising performance improvement in terms of model coverage and accuracy. In this work, we study the overhead of client selection algorithms in a large scale FL environment. Then we propose an efficient data distribution summary calculation algorithm to reduce the overhead in a real-world large scale FL environment. The evaluation shows that our proposed solution could achieve up to 30x reduction in data summary time, and up to 360x reduction in clustering time.
• Abstract（参考訳）: Federated Learning(FL)は、多数の分散エッジデバイスでグローバルモデルをその場でトレーニングする、プライバシ保護機械学習パラダイムである。 これらのシステムはしばしば数百万のユーザデバイスで構成されており、各エポックでのトレーニングには利用可能なデバイスのサブセットしか使用できない。 デバイスがシステムリソースとトレーニングデータの両方において非常に異質であることを考えると、デバイス選択戦略の設計は難しい。 この不均一性により、デバイス選択はタイムリーなモデル収束と十分なモデル精度にとって極めて重要である。 FLクライアントの不均一性問題に対処するため、モデルカバレッジと精度の点で有望な性能向上を示す様々なクライアント選択アルゴリズムが開発されている。 本研究では,大規模FL環境におけるクライアント選択アルゴリズムのオーバーヘッドについて検討する。 そこで本研究では,実世界の大規模FL環境におけるオーバヘッドを低減するために,効率的なデータ分散要約計算アルゴリズムを提案する。 評価の結果,提案手法はデータの要約時間を最大30倍に,クラスタリング時間を最大360倍に削減できることがわかった。

関連論文リスト

• CDFL: Efficient Federated Human Activity Recognition using Contrastive Learning and Deep Clustering [12.472038137777474]
  HAR(Human Activity Recognition)は、多様なセンサーからのデータを介し、人間の行動の自動化とインテリジェントな識別に不可欠である。 中央サーバー上のデータを集約し、集中処理を行うことによる従来の機械学習アプローチは、メモリ集約であり、プライバシの懸念を高める。 本研究は,画像ベースHARのための効率的なフェデレーション学習フレームワークCDFLを提案する。
  論文  参考訳（メタデータ） (2024-07-17T03:17:53Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Time-sensitive Learning for Heterogeneous Federated Edge Intelligence [52.83633954857744]
  フェデレーションエッジインテリジェンス(FEI)システムにおけるリアルタイム機械学習について検討する。 FEIシステムは異種通信と計算資源分布を示す。 本稿では,共有MLモデルの協調学習における全体の実行時間を最小化するために,時間依存型フェデレーションラーニング(TS-FL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-26T08:13:22Z)
• ON-DEMAND-FL: A Dynamic and Efficient Multi-Criteria Federated Learning Client Deployment Scheme [37.099990745974196]
  フェデレート学習のためのクライアントデプロイメントアプローチであるOn-Demand-FLを導入する。 私たちはDockerのようなコンテナ技術を使って効率的な環境を構築しています。 遺伝的アルゴリズム(GA)は多目的最適化問題を解決するために用いられる。
  論文  参考訳（メタデータ） (2022-11-05T13:41:19Z)
• Auxo: Efficient Federated Learning via Scalable Client Clustering [22.323057948281644]
  フェデレートラーニング(FL)は、論理的に集中したサーバに生データを公開せずに、エッジデバイスが協調的にMLモデルをトレーニングすることを可能にする。 統計的に類似したデータ分布(コホート)を持つクライアントを,大規模・低可用性・資源制約のFL群で段階的に識別するAuxoを提案する。 Auxoは最終的な精度(2.1% - 8.2%)、収束時間(2.2倍)、モデルバイアス(4.8% - 53.8%)の点で、様々な既存のFLソリューションを強化している。
  論文  参考訳（メタデータ） (2022-10-29T17:36:51Z)
• Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
  ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。 デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。 本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
  論文  参考訳（メタデータ） (2022-09-01T03:27:33Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Federated learning with class imbalance reduction [24.044750119251308]
  フェデレートラーニング(Federated Learning, FL)は、多数のエッジコンピューティングデバイスが協調してグローバルラーニングモデルをトレーニングすることを可能にする技術である。 プライバシー上の懸念から、デバイス上の生データは集中型サーバでは利用できない。 本稿では,生データを意識せずにクラス分布を明らかにするための推定手法を提案する。
  論文  参考訳（メタデータ） (2020-11-23T08:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。