論文の概要: Towards Efficient Scheduling of Federated Mobile Devices under Computational and Statistical Heterogeneity

• arxiv url: http://arxiv.org/abs/2005.12326v2
• Date: Tue, 15 Sep 2020 18:12:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 05:48:39.005697
• Title: Towards Efficient Scheduling of Federated Mobile Devices under Computational and Statistical Heterogeneity
• Title（参考訳）: 計算・統計の不均一性を考慮した連合型モバイルデバイスの効率的なスケジューリングに向けて
• Authors: Cong Wang, Yuanyuan Yang and Pengzhan Zhou
• Abstract要約: 本稿では,モバイルデバイス上での分散学習の実装について検討する。 チューニングノブとしてデータを使用し、異なるワークロードをスケジュールする2つの効率的な時間アルゴリズムを提案する。 一般的なベンチマークと比較すると,提案アルゴリズムはCIFAR10で2-100倍の高速化,2-7%の精度向上,収束率を100%以上達成している。
• 参考スコア（独自算出の注目度）: 16.069182241512266
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Originated from distributed learning, federated learning enables privacy-preserved collaboration on a new abstracted level by sharing the model parameters only. While the current research mainly focuses on optimizing learning algorithms and minimizing communication overhead left by distributed learning, there is still a considerable gap when it comes to the real implementation on mobile devices. In this paper, we start with an empirical experiment to demonstrate computation heterogeneity is a more pronounced bottleneck than communication on the current generation of battery-powered mobile devices, and the existing methods are haunted by mobile stragglers. Further, non-identically distributed data across the mobile users makes the selection of participants critical to the accuracy and convergence. To tackle the computational and statistical heterogeneity, we utilize data as a tuning knob and propose two efficient polynomial-time algorithms to schedule different workloads on various mobile devices, when data is identically or non-identically distributed. For identically distributed data, we combine partitioning and linear bottleneck assignment to achieve near-optimal training time without accuracy loss. For non-identically distributed data, we convert it into an average cost minimization problem and propose a greedy algorithm to find a reasonable balance between computation time and accuracy. We also establish an offline profiler to quantify the runtime behavior of different devices, which serves as the input to the scheduling algorithms. We conduct extensive experiments on a mobile testbed with two datasets and up to 20 devices. Compared with the common benchmarks, the proposed algorithms achieve 2-100x speedup epoch-wise, 2-7% accuracy gain and boost the convergence rate by more than 100% on CIFAR10.
• Abstract（参考訳）: 分散学習から生まれたfederated learningは,モデルパラメータのみを共有することで,新たな抽象化レベルでのプライバシ保護コラボレーションを可能にする。 現在の研究は主に、学習アルゴリズムの最適化と分散学習による通信オーバーヘッドの最小化に重点を置いているが、モバイルデバイスにおける実際の実装に関してはまだ大きなギャップがある。 本稿では,次世代のバッテリ駆動型モバイルデバイスにおける通信よりも,計算の不均一性の方が明らかなボトルネックであることを示す実証実験を行い,既存の手法はモバイルストラグラーに悩まされる。 さらに,モバイルユーザ間での非識別的分散データにより,参加者の選択が精度と収束性に極めて重要である。 計算的および統計的不均一性に対処するために、チューニングノブとしてデータを使用し、データを同一あるいは同一に分散した場合に、様々なモバイルデバイス上で異なるワークロードをスケジュールする2つの効率的な多項式時間アルゴリズムを提案する。 同一分散データに対して、分割と線形ボトルネック割り当てを組み合わせて、ほぼ最適トレーニング時間を精度損失なく達成する。 非特定分散データの場合、平均コスト最小化問題に変換し、計算時間と精度の合理的なバランスを見つけるための欲望アルゴリズムを提案する。 また,スケジューリングアルゴリズムの入力として機能する,異なるデバイスの実行動作を定量化するオフラインプロファイラも構築した。 2つのデータセットと最大20台のデバイスで,モバイルテストベッド上で広範な実験を行う。 一般的なベンチマークと比較すると,提案アルゴリズムは2-100倍の高速化,2-7%の精度向上を実現し,CIFAR10上での収束率を100%以上向上する。

関連論文リスト

• Enhancing Federated Learning Convergence with Dynamic Data Queue and Data Entropy-driven Participant Selection [13.825031686864559]
  Federated Learning(FL)は、エッジデバイス上でのコラボレーティブモデルトレーニングのための分散アプローチである。 本稿では,サーバ上のデータのグローバルサブセットを作成し,デバイス間で動的に分散することにより,FLの収束を改善する手法を提案する。 提案手法により,MNISTデータセットでは約5%,CIFAR-10では約18%,CIFAR-100では約20%の精度向上を実現した。
  論文  参考訳（メタデータ） (2024-10-23T11:47:04Z)
• Asynchronous Local Computations in Distributed Bayesian Learning [8.516532665507835]
  本稿では,高速な計算と通信オーバヘッドを同時に低減するために,ゴシップに基づく通信を提案する。 我々は、特に低データ範囲において、より高速な初期収束と性能精度の向上を観察する。 UCI MLレポジトリのガンマ望遠鏡とmHealthデータセットで,それぞれ平均78%,90%以上の分類精度を達成した。
  論文  参考訳（メタデータ） (2023-11-06T20:11:41Z)
• DYNAMITE: Dynamic Interplay of Mini-Batch Size and Aggregation Frequency for Federated Learning with Static and Streaming Dataset [23.11152686493894]
  Federated Learning(FL)は、異種エッジデバイスをコーディネートして、プライベートデータを共有せずにモデルトレーニングを実行する分散学習パラダイムである。 本稿では、バッチサイズと集約周波数の相互作用を利用して、動的FLトレーニングにおける収束、コスト、完了時間間のトレードオフをナビゲートする新しい解析モデルと最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-20T08:36:12Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Collaborative Learning with a Drone Orchestrator [79.75113006257872]
  インテリジェントな無線デバイス群は、ドローンの助けを借りて共有ニューラルネットワークモデルを訓練する。 提案したフレームワークは,トレーニングの大幅な高速化を実現し,ドローンホバリング時間の平均24%と87%の削減を実現している。
  論文  参考訳（メタデータ） (2023-03-03T23:46:25Z)
• Federated Learning for Energy-limited Wireless Networks: A Partial Model Aggregation Approach [79.59560136273917]
  デバイス間の限られた通信資源、帯域幅とエネルギー、およびデータ不均一性は、連邦学習(FL)の主要なボトルネックである まず、部分モデルアグリゲーション(PMA)を用いた新しいFLフレームワークを考案する。 提案されたPMA-FLは、2つの典型的な異種データセットにおいて2.72%と11.6%の精度を改善する。
  論文  参考訳（メタデータ） (2022-04-20T19:09:52Z)
• Communication-Efficient Device Scheduling for Federated Learning Using Stochastic Optimization [26.559267845906746]
  Time Learning(FL)は、ユーザのローカルデータセットをプライバシ保存形式で利用する分散機械学習において有用なツールである。 本稿では,非効率収束境界アルゴリズムを提案する。 また、電力制約下での収束境界と平均通信の関数を最小化する新しい選択および電力割当アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-01-19T23:25:24Z)
• Collaborative Learning over Wireless Networks: An Introductory Overview [84.09366153693361]
  主に、ワイヤレスデバイス間の協調トレーニングに焦点を合わせます。 過去数十年間、多くの分散最適化アルゴリズムが開発されてきた。 データ局所性 – すなわち、各参加デバイスで利用可能なデータがローカルのままである間、共同モデルを協調的にトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-12-07T20:15:39Z)
• Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity [57.275753974812666]
  フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。 本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2020-12-28T19:21:14Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。