論文の概要: Accelerating Federated Edge Learning via Optimized Probabilistic Device
Scheduling
- arxiv url: http://arxiv.org/abs/2107.11588v1
- Date: Sat, 24 Jul 2021 11:39:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-27 15:42:14.491189
- Title: Accelerating Federated Edge Learning via Optimized Probabilistic Device
Scheduling
- Title(参考訳): 最適確率的デバイススケジューリングによるフェデレーションエッジ学習の高速化
- Authors: Maojun Zhang, Guangxu Zhu, Shuai Wang, Jiamo Jiang, Caijun Zhong,
Shuguang Cui
- Abstract要約: 本稿では,通信時間最小化問題を定式化し,解決する。
最適化されたポリシーは、トレーニングプロセスが進むにつれて、残りの通信ラウンドの抑制から、ラウンドごとのレイテンシの低減へと、徐々に優先順位を転換している。
提案手法の有効性は,自律運転における協調的3次元目標検出のユースケースを通じて実証される。
- 参考スコア(独自算出の注目度): 57.271494741212166
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The popular federated edge learning (FEEL) framework allows
privacy-preserving collaborative model training via frequent learning-updates
exchange between edge devices and server. Due to the constrained bandwidth,
only a subset of devices can upload their updates at each communication round.
This has led to an active research area in FEEL studying the optimal device
scheduling policy for minimizing communication time. However, owing to the
difficulty in quantifying the exact communication time, prior work in this area
can only tackle the problem partially by considering either the communication
rounds or per-round latency, while the total communication time is determined
by both metrics. To close this gap, we make the first attempt in this paper to
formulate and solve the communication time minimization problem. We first
derive a tight bound to approximate the communication time through
cross-disciplinary effort involving both learning theory for convergence
analysis and communication theory for per-round latency analysis. Building on
the analytical result, an optimized probabilistic scheduling policy is derived
in closed-form by solving the approximate communication time minimization
problem. It is found that the optimized policy gradually turns its priority
from suppressing the remaining communication rounds to reducing per-round
latency as the training process evolves. The effectiveness of the proposed
scheme is demonstrated via a use case on collaborative 3D objective detection
in autonomous driving.
- Abstract(参考訳): 人気のFederated Edge Learning(FEEL)フレームワークは、エッジデバイスとサーバ間の頻繁な学習更新交換を通じて、プライバシ保護によるコラボレーティブモデルトレーニングを可能にする。
帯域幅が制限されているため、通信ラウンドごとにアップデートをアップロードできるデバイスはごく一部に過ぎない。
これにより、通信時間を最小化するための最適なデバイススケジューリングポリシーの研究が活発に行われている。
しかし、正確な通信時間を定量化することが困難であるため、この領域での事前作業は、通信ラウンドまたはラウンドあたりのレイテンシを考慮すれば、部分的にしか問題に対処できない。
このギャップを埋めるため,本稿では,通信時間最小化問題を定式化し,解決するための最初の試みを行う。
まず,収束解析のための学習理論と1ラウンド待ち時間解析のための通信理論の両方を含む学際的な取り組みを通じて,通信時間を近似するためのタイトバウンドを導出する。
解析結果に基づいて、近似通信時間最小化問題を解くことにより、最適化された確率的スケジューリングポリシーをクローズド形式で導出する。
最適化されたポリシーは、トレーニングプロセスが進むにつれて、残りの通信ラウンドの抑制から、ラウンドごとのレイテンシの低減へと、徐々に優先順位を転換している。
提案手法の有効性は,自律運転における協調的3次元目標検出のユースケースを通じて実証される。
関連論文リスト
- Rethinking Resource Management in Edge Learning: A Joint Pre-training and Fine-tuning Design Paradigm [87.47506806135746]
一部のアプリケーションでは、エッジラーニングは、スクラッチから新しい2段階ラーニングへと焦点を移している。
本稿では,2段階のエッジ学習システムにおける共同コミュニケーションと計算資源管理の問題について考察する。
事前学習および微調整段階に対する共同資源管理の提案は,システム性能のトレードオフをうまくバランスさせることが示されている。
論文 参考訳(メタデータ) (2024-04-01T00:21:11Z) - TAMUNA: Doubly Accelerated Distributed Optimization with Local Training, Compression, and Partial Participation [53.84175614198885]
分散最適化と学習では、複数のマシンが並列にローカル計算と遠隔サーバとの通信を交互に行う。
ローカルトレーニングと圧縮の2つの戦略を共同で活用し,部分的参加を可能にする分散最適化のための最初のアルゴリズムであるTAMUNAを提案する。
論文 参考訳(メタデータ) (2023-02-20T08:37:44Z) - Provably Doubly Accelerated Federated Learning: The First Theoretically
Successful Combination of Local Training and Compressed Communication [7.691755449724637]
分散最適化とフェデレート学習のための最初のアルゴリズムを提案する。
我々のアルゴリズムは2倍の加速速度で直線的に正確な解に収束する。
論文 参考訳(メタデータ) (2022-10-24T14:13:54Z) - Over-the-Air Federated Learning via Second-Order Optimization [37.594140209854906]
フェデレートラーニング(FL)は、無線ネットワーク上でのタスク指向のデータトラフィックを、限られた無線リソースによって引き起こす可能性がある。
本稿では,通信ラウンドを同時に削減し,低レイテンシなグローバルモデルアグリゲーションを実現するために,空対2次フェデレーション最適化アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-03-29T12:39:23Z) - Communication-Efficient Device Scheduling for Federated Learning Using
Stochastic Optimization [26.559267845906746]
Time Learning(FL)は、ユーザのローカルデータセットをプライバシ保存形式で利用する分散機械学習において有用なツールである。
本稿では,非効率収束境界アルゴリズムを提案する。
また、電力制約下での収束境界と平均通信の関数を最小化する新しい選択および電力割当アルゴリズムを開発した。
論文 参考訳(メタデータ) (2022-01-19T23:25:24Z) - Finite-Time Consensus Learning for Decentralized Optimization with
Nonlinear Gossiping [77.53019031244908]
本稿では,非線形ゴシップ(NGO)に基づく分散学習フレームワークを提案する。
コミュニケーション遅延とランダム化チャットが学習にどう影響するかを解析することで,実践的なバリエーションの導出が可能となる。
論文 参考訳(メタデータ) (2021-11-04T15:36:25Z) - To Talk or to Work: Delay Efficient Federated Learning over Mobile Edge
Devices [13.318419040823088]
モバイルデバイスは、中央サーバの調整の下で、自身のデータに基づいてモデルをトレーニングするために協力する。
データの中心的な可用性がなければ、計算ノードは収束を達成するためにしばしばモデル更新を伝える必要がある。
本稿では,モデルが収束するために必要な全時間(計算待ち時間と通信待ち時間の両方)と通信ラウンドを削減できる遅延効率FL機構を提案する。
論文 参考訳(メタデータ) (2021-11-01T00:35:32Z) - Better than the Best: Gradient-based Improper Reinforcement Learning for
Network Scheduling [60.48359567964899]
パケット遅延を最小限に抑えるため,制約付き待ち行列ネットワークにおけるスケジューリングの問題を考える。
我々は、利用可能な原子ポリシーよりも優れたスケジューラを生成するポリシー勾配に基づく強化学習アルゴリズムを使用する。
論文 参考訳(メタデータ) (2021-05-01T10:18:34Z) - Path Design and Resource Management for NOMA enhanced Indoor Intelligent
Robots [58.980293789967575]
通信可能な屋内知的ロボット(IR)サービスフレームワークを提案する。
室内レイアウトとチャネル状態を決定論的に記述できるレゴモデリング手法が提案されている。
調査対象の無線マップは、強化学習エージェントを訓練するための仮想環境として呼び出される。
論文 参考訳(メタデータ) (2020-11-23T21:45:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。