論文の概要: Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of
Partitioned Edge Learning
- arxiv url: http://arxiv.org/abs/2003.04544v3
- Date: Tue, 30 Jun 2020 01:47:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-24 21:57:23.389765
- Title: Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of
Partitioned Edge Learning
- Title(参考訳): 分割エッジ学習の効率向上のための共同パラメータ・バンド幅割当
- Authors: Dingzhu Wen, Mehdi Bennis, and Kaibin Huang
- Abstract要約: 機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。
本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
- 参考スコア(独自算出の注目度): 73.82875010696849
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To leverage data and computation capabilities of mobile devices, machine
learning algorithms are deployed at the network edge for training artificial
intelligence (AI) models, resulting in the new paradigm of edge learning. In
this paper, we consider the framework of partitioned edge learning for
iteratively training a large-scale model using many resource-constrained
devices (called workers). To this end, in each iteration, the model is
dynamically partitioned into parametric blocks, which are downloaded to worker
groups for updating using data subsets. Then, the local updates are uploaded to
and cascaded by the server for updating a global model. To reduce resource
usage by minimizing the total learning-and-communication latency, this work
focuses on the novel joint design of parameter (computation load) allocation
and bandwidth allocation (for downloading and uploading). Two design approaches
are adopted. First, a practical sequential approach, called partially
integrated parameter-and-bandwidth allocation (PABA), yields two schemes,
namely bandwidth aware parameter allocation and parameter aware bandwidth
allocation. The former minimizes the load for the slowest (in computing) of
worker groups, each training a same parametric block. The latter allocates the
largest bandwidth to the worker being the latency bottleneck. Second, PABA are
jointly optimized. Despite its being a nonconvex problem, an efficient and
optimal solution algorithm is derived by intelligently nesting a bisection
search and solving a convex problem. Experimental results using real data
demonstrate that integrating PABA can substantially improve the performance of
partitioned edge learning in terms of latency (by e.g., 46%) and accuracy (by
e.g., 4%).
- Abstract(参考訳): モバイルデバイスのデータと計算能力を活用するため、機械学習アルゴリズムはネットワークエッジにデプロイされ、人工知能(AI)モデルをトレーニングする。
本稿では,多くの資源制約デバイス(ワーカと呼ばれる)を用いて大規模モデルを反復的に訓練するための分割エッジ学習の枠組みを検討する。
この目的のために、各イテレーションでモデルをパラメトリックブロックに動的に分割し、データサブセットを使用して更新するためにワーカーグループにダウンロードする。
そして、ローカル更新がサーバにアップロードされ、グローバルモデルを更新するためにケースケードされる。
総学習・通信遅延を最小化して資源使用量を削減するため、パラメータ(計算負荷)割り当てと帯域幅割り当て(ダウンロード・アップロード)の新たな共同設計に焦点を当てた。
2つのデザインアプローチが採用されている。
まず、PABA(Partial integrated parameter-and-bandwidth allocation)と呼ばれる実用的なシーケンシャルアプローチにより、帯域幅を考慮したパラメータ割り当てとパラメータを考慮した帯域幅割り当てという2つのスキームが得られる。
前者はワーカグループの最も遅い(コンピューティングにおける)負荷を最小限に抑え、それぞれが同じパラメトリックブロックをトレーニングする。
後者は、最大帯域幅を、レイテンシボトルネックであるワーカーに割り当てる。
第2に、PABAは共同最適化されている。
非凸問題であるにもかかわらず、二断面探索をインテリジェントにネストし、凸問題を解くことにより、効率的かつ最適解アルゴリズムが導出される。
実データを用いた実験の結果、PABAの統合は(46%)レイテンシと(4%)精度で、分割エッジ学習の性能を大幅に改善できることが示された。
関連論文リスト
- A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳(メタデータ) (2023-09-02T11:01:16Z) - Gradient Sparsification for Efficient Wireless Federated Learning with
Differential Privacy [25.763777765222358]
フェデレートラーニング(FL)により、分散クライアントは、生データを互いに共有することなく、機械学習モデルを協調的にトレーニングできる。
モデルのサイズが大きくなるにつれて、送信帯域の制限によるトレーニングのレイテンシが低下し、個人情報が劣化すると同時に、差分プライバシ(DP)保護を使用する。
我々は、収束性能を犠牲にすることなく、トレーニング効率を向上させるために、FLフレームワーク無線チャネルのスペース化を提案する。
論文 参考訳(メタデータ) (2023-04-09T05:21:15Z) - Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。
我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
論文 参考訳(メタデータ) (2022-10-14T01:42:05Z) - Time Minimization in Hierarchical Federated Learning [11.678121177730718]
フェデレートラーニング(Federated Learning)は、ユーザ機器が機械学習タスクをローカルに実行し、モデルパラメータを中央サーバにアップロードする、現代的な分散機械学習技術である。
本稿では,クラウドとエッジサーバ間のモデルパラメータ交換を含む3層階層型階層型学習システムについて考察する。
論文 参考訳(メタデータ) (2022-10-07T13:53:20Z) - A Low-Complexity Approach to Rate-Distortion Optimized Variable Bit-Rate
Compression for Split DNN Computing [5.3221129103999125]
分散コンピューティングは、DNNベースのAIワークロードを実装するための最近のパラダイムとして登場した。
本稿では,レート・精度・複雑さのトレードオフを最適化する上での課題に対処するアプローチを提案する。
我々のアプローチは、トレーニングと推論の両方において非常に軽量であり、非常に効果的であり、高い速度歪曲性能を実現する。
論文 参考訳(メタデータ) (2022-08-24T15:02:11Z) - Latency Optimization for Blockchain-Empowered Federated Learning in
Multi-Server Edge Computing [24.505675843652448]
本稿では,マルチサーバエッジコンピューティングにおけるフェデレーション学習(BFL)のための新しいレイテンシ最適化問題について検討する。
このシステムモデルでは、分散モバイルデバイス(MD)がエッジサーバ(ES)と通信し、機械学習(ML)モデルのトレーニングとブロックマイニングの両方を同時に処理する。
論文 参考訳(メタデータ) (2022-03-18T00:38:29Z) - Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned
Edge Learning Over Broadband Channels [69.18343801164741]
パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。
本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
論文 参考訳(メタデータ) (2020-10-08T15:27:50Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳(メタデータ) (2020-10-02T10:41:59Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2020-05-05T18:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。