論文の概要: Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of
Partitioned Edge Learning
- arxiv url: http://arxiv.org/abs/2003.04544v3
- Date: Tue, 30 Jun 2020 01:47:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-24 21:57:23.389765
- Title: Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of
Partitioned Edge Learning
- Title（参考訳）: 分割エッジ学習の効率向上のための共同パラメータ・バンド幅割当
- Authors: Dingzhu Wen, Mehdi Bennis, and Kaibin Huang
- Abstract要約: 機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。
本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
- 参考スコア（独自算出の注目度）: 73.82875010696849
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To leverage data and computation capabilities of mobile devices, machine
learning algorithms are deployed at the network edge for training artificial
intelligence (AI) models, resulting in the new paradigm of edge learning. In
this paper, we consider the framework of partitioned edge learning for
iteratively training a large-scale model using many resource-constrained
devices (called workers). To this end, in each iteration, the model is
dynamically partitioned into parametric blocks, which are downloaded to worker
groups for updating using data subsets. Then, the local updates are uploaded to
and cascaded by the server for updating a global model. To reduce resource
usage by minimizing the total learning-and-communication latency, this work
focuses on the novel joint design of parameter (computation load) allocation
and bandwidth allocation (for downloading and uploading). Two design approaches
are adopted. First, a practical sequential approach, called partially
integrated parameter-and-bandwidth allocation (PABA), yields two schemes,
namely bandwidth aware parameter allocation and parameter aware bandwidth
allocation. The former minimizes the load for the slowest (in computing) of
worker groups, each training a same parametric block. The latter allocates the
largest bandwidth to the worker being the latency bottleneck. Second, PABA are
jointly optimized. Despite its being a nonconvex problem, an efficient and
optimal solution algorithm is derived by intelligently nesting a bisection
search and solving a convex problem. Experimental results using real data
demonstrate that integrating PABA can substantially improve the performance of
partitioned edge learning in terms of latency (by e.g., 46%) and accuracy (by
e.g., 4%).
- Abstract（参考訳）: モバイルデバイスのデータと計算能力を活用するため、機械学習アルゴリズムはネットワークエッジにデプロイされ、人工知能(AI)モデルをトレーニングする。
本稿では,多くの資源制約デバイス(ワーカと呼ばれる)を用いて大規模モデルを反復的に訓練するための分割エッジ学習の枠組みを検討する。
この目的のために、各イテレーションでモデルをパラメトリックブロックに動的に分割し、データサブセットを使用して更新するためにワーカーグループにダウンロードする。
そして、ローカル更新がサーバにアップロードされ、グローバルモデルを更新するためにケースケードされる。
総学習・通信遅延を最小化して資源使用量を削減するため、パラメータ(計算負荷)割り当てと帯域幅割り当て(ダウンロード・アップロード)の新たな共同設計に焦点を当てた。
2つのデザインアプローチが採用されている。
まず、PABA(Partial integrated parameter-and-bandwidth allocation)と呼ばれる実用的なシーケンシャルアプローチにより、帯域幅を考慮したパラメータ割り当てとパラメータを考慮した帯域幅割り当てという2つのスキームが得られる。
前者はワーカグループの最も遅い(コンピューティングにおける)負荷を最小限に抑え、それぞれが同じパラメトリックブロックをトレーニングする。
後者は、最大帯域幅を、レイテンシボトルネックであるワーカーに割り当てる。
第2に、PABAは共同最適化されている。
非凸問題であるにもかかわらず、二断面探索をインテリジェントにネストし、凸問題を解くことにより、効率的かつ最適解アルゴリズムが導出される。
実データを用いた実験の結果、PABAの統合は(46%)レイテンシと(4%)精度で、分割エッジ学習の性能を大幅に改善できることが示された。
関連論文リスト
- Split Federated Learning Over Heterogeneous Edge Devices: Algorithm and Optimization [7.013344179232109]
Split Learning(SL)は、リソース制約のあるデバイスが生データを共有せずにモデルをトレーニングできるようにする、有望なコラボレーティブ機械学習アプローチである。
現在のSLアルゴリズムは、トレーニング効率の限界に直面し、長時間のレイテンシに悩まされている。
本稿では、リソース制約のあるクライアントが、パーソナライズされたクライアントサイドモデルを並列にトレーニングできる、異種分散フェデレーションラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-21T07:46:01Z) - SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。
初期経路では、中間出力は反冗長動作によって統合される。
遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文 参考訳（メタデータ） (2024-07-10T10:22:35Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - Gradient Sparsification for Efficient Wireless Federated Learning with
Differential Privacy [25.763777765222358]
フェデレートラーニング(FL)により、分散クライアントは、生データを互いに共有することなく、機械学習モデルを協調的にトレーニングできる。
モデルのサイズが大きくなるにつれて、送信帯域の制限によるトレーニングのレイテンシが低下し、個人情報が劣化すると同時に、差分プライバシ(DP)保護を使用する。
我々は、収束性能を犠牲にすることなく、トレーニング効率を向上させるために、FLフレームワーク無線チャネルのスペース化を提案する。
論文 参考訳（メタデータ） (2023-04-09T05:21:15Z) - Time Minimization in Hierarchical Federated Learning [11.678121177730718]
フェデレートラーニング(Federated Learning)は、ユーザ機器が機械学習タスクをローカルに実行し、モデルパラメータを中央サーバにアップロードする、現代的な分散機械学習技術である。
本稿では,クラウドとエッジサーバ間のモデルパラメータ交換を含む3層階層型階層型学習システムについて考察する。
論文 参考訳（メタデータ） (2022-10-07T13:53:20Z) - Latency Optimization for Blockchain-Empowered Federated Learning in
Multi-Server Edge Computing [24.505675843652448]
本稿では,マルチサーバエッジコンピューティングにおけるフェデレーション学習(BFL)のための新しいレイテンシ最適化問題について検討する。
このシステムモデルでは、分散モバイルデバイス(MD)がエッジサーバ(ES)と通信し、機械学習(ML)モデルのトレーニングとブロックマイニングの両方を同時に処理する。
論文 参考訳（メタデータ） (2022-03-18T00:38:29Z) - Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned
Edge Learning Over Broadband Channels [69.18343801164741]
パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。
本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
論文 参考訳（メタデータ） (2020-10-08T15:27:50Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳（メタデータ） (2020-10-02T10:41:59Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。