論文の概要: Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned
Edge Learning Over Broadband Channels
- arxiv url: http://arxiv.org/abs/2010.04061v2
- Date: Thu, 18 Mar 2021 09:03:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-09 13:17:02.513571
- Title: Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned
Edge Learning Over Broadband Channels
- Title（参考訳）: 広帯域チャネル上の分割エッジ学習のための適応サブキャリア,パラメータ,パワーアロケーション
- Authors: Dingzhu Wen, Ki-Jun Jeon, Mehdi Bennis, and Kaibin Huang
- Abstract要約: パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。
本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
- 参考スコア（独自算出の注目度）: 69.18343801164741
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we consider partitioned edge learning (PARTEL), which
implements parameter-server training, a well known distributed learning method,
in a wireless network. Thereby, PARTEL leverages distributed computation
resources at edge devices to train a large-scale artificial intelligence (AI)
model by dynamically partitioning the model into parametric blocks for
separated updating at devices. Targeting broadband channels, we consider the
joint control of parameter allocation, sub-channel allocation, and transmission
power to improve the performance of PARTEL. Specifically, the policies for
joint SUbcarrier, Parameter, and POweR allocaTion (SUPPORT) are optimized under
the criterion of minimum learning latency. Two cases are considered. First, for
the case of decomposable models (e.g., logistic regression), the
latency-minimization problem is a mixed-integer program and non-convex. Due to
its intractability, we develop a practical solution by integer relaxation and
transforming it into an equivalent convex problem of model size maximization
under a latency constraint. Thereby, a low-complexity algorithm is designed to
compute the SUPPORT policy. Second, consider the case of deep neural network
(DNN) models which can be trained using PARTEL by introducing some auxiliary
variables. This, however, introduces constraints on model partitioning reducing
the granularity of parameter allocation. The preceding policy is extended to
DNN models by applying the proposed techniques of load rounding and
proportional adjustment to rein in latency expansion caused by the load
granularity constraints.
- Abstract（参考訳）: 本稿では,無線ネットワーク上でよく知られた分散学習手法であるパラメータサーバトレーニングを実装した分割エッジ学習(partel)について検討する。
これによりParticleELはエッジデバイスの分散計算資源を活用して、大規模人工知能(AI)モデルを動的に分割してパラメトリックブロックに分割し、デバイスで分離した更新を行う。
ブロードバンドチャネルをターゲットとし,パラメータ割り当て,サブチャネル割り当て,伝送電力の協調制御を考慮し,partelの性能向上を図る。
具体的には、最小学習レイテンシの基準の下で、SUbcarrier, Parameter, POweR allocaTion (SUPPORT) のポリシーを最適化する。
2つの事例が考えられる。
まず、分解可能なモデル(例えばロジスティック回帰)の場合、レイテンシ最小化問題は混合整数プログラムと非凸である。
その難易度から, 遅延制約下でのモデルサイズ最大化の等価凸問題に変換し, 整数緩和による実用的な解法を開発した。
これにより、サポートポリシーを計算するために、低複雑度アルゴリズムが設計される。
次に、いくつかの補助変数を導入してParticleELを使ってトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
しかし、これはパラメータ割り当ての粒度を減らすモデル分割に関する制約を導入する。
負荷粒度制約による遅延拡大を抑制するために,提案手法である負荷ラウンドリングと比例調整を適用して,DNNモデルに拡張する。
関連論文リスト
- Resource Management for Low-latency Cooperative Fine-tuning of Foundation Models at the Network Edge [35.40849522296486]
大規模ファウンデーションモデル(FoMos)は、人間のような知性を実現することができる。
FoMosは微調整技術により、特定の下流タスクに適応する必要がある。
デバイスエッジ協調微調整パラダイムにおける多デバイス連携を提唱する。
論文 参考訳（メタデータ） (2024-07-13T12:47:14Z) - Accelerating Split Federated Learning over Wireless Communication
Networks [17.97006656280742]
我々は、連立学習(FL)の並列モデル学習機構と分割学習(SL)のモデル分割構造を組み合わせた分割学習(SFL)フレームワークを検討する。
システム遅延を最小限に抑えるために,分割点選択と帯域割り当ての連立問題を定式化する。
実験の結果,レイテンシ低減と精度向上における作業の優位性を実証した。
論文 参考訳（メタデータ） (2023-10-24T07:49:56Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察
ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。
圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文 参考訳（メタデータ） (2023-06-28T18:14:22Z) - Gradient Sparsification for Efficient Wireless Federated Learning with
Differential Privacy [25.763777765222358]
フェデレートラーニング(FL)により、分散クライアントは、生データを互いに共有することなく、機械学習モデルを協調的にトレーニングできる。
モデルのサイズが大きくなるにつれて、送信帯域の制限によるトレーニングのレイテンシが低下し、個人情報が劣化すると同時に、差分プライバシ(DP)保護を使用する。
我々は、収束性能を犠牲にすることなく、トレーニング効率を向上させるために、FLフレームワーク無線チャネルのスペース化を提案する。
論文 参考訳（メタデータ） (2023-04-09T05:21:15Z) - Optimal Privacy Preserving for Federated Learning in Mobile Edge
Computing [35.57643489979182]
ユーザ差分プライバシ(DP)を維持するための有望なアプローチとして,無線ネットワーク上での定量化と意図的なノイズ付加によるフェデレーション学習(FL)がある。
本稿では,無線ネットワークとDP要件の制約下での収束率を最大化するために,量子化と二項機構パラメータと通信資源を協調的に最適化することを目的とする。
論文 参考訳（メタデータ） (2022-11-14T07:54:14Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - Edge Federated Learning Via Unit-Modulus Over-The-Air Computation
(Extended Version) [64.76619508293966]
本稿では,効率の良いエッジフェデレーション学習を実現するために,UM-AirCompフレームワークを提案する。
ローカルモデルパラメータを同時にアップロードし、アナログビームフォーミングを通じてグローバルモデルパラメータを更新する。
車両間自動運転シミュレーションプラットフォームにおけるUM-AirCompの実装を実演する。
論文 参考訳（メタデータ） (2021-01-28T15:10:22Z) - Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of
Partitioned Edge Learning [73.82875010696849]
機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。
本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
論文 参考訳（メタデータ） (2020-03-10T05:52:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。