Fugu-MT 論文翻訳(概要): Toward Efficient Federated Learning in Multi-Channeled Mobile Edge Network with Layerd Gradient Compression

論文の概要: Toward Efficient Federated Learning in Multi-Channeled Mobile Edge Network with Layerd Gradient Compression

arxiv url: http://arxiv.org/abs/2109.08819v1
Date: Sat, 18 Sep 2021 03:30:06 GMT
ステータス: 処理完了
システム内更新日: 2021-09-21 16:46:04.509524
Title: Toward Efficient Federated Learning in Multi-Channeled Mobile Edge Network with Layerd Gradient Compression
Title（参考訳）: 階層型勾配圧縮によるマルチチャネル移動エッジネットワークの効率的なフェデレーション学習に向けて
Authors: Haizhou Du, Xiaojie Feng, Qiao Xiang, Haoyu Liu
Abstract要約: フェデレートラーニング(FL)の基本課題は、高度に動的な通信環境下で最適なモデル性能を実現する方法である。層圧縮(LGC)と呼ばれる新しいFLフレームワークを提案する。 LGCでは、デバイスからの局所勾配は複数の層にコード化され、各層は異なるチャネルに沿ってFLサーバに送られる。
参考スコア（独自算出の注目度）: 4.812855416061435
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: A fundamental issue for federated learning (FL) is how to achieve optimal model performance under highly dynamic communication environments. This issue can be alleviated by the fact that modern edge devices usually can connect to the edge FL server via multiple communication channels (e.g., 4G, LTE and 5G). However, having an edge device send copies of local models to the FL server along multiple channels is redundant, time-consuming, and would waste resources (e.g., bandwidth, battery life and monetary cost). In this paper, motivated by the layered coding techniques in video streaming, we propose a novel FL framework called layered gradient compression (LGC). Specifically, in LGC, local gradients from a device is coded into several layers and each layer is sent to the FL server along a different channel. The FL server aggregates the received layers of local gradients from devices to update the global model, and sends the result back to the devices. We prove the convergence of LGC, and formally define the problem of resource-efficient federated learning with LGC. We then propose a learning based algorithm for each device to dynamically adjust its local computation (i.e., the number of local stochastic descent) and communication decisions (i.e.,the compression level of different layers and the layer to channel mapping) in each iteration. Results from extensive experiments show that using our algorithm, LGC significantly reduces the training time, improves the resource utilization, while achieving a similar accuracy, compared with well-known FL mechanisms.
Abstract（参考訳）: 連合学習(FL)の基本的な課題は、高度に動的な通信環境下で最適なモデル性能を実現する方法である。この問題は、現代のエッジデバイスが複数の通信チャネル(例えば、4G、LTE、5G)を介してエッジFLサーバに接続できるという事実によって緩和できる。しかし、エッジデバイスが複数のチャネルに沿ってローカルモデルのコピーをFLサーバに送信することは冗長であり、時間がかかり、リソースを浪費する(例えば、帯域幅、バッテリ寿命、金銭的コスト)。本稿では,ビデオストリーミングにおける階層化符号化技術に動機付けられ,階層化勾配圧縮(LGC)と呼ばれる新しいFLフレームワークを提案する。特にLGCでは、デバイスからの局所勾配は複数の層にコード化され、各層は異なるチャネルに沿ってFLサーバに送られる。 FLサーバは、受信したローカル勾配の層をデバイスから集約してグローバルモデルを更新し、その結果をデバイスに返送する。我々はlgcの収束を証明し,lgcを用いた資源効率のよい連合学習の問題を形式的に定義する。次に,各装置の局所計算量(局所確率降下数)を動的に調整し,各イテレーションにおける通信決定(異なるレイヤの圧縮レベルとチャネルマッピング)を行うための学習に基づくアルゴリズムを提案する。広範な実験の結果,lgcはトレーニング時間を大幅に削減し,リソース利用率を向上させるとともに,fl機構と同等の精度を実現していることがわかった。

関連論文リスト

Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文参考訳（メタデータ） (2024-02-28T03:27:10Z)
Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
論文参考訳（メタデータ） (2023-05-15T22:04:49Z)
Hierarchical Personalized Federated Learning Over Massive Mobile Edge Computing Networks [95.39148209543175]
大規模MECネットワーク上でPFLをデプロイするアルゴリズムである階層型PFL(HPFL)を提案する。 HPFLは、最適帯域割り当てを共同で決定しながら、トレーニング損失最小化とラウンドレイテンシ最小化の目的を組み合わせる。
論文参考訳（メタデータ） (2023-03-19T06:00:05Z)
Over-the-Air Federated Edge Learning with Hierarchical Clustering [21.51594138166343]
OTA(Over-the-air)アグリゲーションでは、パラメータサーバ(PS)の助けを借りて、モバイルユーザ(MU)がグローバルモデルに関するコンセンサスに到達することを目標としている。 OTA FLでは、MUはトレーニングラウンド毎にローカルデータを使用してモデルをトレーニングし、同じ周波数帯域を非符号化で同時に送信する。 OTA FLは通信コストが大幅に削減されているが、チャネル効果やノイズの影響を受けやすい。我々は、中間サーバ(IS)を用いてMUがより密集した場所にクラスタを形成する無線ベースの階層FLスキームを提案する。
論文参考訳（メタデータ） (2022-07-19T12:42:12Z)
Confederated Learning: Federated Learning with Decentralized Edge Servers [42.766372620288585]
Federated Learning(FL)は、中央サーバでデータを集約することなく、モデルトレーニングを達成可能な、新興の機械学習パラダイムである。本稿では,各サーバが個々のデバイスに接続されたConFederated Learning(CFL)フレームワークを提案する。提案アルゴリズムはランダムなスケジューリングポリシを用いて,各イテレーションで各サーバにアクセスするデバイスサブセットをランダムに選択する。
論文参考訳（メタデータ） (2022-05-30T07:56:58Z)
CoCoFL: Communication- and Computation-Aware Federated Learning via Partial NN Freezing and Quantization [3.219812767529503]
我々は,すべてのデバイス上でNN構造を完全に維持する新しいFL手法であるCoCoFLを提案する。 CoCoFLはデバイス上の利用可能なリソースを効率的に利用し、制約されたデバイスがFLシステムに多大な貢献をすることができる。
論文参考訳（メタデータ） (2022-03-10T16:45:05Z)
Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks [52.93232352968347]
本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。 FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
論文参考訳（メタデータ） (2021-12-05T11:17:17Z)
Bayesian Federated Learning over Wireless Networks [87.37301441859925]
フェデレーションラーニングは、ローカルデバイスに保存された異種データセットを使用したプライバシー保護と分散トレーニング方法です。本稿では、スケーラブルBFL (SBFL) と呼ばれる効率的な修正BFLアルゴリズムを提案する。
論文参考訳（メタデータ） (2020-12-31T07:32:44Z)
Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文参考訳（メタデータ） (2020-09-27T08:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。