論文の概要: Gradient Statistics Aware Power Control for Over-the-Air Federated
Learning
- arxiv url: http://arxiv.org/abs/2003.02089v3
- Date: Wed, 25 Nov 2020 10:36:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 13:53:37.530848
- Title: Gradient Statistics Aware Power Control for Over-the-Air Federated
Learning
- Title（参考訳）: 空中フェデレート学習における勾配統計を考慮した電力制御
- Authors: Naifu Zhang and Meixia Tao
- Abstract要約: フェデレートラーニング(FL)は、多くのエッジデバイスが無線ネットワークで機械学習モデルを協調的にトレーニングできる有望なテクニックである。
本稿では、勾配統計を考慮に入れたオーバー・ザ・エアFLの電力制御問題について検討する。
- 参考スコア（独自算出の注目度）: 59.40860710441232
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a promising technique that enables many edge
devices to train a machine learning model collaboratively in wireless networks.
By exploiting the superposition nature of wireless waveforms, over-the-air
computation (AirComp) can accelerate model aggregation and hence facilitate
communication-efficient FL. Due to channel fading, power control is crucial in
AirComp. Prior works assume that the signals to be aggregated from each device,
i.e., local gradients have identical statistics. In FL, however, gradient
statistics vary over both training iterations and feature dimensions, and are
unknown in advance. This paper studies the power control problem for
over-the-air FL by taking gradient statistics into account. The goal is to
minimize the aggregation error by optimizing the transmit power at each device
subject to peak power constraints. We obtain the optimal policy in closed form
when gradient statistics are given. Notably, we show that the optimal transmit
power is continuous and monotonically decreases with the squared multivariate
coefficient of variation (SMCV) of gradient vectors. We then propose a method
to estimate gradient statistics with negligible communication cost.
Experimental results demonstrate that the proposed gradient-statistics-aware
power control achieves higher test accuracy than the existing schemes for a
wide range of scenarios.
- Abstract（参考訳）: フェデレートラーニング(FL)は、多くのエッジデバイスが無線ネットワークで機械学習モデルを協調的にトレーニングできる有望なテクニックである。
無線波形の重畳性を利用することで、aircomp(over-the-air computation)はモデル集約を高速化し、通信効率のよいflを実現する。
チャネルの減少により、AirCompでは電力制御が不可欠である。
先行研究では、各デバイスから集約される信号、すなわち局所勾配が同じ統計値を持つと仮定している。
しかし、FLでは、勾配統計はトレーニングイテレーションと特徴次元の両方で異なり、事前に不明である。
本稿では,勾配統計を考慮し,空気中flの電力制御問題について検討する。
ゴールは、ピーク電力制約を受ける各デバイスにおける送信電力を最適化することで、アグリゲーションエラーを最小限にすることである。
勾配統計が与えられたとき、閉じた形で最適方針を得る。
特に、勾配ベクトルの2乗多変量係数(SMCV)により、最適な送信電力が連続かつ単調に減少することを示す。
次に,通信コストを無視して勾配統計を推定する手法を提案する。
実験の結果,提案する勾配統計量認識パワー制御は,従来手法よりも幅広いシナリオで高いテスト精度を実現することがわかった。
関連論文リスト
- Communication and Energy Efficient Federated Learning using Zero-Order Optimization Technique [14.986031916712108]
Federated Learning(FL)は、複数のユーザがユーザのデータのプライバシを維持しながら、協力的にモデルをトレーニングできる、一般的な機械学習テクニックである。
FLにおける重要な課題は、アップロード方向の通信ボトルネックと、それに対応する機器のエネルギー消費である。
本手法は, 標準勾配法に比べて, 通信オーバヘッドとエネルギーの面で優れていることを示す。
論文 参考訳（メタデータ） (2024-09-24T20:57:22Z) - Rendering Wireless Environments Useful for Gradient Estimators: A Zero-Order Stochastic Federated Learning Method [14.986031916712108]
クロスデバイスフェデレーション学習(FL)は成長する機械学習フレームワークであり、複数のエッジデバイスが協力して、生データを公開せずにモデルをトレーニングする。
学習アルゴリズム自体において、その影響を解析する代わりに、無線チャネルを利用する方法を示す。
論文 参考訳（メタデータ） (2024-01-30T21:46:09Z) - Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。
本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。
エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。
さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文 参考訳（メタデータ） (2023-10-16T05:49:28Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - Channel and Gradient-Importance Aware Device Scheduling for Over-the-Air
Federated Learning [31.966999085992505]
フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための分散トレーニングスキームである。
チャネルノイズ歪みの負の影響を緩和するために,PO-FL というオーバー・ザ・エア FL のための機器スケジューリングフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-26T12:04:59Z) - Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。
本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。
提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
論文 参考訳（メタデータ） (2023-05-15T22:04:49Z) - Resource-Efficient and Delay-Aware Federated Learning Design under Edge
Heterogeneity [10.702853653891902]
フェデレーテッド・ラーニング(FL)は、ワイヤレスエッジデバイスに機械学習を分散するための一般的な方法論として登場した。
本研究では,FLにおけるモデル性能と資源利用のトレードオフを最適化することを検討する。
提案したStoFedDelAvは、FL計算ステップに局所言語モデルコンバインダーを組み込む。
論文 参考訳（メタデータ） (2021-12-27T22:30:15Z) - Over-the-Air Federated Learning with Retransmissions (Extended Version) [21.37147806100865]
資源制約のある無線ネットワーク上でのフェデレート学習(FL)の収束に対する推定誤差の影響について検討する。
資源制約のある無線ネットワーク上でFL収束を改善する手法として再送信を提案する。
論文 参考訳（メタデータ） (2021-11-19T15:17:15Z) - Bayesian Federated Learning over Wireless Networks [87.37301441859925]
フェデレーションラーニングは、ローカルデバイスに保存された異種データセットを使用したプライバシー保護と分散トレーニング方法です。
本稿では、スケーラブルBFL (SBFL) と呼ばれる効率的な修正BFLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-12-31T07:32:44Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳（メタデータ） (2020-09-27T08:28:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。