論文の概要: Low-Rank Gradient Compression with Error Feedback for MIMO Wireless
Federated Learning
- arxiv url: http://arxiv.org/abs/2401.07496v1
- Date: Mon, 15 Jan 2024 06:30:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-17 17:58:49.029120
- Title: Low-Rank Gradient Compression with Error Feedback for MIMO Wireless
Federated Learning
- Title(参考訳): MIMO無線フェデレーション学習における誤りフィードバックを用いた低ランク勾配圧縮
- Authors: Mingzhao Guo, Dongzhu Liu, Osvaldo Simeone, Dingzhu Wen
- Abstract要約: 提案手法は,最小二乗の交互化に基づく局所勾配圧縮のための低ランク行列因数分解戦略と,オーバー・ザ・エア計算と誤差フィードバックに重点を置いている。
提案プロトコルはオーバー・ザ・エア・ローランク圧縮 (Ota-LC) と呼ばれ, 計算コストが低く, 通信オーバーヘッドも従来のベンチマークと比較できる。
- 参考スコア(独自算出の注目度): 37.70844338213942
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a novel approach to enhance the communication efficiency
of federated learning (FL) in multiple input and multiple output (MIMO)
wireless systems. The proposed method centers on a low-rank matrix
factorization strategy for local gradient compression based on alternating
least squares, along with over-the-air computation and error feedback. The
proposed protocol, termed over-the-air low-rank compression (Ota-LC), is
demonstrated to have lower computation cost and lower communication overhead as
compared to existing benchmarks while guaranteeing the same inference
performance. As an example, when targeting a test accuracy of 80% on the
Cifar-10 dataset, Ota-LC achieves a reduction in total communication costs of
at least 30% when contrasted with benchmark schemes, while also reducing the
computational complexity order by a factor equal to the sum of the dimension of
the gradients.
- Abstract(参考訳): 本稿では,マルチ入力およびマルチ出力(MIMO)無線システムにおけるフェデレーション学習(FL)の通信効率を高めるための新しい手法を提案する。
提案手法は,直交最小二乗法に基づく局所勾配圧縮のための低ランク行列分解戦略と,オーバーザ・エア計算と誤差フィードバックに焦点をあてたものである。
提案プロトコルはオーバー・ザ・エア・ローランク圧縮 (Ota-LC) と呼ばれ, 計算コストが低く, 通信オーバヘッドも従来のベンチマークよりも低く, 推論性能が同じであることを示す。
例えば、Cifar-10データセットでテスト精度の80%を目標とする場合、Ota-LCは、ベンチマークスキームと対比した場合に、全通信コストを少なくとも30%削減すると同時に、勾配の次元の和に等しい係数で計算複雑性の順序を下げる。
関連論文リスト
- MALCOM-PSGD: Inexact Proximal Stochastic Gradient Descent for
Communication-Efficient Decentralized Machine Learning [6.14375469212514]
頻繁なモデル通信は、分散機械学習の効率の大きなボトルネックである。
MALCOM-PSGDは,圧縮技術とモデルスペーシフィケーションを統合した新しい分散MLアルゴリズムである。
本手法は,最先端手法と比較して通信コストを約75%削減する。
論文 参考訳(メタデータ) (2023-11-09T21:55:53Z) - Wireless Federated $k$-Means Clustering with Non-coherent Over-the-Air
Computation [14.087062902871212]
OACスキームは、バランスの取れた数系における数値の表現を利用するエンコーダに依存している。
非効率なセンチロイドの再初期化法を提案し、不均一なデータ分散のための提案手法の性能を向上させる。
論文 参考訳(メタデータ) (2023-08-11T20:12:26Z) - Fundamental Limits of Communication Efficiency for Model Aggregation in
Distributed Learning: A Rate-Distortion Approach [54.311495894129585]
本研究では,分散学習におけるモデルアグリゲーションの通信コストの限界について,速度歪みの観点から検討する。
SignSGDでは,ワーカノード間の相関を利用した通信利得が重要であることがわかった。
論文 参考訳(メタデータ) (2022-06-28T13:10:40Z) - Faster One-Sample Stochastic Conditional Gradient Method for Composite
Convex Minimization [61.26619639722804]
滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。
提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
論文 参考訳(メタデータ) (2022-02-26T19:10:48Z) - Communication-Efficient Federated Learning via Quantized Compressed
Sensing [82.10695943017907]
提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。
勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。
圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
論文 参考訳(メタデータ) (2021-11-30T02:13:54Z) - Unit-Modulus Wireless Federated Learning Via Penalty Alternating
Minimization [64.76619508293966]
Wireless Federated Learning(FL)は、分散データセットから無線通信を介してグローバルパラメトリックモデルをトレーニングする、新興機械学習パラダイムである。
本稿では、ローカルモデルパラメータをアップロードし、無線通信を介してグローバルモデルパラメータを算出する無線FLフレームワークを提案する。
論文 参考訳(メタデータ) (2021-08-31T08:19:54Z) - Wireless Federated Learning with Limited Communication and Differential
Privacy [21.328507360172203]
本稿では,空力計算(AirComp)に基づくフェデレーション学習(FL)モデルにおいて,リモートユーザにおけるローカルデータセットの効率的な通信と差分プライバシー(DP)における次元性低減の役割について検討する。
論文 参考訳(メタデータ) (2021-06-01T15:23:12Z) - 1-Bit Compressive Sensing for Efficient Federated Learning Over the Air [32.14738452396869]
本稿では,1ビットセンシング(CS)をアナログアグリゲーション送信に組み込んだ,空気上の通信効率の高い学習手法を開発し,解析する。
スケーラブルコンピューティングでは,大規模ネットワークに適した効率的な実装を開発する。
シミュレーションの結果,提案した1ビットCSベースのFLは理想的な場合と同等の性能を示した。
論文 参考訳(メタデータ) (2021-03-30T03:50:31Z) - A Compressive Sensing Approach for Federated Learning over Massive MIMO
Communication Systems [82.2513703281725]
フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。
本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
論文 参考訳(メタデータ) (2020-03-18T05:56:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。