論文の概要: Low-Rank Gradient Compression with Error Feedback for MIMO Wireless Federated Learning

• arxiv url: http://arxiv.org/abs/2401.07496v1
• Date: Mon, 15 Jan 2024 06:30:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-17 17:58:49.029120
• Title: Low-Rank Gradient Compression with Error Feedback for MIMO Wireless Federated Learning
• Title（参考訳）: MIMO無線フェデレーション学習における誤りフィードバックを用いた低ランク勾配圧縮
• Authors: Mingzhao Guo, Dongzhu Liu, Osvaldo Simeone, Dingzhu Wen
• Abstract要約: 提案手法は,最小二乗の交互化に基づく局所勾配圧縮のための低ランク行列因数分解戦略と,オーバー・ザ・エア計算と誤差フィードバックに重点を置いている。 提案プロトコルはオーバー・ザ・エア・ローランク圧縮 (Ota-LC) と呼ばれ, 計算コストが低く, 通信オーバーヘッドも従来のベンチマークと比較できる。
• 参考スコア（独自算出の注目度）: 37.70844338213942
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a novel approach to enhance the communication efficiency of federated learning (FL) in multiple input and multiple output (MIMO) wireless systems. The proposed method centers on a low-rank matrix factorization strategy for local gradient compression based on alternating least squares, along with over-the-air computation and error feedback. The proposed protocol, termed over-the-air low-rank compression (Ota-LC), is demonstrated to have lower computation cost and lower communication overhead as compared to existing benchmarks while guaranteeing the same inference performance. As an example, when targeting a test accuracy of 80% on the Cifar-10 dataset, Ota-LC achieves a reduction in total communication costs of at least 30% when contrasted with benchmark schemes, while also reducing the computational complexity order by a factor equal to the sum of the dimension of the gradients.
• Abstract（参考訳）: 本稿では,マルチ入力およびマルチ出力(MIMO)無線システムにおけるフェデレーション学習(FL)の通信効率を高めるための新しい手法を提案する。 提案手法は,直交最小二乗法に基づく局所勾配圧縮のための低ランク行列分解戦略と,オーバーザ・エア計算と誤差フィードバックに焦点をあてたものである。 提案プロトコルはオーバー・ザ・エア・ローランク圧縮 (Ota-LC) と呼ばれ, 計算コストが低く, 通信オーバヘッドも従来のベンチマークよりも低く, 推論性能が同じであることを示す。 例えば、Cifar-10データセットでテスト精度の80%を目標とする場合、Ota-LCは、ベンチマークスキームと対比した場合に、全通信コストを少なくとも30%削減すると同時に、勾配の次元の和に等しい係数で計算複雑性の順序を下げる。

関連論文リスト

• Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
  パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。 平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
  論文  参考訳（メタデータ） (2024-05-17T21:17:27Z)
• Gradient Coding in Decentralized Learning for Evading Stragglers [27.253728528979572]
  勾配符号化(GOCO)を用いた新しいゴシップ型分散学習法を提案する。 ストラグラーの負の影響を避けるため、パラメータベクトルは勾配符号化の枠組みに基づいて符号化された勾配を用いて局所的に更新される。 強い凸損失関数に対するGOCOの収束性能を解析する。
  論文  参考訳（メタデータ） (2024-02-06T17:49:02Z)
• Score-based Source Separation with Applications to Digital Communication Signals [72.6570125649502]
  拡散モデルを用いた重畳音源の分離手法を提案する。 高周波(RF)システムへの応用によって、我々は、基礎となる離散的な性質を持つ情報源に興味を持っている。 提案手法は,最近提案されたスコア蒸留サンプリング方式のマルチソース拡張と見なすことができる。
  論文  参考訳（メタデータ） (2023-06-26T04:12:40Z)
• Adaptive Top-K in SGD for Communication-Efficient Distributed Learning [14.867068493072885]
  本稿では,SGDフレームワークにおける新しい適応Top-Kを提案する。 MNIST と CIFAR-10 データセットの数値結果から,SGD における適応型 Top-K アルゴリズムは,最先端の手法に比べてはるかに優れた収束率が得られることが示された。
  論文  参考訳（メタデータ） (2022-10-24T18:33:35Z)
• Federated Optimization Algorithms with Random Reshuffling and Gradient Compression [2.7554288121906296]
  勾配圧縮法と非置換サンプリング法を初めて解析する。 制御イテレートを用いて勾配量子化から生じる分散を減少させる方法を示す。 既存のアルゴリズムを改善するいくつかの設定について概説する。
  論文  参考訳（メタデータ） (2022-06-14T17:36:47Z)
• Matching Pursuit Based Scheduling for Over-the-Air Federated Learning [67.59503935237676]
  本稿では,フェデレートラーニング手法を用いて,オーバー・ザ・エアラーニングのための低複雑さデバイススケジューリングアルゴリズムのクラスを開発する。 最先端の提案方式と比較すると,提案方式は極めて低効率なシステムである。 提案手法の有効性は,CIFARデータセットを用いた実験により確認した。
  論文  参考訳（メタデータ） (2022-06-14T08:14:14Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• Communication-Efficient Federated Learning via Quantized Compressed Sensing [82.10695943017907]
  提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。 勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。 圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
  論文  参考訳（メタデータ） (2021-11-30T02:13:54Z)
• Communication-Compressed Adaptive Gradient Method for Distributed Nonconvex Optimization [21.81192774458227]
  主なボトルネックの1つは、中央サーバとローカルワーカーの間の通信コストが大きいことである。 提案する分散学習フレームワークは,効果的な勾配勾配圧縮戦略を特徴とする。
  論文  参考訳（メタデータ） (2021-11-01T04:54:55Z)
• Hybrid Federated Learning: Algorithms and Implementation [61.0640216394349]
  Federated Learning(FL)は、分散データセットとプライベートデータセットを扱う分散機械学習パラダイムである。 ハイブリッドFLのためのモデルマッチングに基づく新しい問題定式化を提案する。 次に,グローバルモデルとローカルモデルを協調して学習し,完全かつ部分的な特徴量を扱う効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-22T23:56:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。