論文の概要: Efficient Wireless Federated Learning via Low-Rank Gradient Factorization

• arxiv url: http://arxiv.org/abs/2401.07496v2
• Date: Sat, 23 Nov 2024 02:56:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:13:49.586349
• Title: Efficient Wireless Federated Learning via Low-Rank Gradient Factorization
• Title（参考訳）: 低ランク勾配因子化による効率的な無線フェデレーション学習
• Authors: Mingzhao Guo, Dongzhu Liu, Osvaldo Simeone, Dingzhu Wen,
• Abstract要約: オーバー・ザ・エア・ローランク圧縮(Ota-LC)と呼ばれる新しいプロトコルは、計算コストが低く、通信オーバヘッドが低いことを示す。 例えば、Cifar-10データセットでテスト精度の70%を目標とする場合、Ota-LCはベンチマーク方式と比較して、通信コストを少なくとも33%削減する。
• 参考スコア（独自算出の注目度）: 34.51800744978221
• License:
• Abstract: This paper presents a novel gradient compression method for federated learning (FL) in wireless systems. The proposed method centers on a low-rank matrix factorization strategy for local gradient compression that is based on one iteration of a distributed Jacobi successive convex approximation (SCA) at each FL round. The low-rank approximation obtained at one round is used as a "warm start" initialization for Jacobi SCA in the next FL round. A new protocol termed over-the-air low-rank compression (Ota-LC) incorporating this gradient compression method with over-the-air computation and error feedback is shown to have lower computation cost and lower communication overhead, while guaranteeing the same inference performance, as compared with existing benchmarks. As an example, when targeting a test accuracy of 70% on the Cifar-10 dataset, Ota-LC reduces total communication costs by at least 33% compared to benchmark schemes.
• Abstract（参考訳）: 本稿では,無線システムにおけるフェデレート学習(FL)のための新しい勾配圧縮手法を提案する。 提案手法は,各FLラウンドにおける分散Jacobi逐次凸近似(SCA)の1イテレーションに基づく局所勾配圧縮のための低ランク行列分解戦略を中心とする。 1ラウンドで得られる低ランク近似は次のFLラウンドにおけるジャコビSCAの「ウォームスタート」初期化として用いられる。 オーバー・ザ・エア・ローランク圧縮(Ota-LC)と呼ばれる新しいプロトコルは、この勾配圧縮法をオーバー・ザ・エア計算とエラーフィードバックに組み込んだもので、計算コストが低く、通信オーバーヘッドも低く、既存のベンチマークと比較すると同じ推論性能が保証されている。 例えば、Cifar-10データセットでテスト精度の70%を目標とする場合、Ota-LCはベンチマーク方式と比較して、通信コストを少なくとも33%削減する。

関連論文リスト

• Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
  パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。 平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
  論文  参考訳（メタデータ） (2024-05-17T21:17:27Z)
• Gradient Coding in Decentralized Learning for Evading Stragglers [27.253728528979572]
  勾配符号化(GOCO)を用いた新しいゴシップ型分散学習法を提案する。 ストラグラーの負の影響を避けるため、パラメータベクトルは勾配符号化の枠組みに基づいて符号化された勾配を用いて局所的に更新される。 強い凸損失関数に対するGOCOの収束性能を解析する。
  論文  参考訳（メタデータ） (2024-02-06T17:49:02Z)
• Score-based Source Separation with Applications to Digital Communication Signals [72.6570125649502]
  拡散モデルを用いた重畳音源の分離手法を提案する。 高周波(RF)システムへの応用によって、我々は、基礎となる離散的な性質を持つ情報源に興味を持っている。 提案手法は,最近提案されたスコア蒸留サンプリング方式のマルチソース拡張と見なすことができる。
  論文  参考訳（メタデータ） (2023-06-26T04:12:40Z)
• Adaptive Top-K in SGD for Communication-Efficient Distributed Learning [14.867068493072885]
  本稿では,SGDフレームワークにおける新しい適応Top-Kを提案する。 MNIST と CIFAR-10 データセットの数値結果から,SGD における適応型 Top-K アルゴリズムは,最先端の手法に比べてはるかに優れた収束率が得られることが示された。
  論文  参考訳（メタデータ） (2022-10-24T18:33:35Z)
• Federated Optimization Algorithms with Random Reshuffling and Gradient Compression [2.7554288121906296]
  勾配圧縮法と非置換サンプリング法を初めて解析する。 制御イテレートを用いて勾配量子化から生じる分散を減少させる方法を示す。 既存のアルゴリズムを改善するいくつかの設定について概説する。
  論文  参考訳（メタデータ） (2022-06-14T17:36:47Z)
• Matching Pursuit Based Scheduling for Over-the-Air Federated Learning [67.59503935237676]
  本稿では,フェデレートラーニング手法を用いて,オーバー・ザ・エアラーニングのための低複雑さデバイススケジューリングアルゴリズムのクラスを開発する。 最先端の提案方式と比較すると,提案方式は極めて低効率なシステムである。 提案手法の有効性は,CIFARデータセットを用いた実験により確認した。
  論文  参考訳（メタデータ） (2022-06-14T08:14:14Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• Communication-Efficient Federated Learning via Quantized Compressed Sensing [82.10695943017907]
  提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。 勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。 圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
  論文  参考訳（メタデータ） (2021-11-30T02:13:54Z)
• Communication-Compressed Adaptive Gradient Method for Distributed Nonconvex Optimization [21.81192774458227]
  主なボトルネックの1つは、中央サーバとローカルワーカーの間の通信コストが大きいことである。 提案する分散学習フレームワークは,効果的な勾配勾配圧縮戦略を特徴とする。
  論文  参考訳（メタデータ） (2021-11-01T04:54:55Z)
• Hybrid Federated Learning: Algorithms and Implementation [61.0640216394349]
  Federated Learning(FL)は、分散データセットとプライベートデータセットを扱う分散機械学習パラダイムである。 ハイブリッドFLのためのモデルマッチングに基づく新しい問題定式化を提案する。 次に,グローバルモデルとローカルモデルを協調して学習し,完全かつ部分的な特徴量を扱う効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-22T23:56:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。