論文の概要: Accelerating Wireless Federated Learning via Nesterov's Momentum and Distributed Principle Component Analysis

• arxiv url: http://arxiv.org/abs/2303.17885v1
• Date: Fri, 31 Mar 2023 08:41:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-03 14:51:23.882664
• Title: Accelerating Wireless Federated Learning via Nesterov's Momentum and Distributed Principle Component Analysis
• Title（参考訳）: Nesterovのモーメントと分散原理成分分析によるワイヤレスフェデレーション学習の高速化
• Authors: Yanjie Dong, Luya Wang, Yuanfang Chi, Jia Wang, Haijun Zhang, Fei Richard Yu, Victor C. M. Leung, Xiping Hu
• Abstract要約: サーバと作業員が無線チャネルを介して未コーディング情報を交換できるようにすることにより、無線連合学習システムについて検討する。 ワーカは、帯域幅に制限のあるチャネルを介して、しばしばサーバにローカルにアップロードするため、ワーカからサーバへのアップリンク送信は、通信ボトルネックとなる。 ワンショット分散原理成分分析(PCA)を利用して通信ボトルネックの次元を縮小する。
• 参考スコア（独自算出の注目度）: 59.127630388320036
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A wireless federated learning system is investigated by allowing a server and workers to exchange uncoded information via orthogonal wireless channels. Since the workers frequently upload local gradients to the server via bandwidth-limited channels, the uplink transmission from the workers to the server becomes a communication bottleneck. Therefore, a one-shot distributed principle component analysis (PCA) is leveraged to reduce the dimension of uploaded gradients such that the communication bottleneck is relieved. A PCA-based wireless federated learning (PCA-WFL) algorithm and its accelerated version (i.e., PCA-AWFL) are proposed based on the low-dimensional gradients and the Nesterov's momentum. For the non-convex loss functions, a finite-time analysis is performed to quantify the impacts of system hyper-parameters on the convergence of the PCA-WFL and PCA-AWFL algorithms. The PCA-AWFL algorithm is theoretically certified to converge faster than the PCA-WFL algorithm. Besides, the convergence rates of PCA-WFL and PCA-AWFL algorithms quantitatively reveal the linear speedup with respect to the number of workers over the vanilla gradient descent algorithm. Numerical results are used to demonstrate the improved convergence rates of the proposed PCA-WFL and PCA-AWFL algorithms over the benchmarks.
• Abstract（参考訳）: サーバとワーカーが直交無線チャネルを介して暗号化されていない情報を交換できる無線フェデレーション学習システムについて検討する。 作業者は帯域幅制限チャンネルを介してローカル勾配をサーバに頻繁にアップロードするので、作業者からサーバへのアップリンク送信は通信ボトルネックとなる。 そのため、ワンショット分散原理成分分析(PCA)を利用して、アップロードした勾配の寸法を小さくし、通信ボトルネックを緩和する。 低次元の勾配とネステロフの運動量に基づいて,pca-based wireless federated learning (pca-wfl) アルゴリズムとその高速化版(pca-awfl)を提案する。 非凸損失関数に対しては、PCA-WFLおよびPCA-AWFLアルゴリズムの収束に対するシステムハイパーパラメータの影響を定量化する有限時間解析を行う。 PCA-AWFLアルゴリズムは理論上PCA-WFLアルゴリズムよりも早く収束することが証明されている。 さらに,PCA-WFLアルゴリズムとPCA-AWFLアルゴリズムの収束速度は,バニラ勾配勾配アルゴリズム上での作業者数に対する線形スピードアップを定量的に示す。 提案したPCA-WFLアルゴリズムとPCA-AWFLアルゴリズムのベンチマークによる収束率の向上を示すために,数値計算結果を用いた。

関連論文リスト

• Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated Split Learning [56.125720497163684]
  無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。 ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
  論文  参考訳（メタデータ） (2022-09-02T10:29:56Z)
• Unit-Modulus Wireless Federated Learning Via Penalty Alternating Minimization [64.76619508293966]
  Wireless Federated Learning(FL)は、分散データセットから無線通信を介してグローバルパラメトリックモデルをトレーニングする、新興機械学習パラダイムである。 本稿では、ローカルモデルパラメータをアップロードし、無線通信を介してグローバルモデルパラメータを算出する無線FLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-31T08:19:54Z)
• FAST-PCA: A Fast and Exact Algorithm for Distributed Principal Component Analysis [12.91948651812873]
  主成分分析(PCA)は、機械学習の世界における基本的なデータ前処理ツールである。 本稿では,FAST-PCA (Fast and exact distributed PCA) と呼ばれる分散PCAアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-08-27T16:10:59Z)
• Turning Channel Noise into an Accelerator for Over-the-Air Principal Component Analysis [65.31074639627226]
  主成分分析(PCA)は、データセットの線形構造を抽出するための技術です。 勾配降下アルゴリズムに基づくマルチアクセスチャネル上にPCAを配置する手法を提案する。 オーバー・ザ・エア・アグリゲーションはマルチ・アクセスの遅延を減らすために採用され、オーバー・ザ・エア・PCAという名称を与える。
  論文  参考訳（メタデータ） (2021-04-20T16:28:33Z)
• DeEPCA: Decentralized Exact PCA with Linear Convergence Rate [26.819982387028595]
  textttDe EPCAは、ターゲット精度に依存しない各パワーに対する通信ラウンド数を持つ最初の分散PCAアルゴリズムである。 既存のアルゴリズムと比較して,提案手法は実際のチューニングが容易であり,全体の通信コストが向上する。
  論文  参考訳（メタデータ） (2021-02-08T03:53:09Z)
• Federated Learning on the Road: Autonomous Controller Design for Connected and Autonomous Vehicles [109.71532364079711]
  CAV(コネクテッド・アンド・自律車両)の自律制御設計のための新しい統合学習(FL)フレームワークの提案 CAVの移動性、無線フェーディングチャネル、および不均衡で非独立で同一に分散されたデータを考慮に入れた新しい動的フェデレーション・プロキシ(DFP)アルゴリズムが提案されている。 最適制御器を用いてCAVがどの程度の速度で収束するかを同定するために,提案アルゴリズムに対して厳密な収束解析を行う。
  論文  参考訳（メタデータ） (2021-02-05T19:57:47Z)
• Bayesian Federated Learning over Wireless Networks [87.37301441859925]
  フェデレーションラーニングは、ローカルデバイスに保存された異種データセットを使用したプライバシー保護と分散トレーニング方法です。 本稿では、スケーラブルBFL (SBFL) と呼ばれる効率的な修正BFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-31T07:32:44Z)
• Fast Convergence Algorithm for Analog Federated Learning [30.399830943617772]
  無線チャネル上での効率的なアナログフェデレーション学習のためのAirCompベースのFedSplitアルゴリズムを提案する。 提案アルゴリズムは, 目的関数が強く凸かつ滑らかであるという仮定の下で, 最適解に線形収束することを示す。 我々のアルゴリズムは、他のベンチマークFLアルゴリズムと比較して、より高速な収束を伴う不条件問題に対して、より堅牢であることが理論的および実験的に検証されている。
  論文  参考訳（メタデータ） (2020-10-30T10:59:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。