論文の概要: Accelerated Gradient Descent Learning over Multiple Access Fading Channels

• arxiv url: http://arxiv.org/abs/2107.12452v1
• Date: Mon, 26 Jul 2021 19:51:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-28 14:31:07.769171
• Title: Accelerated Gradient Descent Learning over Multiple Access Fading Channels
• Title（参考訳）: 複数のアクセスフェーディングチャネル上での逐次学習
• Authors: Raz Paul, Yuval Friedman, Kobi Cohen
• Abstract要約: N分散エッジデバイスとパラメータサーバ(PS)からなる無線ネットワークにおける分散学習問題を考える。 そこで我々は, ノイズフェージングMAC上での運動量に基づく勾配信号を用いて, 既存の手法と比較して収束率を向上する, 高速勾配多重アクセス(AGMA)アルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 9.840290491547162
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider a distributed learning problem in a wireless network, consisting of N distributed edge devices and a parameter server (PS). The objective function is a sum of the edge devices' local loss functions, who aim to train a shared model by communicating with the PS over multiple access channels (MAC). This problem has attracted a growing interest in distributed sensing systems, and more recently in federated learning, known as over-the-air computation. In this paper, we develop a novel Accelerated Gradient-descent Multiple Access (AGMA) algorithm that uses momentum-based gradient signals over noisy fading MAC to improve the convergence rate as compared to existing methods. Furthermore, AGMA does not require power control or beamforming to cancel the fading effect, which simplifies the implementation complexity. We analyze AGMA theoretically, and establish a finite-sample bound of the error for both convex and strongly convex loss functions with Lipschitz gradient. For the strongly convex case, we show that AGMA approaches the best-known linear convergence rate as the network increases. For the convex case, we show that AGMA significantly improves the sub-linear convergence rate as compared to existing methods. Finally, we present simulation results using real datasets that demonstrate better performance by AGMA.
• Abstract（参考訳）: N個の分散エッジデバイスとパラメータサーバ(PS)から構成される無線ネットワークにおける分散学習問題を考える。 目的関数はエッジデバイスのローカル損失関数の和であり、複数のアクセスチャネル(MAC)を介してPSと通信することで共有モデルを訓練することを目指している。 この問題は、分散センシングシステムへの関心が高まり、最近では、over-the-air computingとして知られる連合学習にも関心が集まっている。 本稿では,ノイズフェージングMAC上での運動量に基づく勾配信号を用いて,既存の手法と比較して収束率を向上させる新しいAGMAアルゴリズムを提案する。 さらに、AGMAはフェージング効果をキャンセルするためにパワーコントロールやビームフォーミングを必要としないため、実装の複雑さがより簡単になる。 我々はAGMAを理論的に解析し、リプシッツ勾配を持つ凸および強凸損失関数の誤差の有限サンプル境界を確立する。 強凸の場合、ネットワークが増加するにつれてAGMAが最もよく知られた線形収束速度に近づくことを示す。 凸の場合,AGMAは既存手法と比較して線形収束率を大幅に向上することを示した。 最後に,AGMAの性能向上を示す実データを用いてシミュレーション結果を示す。

関連論文リスト

• Robust Federated Learning Over the Air: Combating Heavy-Tailed Noise with Median Anchored Clipping [57.40251549664762]
  重み付き雑音による有害な影響に対処するため,メディアアンコールド・クリッピング (MAC) と呼ばれる新しい勾配クリッピング法を提案する。 また、MAC下でのアナログオーバー・ザ・エア・フェデレーション学習によるモデルトレーニングの収束率の解析式も導出する。
  論文  参考訳（メタデータ） (2024-09-23T15:11:40Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Blind Federated Learning via Over-the-Air q-QAM [11.956183457374186]
  フェデレートされた複数のチャネル上でのエッジ学習について検討する。 我々は、連合アップリンク・ザ・エアチャネル上での先駆的なデジタル・ザ・エア変調を導入する。 エッジサーバのアンテナ数と高次変調の採用により,精度が最大60%向上することが判明した。
  論文  参考訳（メタデータ） (2023-11-07T12:02:59Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Communication-Efficient Federated Learning via Quantized Compressed Sensing [82.10695943017907]
  提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。 勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。 圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
  論文  参考訳（メタデータ） (2021-11-30T02:13:54Z)
• Wireless Federated Learning with Limited Communication and Differential Privacy [21.328507360172203]
  本稿では,空力計算(AirComp)に基づくフェデレーション学習(FL)モデルにおいて,リモートユーザにおけるローカルデータセットの効率的な通信と差分プライバシー(DP)における次元性低減の役割について検討する。
  論文  参考訳（メタデータ） (2021-06-01T15:23:12Z)
• Bayesian Federated Learning over Wireless Networks [87.37301441859925]
  フェデレーションラーニングは、ローカルデバイスに保存された異種データセットを使用したプライバシー保護と分散トレーニング方法です。 本稿では、スケーラブルBFL (SBFL) と呼ばれる効率的な修正BFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-31T07:32:44Z)
• Fast Convergence Algorithm for Analog Federated Learning [30.399830943617772]
  無線チャネル上での効率的なアナログフェデレーション学習のためのAirCompベースのFedSplitアルゴリズムを提案する。 提案アルゴリズムは, 目的関数が強く凸かつ滑らかであるという仮定の下で, 最適解に線形収束することを示す。 我々のアルゴリズムは、他のベンチマークFLアルゴリズムと比較して、より高速な収束を伴う不条件問題に対して、より堅牢であることが理論的および実験的に検証されている。
  論文  参考訳（メタデータ） (2020-10-30T10:59:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。