論文の概要: Over-the-Air Decentralized Federated Learning

• arxiv url: http://arxiv.org/abs/2106.08011v1
• Date: Tue, 15 Jun 2021 09:42:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-16 23:52:57.655532
• Title: Over-the-Air Decentralized Federated Learning
• Title（参考訳）: オーバーザ・エア分散連合学習
• Authors: Yandong Shi, Yong Zhou, and Yuanming Shi
• Abstract要約: 本稿では,無線ネットワーク上での分散化フェデレーション学習(FL)について考察する。そこでは,デバイス間通信(D2D)におけるローカルモデルコンセンサスを促進するために,オーバー・ザ・エア計算(AirComp)が採用されている。 本稿では,D2D通信における事前符号化と復号化の両手法を組み込んだ,勾配追従型DSGD(DSGT-VR)アルゴリズムを提案する。 提案アルゴリズムは線形に収束し, チャネルのフェージングとノイズを考慮した, 強い凸関数と滑らかな損失関数の最適性ギャップを確立する。
• 参考スコア（独自算出の注目度）: 28.593149477080605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we consider decentralized federated learning (FL) over wireless networks, where over-the-air computation (AirComp) is adopted to facilitate the local model consensus in a device-to-device (D2D) communication manner. However, the AirComp-based consensus phase brings the additive noise in each algorithm iterate and the consensus needs to be robust to wireless network topology changes, which introduce a coupled and novel challenge of establishing the convergence for wireless decentralized FL algorithm. To facilitate consensus phase, we propose an AirComp-based DSGD with gradient tracking and variance reduction (DSGT-VR) algorithm, where both precoding and decoding strategies are developed for D2D communication. Furthermore, we prove that the proposed algorithm converges linearly and establish the optimality gap for strongly convex and smooth loss functions, taking into account the channel fading and noise. The theoretical result shows that the additional error bound in the optimality gap depends on the number of devices. Extensive simulations verify the theoretical results and show that the proposed algorithm outperforms other benchmark decentralized FL algorithms over wireless networks.
• Abstract（参考訳）: 本稿では,デバイス間通信(d2d)方式のローカルモデルのコンセンサスを促進するために,aircomp(over-the-air computation)を採用する無線ネットワーク上での分散フェデレーション学習(fl)について検討する。 しかし、aircompベースのコンセンサスフェーズは、各アルゴリズムの加算ノイズを反復させ、無線ネットワークトポロジーの変更に対して、コンセンサスは堅牢でなければならない。 コンセンサスフェーズの容易化を目的として,D2D通信のための事前符号化と復号化を両立させる,勾配追従型DSGD(DSGT-VR)アルゴリズムを提案する。 さらに,提案アルゴリズムは線形に収束し,チャネルのフェージングとノイズを考慮した,強い凸関数と滑らかな損失関数の最適性ギャップを確立する。 理論的な結果は、最適性ギャップに束縛された追加の誤差がデバイス数に依存することを示している。 広範にシミュレーションを行い,提案手法が無線ネットワーク上の他のベンチマーク分散flアルゴリズムよりも優れていることを示す。

関連論文リスト

• Digital versus Analog Transmissions for Federated Learning over Wireless Networks [91.20926827568053]
  資源制約付きネットワーク上での無線連合学習(FL)における2つの効果的な通信方式を比較した。 まず,デジタルとアナログの両方の伝送方式と,実用的制約下での統一的かつ公正な比較手法について検討する。 無線ネットワークにおけるFL性能評価のために,様々な不完全条件下での普遍収束解析を確立する。
  論文  参考訳（メタデータ） (2024-02-15T01:50:46Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated Split Learning [56.125720497163684]
  無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。 ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
  論文  参考訳（メタデータ） (2022-09-02T10:29:56Z)
• Over-the-Air Federated Learning via Second-Order Optimization [37.594140209854906]
  フェデレートラーニング(FL)は、無線ネットワーク上でのタスク指向のデータトラフィックを、限られた無線リソースによって引き起こす可能性がある。 本稿では,通信ラウンドを同時に削減し,低レイテンシなグローバルモデルアグリゲーションを実現するために,空対2次フェデレーション最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-29T12:39:23Z)
• Communication-Efficient Stochastic Zeroth-Order Optimization for Federated Learning [28.65635956111857]
  フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを共有せずに、グローバルモデルを協調的にトレーニングすることを可能にする。 FLの訓練効率を向上させるため,一階計算から一階法まで,様々なアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2022-01-24T08:56:06Z)
• Federated Learning over Wireless Device-to-Device Networks: Algorithms and Convergence Analysis [46.76179091774633]
  本稿では,無線デバイス対デバイス(d2d)ネットワーク上でのフェデレーション学習(fl)について検討する。 まず、通信効率の良いDSGDアルゴリズムの汎用ディジタルおよびアナログ無線実装を紹介する。 第二に、凸性と接続性の仮定の下で、両実装に収束境界を提供する。
  論文  参考訳（メタデータ） (2021-01-29T17:42:26Z)
• Fast Convergence Algorithm for Analog Federated Learning [30.399830943617772]
  無線チャネル上での効率的なアナログフェデレーション学習のためのAirCompベースのFedSplitアルゴリズムを提案する。 提案アルゴリズムは, 目的関数が強く凸かつ滑らかであるという仮定の下で, 最適解に線形収束することを示す。 我々のアルゴリズムは、他のベンチマークFLアルゴリズムと比較して、より高速な収束を伴う不条件問題に対して、より堅牢であることが理論的および実験的に検証されている。
  論文  参考訳（メタデータ） (2020-10-30T10:59:49Z)
• A Compressive Sensing Approach for Federated Learning over Massive MIMO Communication Systems [82.2513703281725]
  フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。 本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
  論文  参考訳（メタデータ） (2020-03-18T05:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。