論文の概要: Fast Convergence Algorithm for Analog Federated Learning

• arxiv url: http://arxiv.org/abs/2011.06658v1
• Date: Fri, 30 Oct 2020 10:59:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-01 17:41:58.225415
• Title: Fast Convergence Algorithm for Analog Federated Learning
• Title（参考訳）: アナログフェデレーション学習のための高速収束アルゴリズム
• Authors: Shuhao Xia, Jingyang Zhu, Yuhan Yang, Yong Zhou, Yuanming Shi and Wei Chen
• Abstract要約: 無線チャネル上での効率的なアナログフェデレーション学習のためのAirCompベースのFedSplitアルゴリズムを提案する。 提案アルゴリズムは, 目的関数が強く凸かつ滑らかであるという仮定の下で, 最適解に線形収束することを示す。 我々のアルゴリズムは、他のベンチマークFLアルゴリズムと比較して、より高速な収束を伴う不条件問題に対して、より堅牢であることが理論的および実験的に検証されている。
• 参考スコア（独自算出の注目度）: 30.399830943617772
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we consider federated learning (FL) over a noisy fading multiple access channel (MAC), where an edge server aggregates the local models transmitted by multiple end devices through over-the-air computation (AirComp). To realize efficient analog federated learning over wireless channels, we propose an AirComp-based FedSplit algorithm, where a threshold-based device selection scheme is adopted to achieve reliable local model uploading. In particular, we analyze the performance of the proposed algorithm and prove that the proposed algorithm linearly converges to the optimal solutions under the assumption that the objective function is strongly convex and smooth. We also characterize the robustness of proposed algorithm to the ill-conditioned problems, thereby achieving fast convergence rates and reducing communication rounds. A finite error bound is further provided to reveal the relationship between the convergence behavior and the channel fading and noise. Our algorithm is theoretically and experimentally verified to be much more robust to the ill-conditioned problems with faster convergence compared with other benchmark FL algorithms.
• Abstract（参考訳）: 本稿では,マルチアクセスチャネル (MAC) 上のフェデレーション学習 (FL) について考察する。そこでは,エッジサーバが複数のエンドデバイスから送信されるローカルモデルを,オーバー・ザ・エア計算 (AirComp) によって集約する。 無線チャネル上での効率的なアナログフェデレーション学習を実現するために,しきい値に基づくデバイス選択方式を採用し,信頼性の高いローカルモデルアップロードを実現するAirCompベースのFedSplitアルゴリズムを提案する。 特に,提案アルゴリズムの性能を解析し,目的関数が強く凸かつ滑らかであるという仮定の下で,提案アルゴリズムが最適解に線形収束することを証明した。 また,提案アルゴリズムのロバスト性を不条件な問題に適用し,高速収束率と通信ラウンドの低減を図る。 さらに、収束挙動とチャネルフェージングとノイズの関係を明らかにするために、有限誤差境界を設ける。 本アルゴリズムは,他のベンチマークflアルゴリズムに比べて,コンバージェンスが高速で不調な問題に対してより頑健であることが理論的に実験的に証明されている。

関連論文リスト

• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Time-triggered Federated Learning over Wireless Networks [48.389824560183776]
  無線ネットワーク上での時系列FLアルゴリズム(TT-Fed)を提案する。 提案したTT-Fedアルゴリズムは, それぞれ最大12.5%, 5%の収束試験精度を向上する。
  論文  参考訳（メタデータ） (2022-04-26T16:37:29Z)
• Over-the-Air Federated Learning via Second-Order Optimization [37.594140209854906]
  フェデレートラーニング(FL)は、無線ネットワーク上でのタスク指向のデータトラフィックを、限られた無線リソースによって引き起こす可能性がある。 本稿では,通信ラウンドを同時に削減し,低レイテンシなグローバルモデルアグリゲーションを実現するために,空対2次フェデレーション最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-29T12:39:23Z)
• Communication-Efficient Stochastic Zeroth-Order Optimization for Federated Learning [28.65635956111857]
  フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを共有せずに、グローバルモデルを協調的にトレーニングすることを可能にする。 FLの訓練効率を向上させるため,一階計算から一階法まで,様々なアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2022-01-24T08:56:06Z)
• Resource-constrained Federated Edge Learning with Heterogeneous Data: Formulation and Analysis [8.863089484787835]
  ヘテロジニアスデータによる不均一な統計的課題を解決するために, 分散されたニュートン型ニュートン型トレーニングスキームであるFedOVAを提案する。 FedOVAはマルチクラス分類問題をより単純なバイナリ分類問題に分解し、アンサンブル学習を用いてそれぞれの出力を結合する。
  論文  参考訳（メタデータ） (2021-10-14T17:35:24Z)
• AsySQN: Faster Vertical Federated Learning Algorithms with Better Computation Resource Utilization [159.75564904944707]
  垂直連合学習(VFL)のための非同期準ニュートン(AsySQN)フレームワークを提案する。 提案アルゴリズムは、逆ヘッセン行列を明示的に計算することなく、近似して降下ステップをスケールする。 本稿では,非同期計算を採用することにより,計算資源の有効利用が期待できることを示す。
  論文  参考訳（メタデータ） (2021-09-26T07:56:10Z)
• Over-the-Air Decentralized Federated Learning [28.593149477080605]
  本稿では,無線ネットワーク上での分散化フェデレーション学習(FL)について考察する。そこでは,デバイス間通信(D2D)におけるローカルモデルコンセンサスを促進するために,オーバー・ザ・エア計算(AirComp)が採用されている。 本稿では,D2D通信における事前符号化と復号化の両手法を組み込んだ,勾配追従型DSGD(DSGT-VR)アルゴリズムを提案する。 提案アルゴリズムは線形に収束し, チャネルのフェージングとノイズを考慮した, 強い凸関数と滑らかな損失関数の最適性ギャップを確立する。
  論文  参考訳（メタデータ） (2021-06-15T09:42:33Z)
• Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
  通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。 我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。 我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
  論文  参考訳（メタデータ） (2021-06-08T15:54:44Z)
• Channel Assignment in Uplink Wireless Communication using Machine Learning Approach [54.012791474906514]
  本稿では,アップリンク無線通信システムにおけるチャネル割り当て問題について検討する。 我々の目標は、整数チャネル割り当て制約を受ける全ユーザの総和率を最大化することです。 計算複雑性が高いため、機械学習アプローチは計算効率のよい解を得るために用いられる。
  論文  参考訳（メタデータ） (2020-01-12T15:54:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。