論文の概要: Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework

• arxiv url: http://arxiv.org/abs/2310.02559v1
• Date: Wed, 4 Oct 2023 03:32:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 16:29:09.124856
• Title: Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework
• Title（参考訳）: セミフェデレーション学習:ハイブリッド学習フレームワークの収束解析と最適化
• Authors: Jingheng Zheng, Wanli Ni, Hui Tian, Deniz Gunduz, Tony Q. S. Quek, Zhu Han
• Abstract要約: 本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
• 参考スコア（独自算出の注目度）: 70.83511997272457
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Under the organization of the base station (BS), wireless federated learning (FL) enables collaborative model training among multiple devices. However, the BS is merely responsible for aggregating local updates during the training process, which incurs a waste of the computational resource at the BS. To tackle this issue, we propose a semi-federated learning (SemiFL) paradigm to leverage the computing capabilities of both the BS and devices for a hybrid implementation of centralized learning (CL) and FL. Specifically, each device sends both local gradients and data samples to the BS for training a shared global model. To improve communication efficiency over the same time-frequency resources, we integrate over-the-air computation for aggregation and non-orthogonal multiple access for transmission by designing a novel transceiver structure. To gain deep insights, we conduct convergence analysis by deriving a closed-form optimality gap for SemiFL and extend the result to two extra cases. In the first case, the BS uses all accumulated data samples to calculate the CL gradient, while a decreasing learning rate is adopted in the second case. Our analytical results capture the destructive effect of wireless communication and show that both FL and CL are special cases of SemiFL. Then, we formulate a non-convex problem to reduce the optimality gap by jointly optimizing the transmit power and receive beamformers. Accordingly, we propose a two-stage algorithm to solve this intractable problem, in which we provide the closed-form solutions to the beamformers. Extensive simulation results on two real-world datasets corroborate our theoretical analysis, and show that the proposed SemiFL outperforms conventional FL and achieves 3.2% accuracy gain on the MNIST dataset compared to state-of-the-art benchmarks.
• Abstract（参考訳）: ベースステーション(bs)の組織の下で、無線フェデレーションラーニング(fl)は複数のデバイス間の協調モデルトレーニングを可能にする。 しかし、BSは単にトレーニングプロセス中にローカル更新を集約する責任があるだけであり、BSでは計算リソースの無駄が発生する。 この問題に対処するために,BSとデバイスの両方の計算能力を活用して,集中型学習(CL)とFLのハイブリッド実装を実現するためのセミフェデレーション学習(SemiFL)パラダイムを提案する。 具体的には、各デバイスはローカル勾配とデータサンプルの両方をBSに送信し、共有グローバルモデルをトレーニングする。 同時に通信効率を向上させるため,新しいトランシーバ構造を設計することにより,アグリゲーションのためのオーバー・ザ・エア計算と伝送のための非直交多重アクセスを統合した。 より深い洞察を得るために,SemiFLの閉形式最適性ギャップを導出して収束解析を行い,その結果を2つの追加ケースに拡張する。 第1のケースでは、BSは蓄積したすべてのデータサンプルを使用してCL勾配を計算し、第2のケースでは学習率が低下する。 解析結果は,無線通信の破壊効果を捉えるとともに,FLとCLがSemiFLの特殊な場合であることを示す。 次に、送信電力と受信ビームフォーマを共同で最適化し、最適ギャップを低減するために非凸問題を定式化する。 そこで本研究では,この難解な問題を解くために,ビームフォーマに閉形式解を与える二段階アルゴリズムを提案する。 2つの実世界のデータセットの広範なシミュレーション結果から,提案手法は従来のflを上回り,mnistデータセットでは最先端ベンチマークと比較して3.2%の精度向上を達成した。

関連論文リスト

• Device Sampling and Resource Optimization for Federated Learning in Cooperative Edge Networks [17.637761046608]
  フェデレーテッド・ラーニング(FedL)は、サーバによって定期的に集約されたローカルモデルをトレーニングすることで、機械学習(ML)をワーカーデバイスに分散させる。 FedLは、同時代の無線ネットワークの2つの重要な特徴を無視している: (i) ネットワークには異種通信/計算資源が含まれており、 (ii) デバイスのローカルデータ分布にかなりの重複がある可能性がある。 デバイス間オフロード(D2D)によって補完されるインテリジェントデバイスサンプリングにより,これらの要因を共同で考慮する新しい最適化手法を開発した。
  論文  参考訳（メタデータ） (2023-11-07T21:17:59Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated Split Learning [56.125720497163684]
  無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。 ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
  論文  参考訳（メタデータ） (2022-09-02T10:29:56Z)
• Device Sampling for Heterogeneous Federated Learning: Theory, Algorithms, and Implementation [24.084053136210027]
  グラフシーケンシャル畳み込みネットワーク(GCN)に基づくサンプリング手法を開発した。 提案手法は,全機器の5%以下をサンプリングしながら,訓練されたモデル精度と必要なリソース利用の両面で,fedl(federated learning)を実質的に上回っている。
  論文  参考訳（メタデータ） (2021-01-04T05:59:50Z)
• Federated Learning via Intelligent Reflecting Surface [30.935389187215474]
  オーバー・ザ・エア・コンピューティング・アルゴリズム(FL)は,複数のアクセスチャネルの波形重畳特性を利用して高速なモデルアグリゲーションを実現することができる。 本稿では,AirCompベースのFLのための高速かつ信頼性の高いモデルアグリゲーションを実現するための2段階最適化フレームワークを提案する。 シミュレーションの結果,提案するフレームワークとIRSの展開により,ベースラインアルゴリズムよりもトレーニング損失が低く,FL予測精度も高いことがわかった。
  論文  参考訳（メタデータ） (2020-11-10T11:29:57Z)
• Delay Minimization for Federated Learning Over Wireless Communication Networks [172.42768672943365]
  無線通信ネットワーク上でのフェデレーション学習(FL)における遅延計算の問題について検討した。 最適解を得るために,二項探索アルゴリズムを提案する。 シミュレーションの結果,提案アルゴリズムは従来のFL法と比較して最大27.3%遅延を低減できることがわかった。
  論文  参考訳（メタデータ） (2020-07-05T19:00:07Z)
• Federated Learning for Hybrid Beamforming in mm-Wave Massive MIMO [12.487990897680422]
  本稿では,ハイブリッドビームフォーミングのためのFL(Federated Learning)ベースのフレームワークを紹介し,ベースステーションでモデルトレーニングを行う。 我々は、入力がチャネルデータである畳み込みニューラルネットワークを設計し、出力時にアナログビームフォーマを出力する。 FLは、チャネルデータの不完全性や破損に対してより寛容であり、CMLよりも透過オーバーヘッドが少ないことが示されている。
  論文  参考訳（メタデータ） (2020-05-20T11:21:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。