論文の概要: Hybrid Architectures for Distributed Machine Learning in Heterogeneous Wireless Networks

• arxiv url: http://arxiv.org/abs/2206.01906v1
• Date: Sat, 4 Jun 2022 04:20:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-07 17:37:34.739594
• Title: Hybrid Architectures for Distributed Machine Learning in Heterogeneous Wireless Networks
• Title（参考訳）: 異種無線ネットワークにおける分散機械学習のためのハイブリッドアーキテクチャ
• Authors: Zhipeng Cheng, Xuwei Fan, Minghui Liwang, Minghui Min, Xianbin Wang, Xiaojiang Du
• Abstract要約: 本稿では,ハイブリッド分散機械学習(ML)アーキテクチャ,すなわちハイブリッドスプリットFL(HSFL)とハイブリッドフェデレーションSL(HFSL)の2つの新しいアーキテクチャを提案する。 HSFL と HFSL は従来の FL と SL と比較して通信/計算コストと訓練時間を大幅に削減できる。
• 参考スコア（独自算出の注目度）: 22.122522337625654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ever-growing data privacy concerns have transformed machine learning (ML) architectures from centralized to distributed, leading to federated learning (FL) and split learning (SL) as the two most popular privacy-preserving ML paradigms. However, implementing either conventional FL or SL alone with diverse network conditions (e.g., device-to-device (D2D) and cellular communications) and heterogeneous clients (e.g., heterogeneous computation/communication/energy capabilities) may face significant challenges, particularly poor architecture scalability and long training time. To this end, this article proposes two novel hybrid distributed ML architectures, namely, hybrid split FL (HSFL) and hybrid federated SL (HFSL), by combining the advantages of both FL and SL in D2D-enabled heterogeneous wireless networks. Specifically, the performance comparison and advantages of HSFL and HFSL are analyzed generally. Promising open research directions are presented to offer commendable reference for future research. Finally, primary simulations are conducted upon considering three datasets under non-independent and identically distributed settings, to verify the feasibility of our proposed architectures, which can significantly reduce communication/computation cost and training time, as compared with conventional FL and SL.
• Abstract（参考訳）: データプライバシの懸念は、マシンラーニング(ML)アーキテクチャを集中型から分散型に転換し、最もポピュラーな2つのプライバシ保護MLパラダイムとして、フェデレーションラーニング(FL)とスプリットラーニング(SL)につながった。 しかしながら、さまざまなネットワーク条件(デバイス間(d2d)やセル通信など)と異種クライアント(ヘテロジニアスな計算/通信/エネルギー能力など)を備えた従来のflまたはsl単独の実装は、アーキテクチャのスケーラビリティの低下やトレーニング時間の長い問題に直面する可能性がある。 本稿では,D2D対応ヘテロジニアス無線ネットワークにおけるFLとSLの利点を組み合わせることで,ハイブリッドスプリットFL(HSFL)とハイブリッドフェデレーションSL(HFSL)の2つの新しいハイブリッド分散MLアーキテクチャを提案する。 具体的には、HSFLとHFSLの性能比較と利点を概ね分析する。 今後の研究の参考として、オープンな研究の方向性を示す。 最後に,非独立かつ同一分散環境下での3つのデータセットを考察し,提案するアーキテクチャの実現可能性を検証することにより,従来のflおよびslと比較して通信/計算コストとトレーニング時間を著しく削減する。

関連論文リスト

• FedConv: Enhancing Convolutional Neural Networks for Handling Data Heterogeneity in Federated Learning [34.37155882617201]
  フェデレーション・ラーニング(FL)は機械学習における新たなパラダイムであり、共有モデルは複数のデバイスからのデータを使って協調的に学習される。 活性化関数や正規化層などの異なるアーキテクチャ要素が異種FLの性能に与える影響を系統的に検討する。 以上の結果から,戦略的アーキテクチャ変更により,純粋なCNNは,VTと一致するか,あるいは超えるようなロバスト性を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-06T17:57:50Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• Synergies Between Federated Learning and O-RAN: Towards an Elastic Virtualized Architecture for Multiple Distributed Machine Learning Services [7.477830365234231]
  我々は、動的マルチサービスFL(DMS-FL)と呼ばれる、NextGネットワーク上の汎用FLパラダイムを導入する。 弾性FL(EV-FL)と呼ばれる新しい分散MLアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-04-14T19:21:42Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• Towards Cooperative Federated Learning over Heterogeneous Edge/Fog Networks [49.19502459827366]
  フェデレートラーニング(FL)は、エッジ/フォグネットワーク上で機械学習(ML)モデルをトレーニングするための一般的なテクニックとして推奨されている。 FLの従来の実装は、ネットワーク間協力の可能性を大きく無視してきた。 我々は,デバイス・ツー・デバイス(D2D)とデバイス・ツー・サーバ(D2S)インタラクションに基づいて構築された協調的エッジ/フォグMLパラダイムである協調的連合学習(CFL)を提唱する。
  論文  参考訳（メタデータ） (2023-03-15T04:41:36Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks [52.93232352968347]
  本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。 FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2021-12-05T11:17:17Z)
• Mobility-Aware Cluster Federated Learning in Hierarchical Wireless Networks [81.83990083088345]
  我々は,無線ネットワークにおける階層型フェデレーション学習(HFL)アルゴリズムを特徴付ける理論モデルを開発した。 分析の結果,HFLの学習性能は,ハイモービル利用者の学習能力が著しく低下していることが判明した。 これらの問題を回避するため,我々はMACFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-08-20T10:46:58Z)
• Federated Learning for Physical Layer Design [38.46522285374866]
  Federated Learning (FL) は最近,分散学習スキームとして提案されている。 FLは集中型学習(CL)よりもコミュニケーション効率が高くプライバシーを保ちます。 本稿では,物理層設計問題に対するFLベーストレーニングの最近の進歩について論じる。
  論文  参考訳（メタデータ） (2021-02-23T16:22:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。