論文の概要: Semi-Decentralized Federated Edge Learning with Data and Device
Heterogeneity
- arxiv url: http://arxiv.org/abs/2112.10313v1
- Date: Mon, 20 Dec 2021 03:06:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-21 17:34:41.149628
- Title: Semi-Decentralized Federated Edge Learning with Data and Device
Heterogeneity
- Title（参考訳）: データとデバイスの不均一性を考慮した半分散フェデレーションエッジ学習
- Authors: Yuchang Sun and Jiawei Shao and Yuyi Mao and Jessie Hui Wang and Jun
Zhang
- Abstract要約: フェデレーションエッジ学習(FEEL)は、ディープラーニングモデルをトレーニングするために、ネットワークエッジに分散データを効果的に組み込むための、プライバシ保護パラダイムとして多くの注目を集めている。
本稿では,複数のエッジサーバを用いて多数のクライアントノードを協調的に調整する,半分散型フェデレーションエッジ学習(SD-FEEL)という,FEELの新しいフレームワークについて検討する。
効率的なモデル共有のためにエッジサーバ間の低レイテンシ通信を利用することで、SD-FEELは従来のフェデレート学習に比べてはるかにレイテンシの低い訓練データを取り込みながら、より多くのトレーニングデータを組み込むことができる。
- 参考スコア（独自算出の注目度）: 5.195999903623828
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated edge learning (FEEL) has attracted much attention as a
privacy-preserving paradigm to effectively incorporate the distributed data at
the network edge for training deep learning models. Nevertheless, the limited
coverage of a single edge server results in an insufficient number of
participated client nodes, which may impair the learning performance. In this
paper, we investigate a novel framework of FEEL, namely semi-decentralized
federated edge learning (SD-FEEL), where multiple edge servers are employed to
collectively coordinate a large number of client nodes. By exploiting the
low-latency communication among edge servers for efficient model sharing,
SD-FEEL can incorporate more training data, while enjoying much lower latency
compared with conventional federated learning. We detail the training algorithm
for SD-FEEL with three main steps, including local model update, intra-cluster,
and inter-cluster model aggregations. The convergence of this algorithm is
proved on non-independent and identically distributed (non-IID) data, which
also helps to reveal the effects of key parameters on the training efficiency
and provides practical design guidelines. Meanwhile, the heterogeneity of edge
devices may cause the straggler effect and deteriorate the convergence speed of
SD-FEEL. To resolve this issue, we propose an asynchronous training algorithm
with a staleness-aware aggregation scheme for SD-FEEL, of which, the
convergence performance is also analyzed. The simulation results demonstrate
the effectiveness and efficiency of the proposed algorithms for SD-FEEL and
corroborate our analysis.
- Abstract（参考訳）: feel(federated edge learning)は、ネットワークエッジに分散データを効果的に組み込んでディープラーニングモデルをトレーニングするための、プライバシ保護パラダイムとして注目されている。
それでも、単一エッジサーバのカバー範囲が限られると、未参加のクライアントノードが不足し、学習性能が損なわれる可能性がある。
本稿では,複数のエッジサーバを用いて多数のクライアントノードを協調的に調整する,半分散型フェデレーションエッジ学習(SD-FEEL)の新たなフレームワークについて検討する。
効率的なモデル共有のためにエッジサーバ間の低レイテンシ通信を利用することで、SD-FEELは従来のフェデレート学習に比べてはるかにレイテンシの低いトレーニングデータを組み込むことができる。
SD-FEELのトレーニングアルゴリズムについて,ローカルモデル更新,クラスタ内モデルアグリゲーション,クラスタ間モデルアグリゲーションの3つのステップで詳述する。
このアルゴリズムの収束は、非独立かつ同一分散(非iid)データで証明され、鍵パラメータがトレーニング効率に与える影響を明らかにし、実用的な設計ガイドラインを提供するのに役立つ。
一方、エッジデバイスの不均一性はストラグラー効果を引き起こし、SD-FEELの収束速度を低下させる可能性がある。
そこで本研究では,SD-FEELの安定化を意識したアグリゲーションスキームを用いた非同期トレーニングアルゴリズムを提案する。
シミュレーションの結果,SD-FEELのための提案アルゴリズムの有効性と効率を実証し,解析結果を裏付ける。
関連論文リスト
- Faster Convergence on Heterogeneous Federated Edge Learning: An Adaptive Clustered Data Sharing Approach [27.86468387141422]
Federated Edge Learning (FEEL)は、6G Hyper-Connectivityのための分散機械学習パラダイムのパイオニアとして登場した。
現在のFEELアルゴリズムは、非独立かつ非独立に分散した(非IID)データと競合し、通信コストの上昇とモデルの精度が損なわれる。
我々はクラスタ化データ共有フレームワークを導入し、クラスタヘッドから信頼されたアソシエイトに部分的なデータを選択的に共有することで、データの均一性を緩和する。
実験により, このフレームワークは, 限られた通信環境において, 収束速度が速く, モデル精度が高い非IIDデータセット上で FEEL を促進することを示した。
論文 参考訳（メタデータ） (2024-06-14T07:22:39Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - Effectively Heterogeneous Federated Learning: A Pairing and Split
Learning Based Approach [16.093068118849246]
本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。
グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。
シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
論文 参考訳（メタデータ） (2023-08-26T11:10:54Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳（メタデータ） (2023-02-24T08:41:19Z) - Time-sensitive Learning for Heterogeneous Federated Edge Intelligence [52.83633954857744]
フェデレーションエッジインテリジェンス(FEI)システムにおけるリアルタイム機械学習について検討する。
FEIシステムは異種通信と計算資源分布を示す。
本稿では,共有MLモデルの協調学習における全体の実行時間を最小化するために,時間依存型フェデレーションラーニング(TS-FL)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-01-26T08:13:22Z) - Asynchronous Semi-Decentralized Federated Edge Learning for
Heterogeneous Clients [3.983055670167878]
フェデレーションエッジ学習(FEEL)は、モバイルエッジネットワークのプライバシ保護のための分散学習フレームワークとして注目されている。
本研究では,複数のエッジサーバが協調して,エッジデバイスからのより多くのデータをトレーニング中に組み込む,新たな半分散FEEL(SD-FEEL)アーキテクチャについて検討する。
論文 参考訳（メタデータ） (2021-12-09T07:39:31Z) - Semi-Decentralized Federated Edge Learning for Fast Convergence on Non-IID Data [14.269800282001464]
フェデレーションエッジラーニング(FEEL)は、クラウドベースの機械学習ソリューションにおいて、大きな通信遅延を低減する効果的なアプローチとして登場した。
FEELの新しい枠組み、すなわち半分散型フェデレーションエッジラーニング(SD-FEEL)について検討する。
異なるエッジクラスタにまたがるモデルアグリゲーションを可能にすることで、SD-FEELはトレーニングのレイテンシを低減できるFEELのメリットを享受できる。
論文 参考訳（メタデータ） (2021-04-26T16:11:47Z) - Sample-based and Feature-based Federated Learning via Mini-batch SSCA [18.11773963976481]
本稿ではサンプルベースおよび特徴ベース連合最適化について検討する。
提案アルゴリズムは,モデルアグリゲーション機構を通じてデータプライバシを保持できることを示した。
また,提案アルゴリズムは,各フェデレーション最適化問題のKarush-Kuhn-Tucker点に収束することを示した。
論文 参考訳（メタデータ） (2021-04-13T08:23:46Z) - Quasi-Global Momentum: Accelerating Decentralized Deep Learning on
Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。
現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。
本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2021-02-09T11:27:14Z) - Straggler-Resilient Federated Learning: Leveraging the Interplay Between
Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。
本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文 参考訳（メタデータ） (2020-12-28T19:21:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。