論文の概要: Effectively Heterogeneous Federated Learning: A Pairing and Split Learning Based Approach

• arxiv url: http://arxiv.org/abs/2308.13849v1
• Date: Sat, 26 Aug 2023 11:10:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 18:37:10.260701
• Title: Effectively Heterogeneous Federated Learning: A Pairing and Split Learning Based Approach
• Title（参考訳）: 効果的に不均一なフェデレーション学習:ペアリングと分割学習に基づくアプローチ
• Authors: Jinglong Shen, Xiucheng Wang, Nan Cheng, Longfei Ma, Conghao Zhou, Yuan Zhang
• Abstract要約: 本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。 グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。 シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
• 参考スコア（独自算出の注目度）: 16.093068118849246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a promising paradigm federated Learning (FL) is widely used in privacy-preserving machine learning, which allows distributed devices to collaboratively train a model while avoiding data transmission among clients. Despite its immense potential, the FL suffers from bottlenecks in training speed due to client heterogeneity, leading to escalated training latency and straggling server aggregation. To deal with this challenge, a novel split federated learning (SFL) framework that pairs clients with different computational resources is proposed, where clients are paired based on computing resources and communication rates among clients, meanwhile the neural network model is split into two parts at the logical level, and each client only computes the part assigned to it by using the SL to achieve forward inference and backward training. Moreover, to effectively deal with the client pairing problem, a heuristic greedy algorithm is proposed by reconstructing the optimization of training latency as a graph edge selection problem. Simulation results show the proposed method can significantly improve the FL training speed and achieve high performance both in independent identical distribution (IID) and Non-IID data distribution.
• Abstract（参考訳）: 将来性のあるパラダイムフェデレートラーニング(FL)は、プライバシ保護機械学習で広く使用されている。これにより、分散デバイスは、クライアント間のデータ転送を回避しながら、モデルを協調的にトレーニングすることができる。 膨大な潜在能力にもかかわらず、flはクライアントの不均一性のためにトレーニング速度のボトルネックに悩まされ、トレーニング遅延の増大とサーバ集約の混乱に繋がる。 この課題に対処するために、異なる計算リソースとクライアントをペアリングする新しい分割フェデレーション学習(SFL)フレームワークが提案され、コンピュータリソースとクライアント間の通信レートに基づいてクライアントをペアリングする一方、ニューラルネットワークモデルは論理レベルで2つの部分に分割され、各クライアントはSLを使用して割り当てられた部分のみを計算し、前方推論と後方トレーニングを実現する。 さらに, 学習遅延の最適化をグラフエッジ選択問題として再構成し, クライアントペアリング問題を効果的に扱うため, ヒューリスティック・グリーディアルゴリズムを提案する。 シミュレーションの結果,提案手法は独立同一分布 (iid) と非iidデータ分布の両方において,flトレーニング速度を著しく向上し,高い性能が得られることがわかった。

関連論文リスト

• Federated Learning based on Pruning and Recovery [0.0]
  このフレームワークは非同期学習アルゴリズムとプルーニング技術を統合している。 異種デバイスを含むシナリオにおいて、従来のフェデレーション学習アルゴリズムの非効率性に対処する。 また、非同期アルゴリズムで特定のクライアントの不安定な問題や不適切なトレーニングにも取り組みます。
  論文  参考訳（メタデータ） (2024-03-16T14:35:03Z)
• Achieving Linear Speedup in Asynchronous Federated Learning with Heterogeneous Clients [30.135431295658343]
  フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。 本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。 DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
  論文  参考訳（メタデータ） (2024-02-17T05:22:46Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated Split Learning [56.125720497163684]
  無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。 ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
  論文  参考訳（メタデータ） (2022-09-02T10:29:56Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
  フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。 FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。 本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
  論文  参考訳（メタデータ） (2021-08-12T14:18:05Z)
• Joint Client Scheduling and Resource Allocation under Channel Uncertainty in Federated Learning [47.97586668316476]
  無線ネットワーク上のフェデレートラーニング(FL)は、クライアントサーバの接続性とクライアントのローカル計算能力の信頼性に依存する。 本稿では、FLを用いたモデルトレーニングの性能を高めるため、クライアントスケジューリングとリソースブロック(RB)割り当ての問題について検討する。 提案手法は,最先端クライアントスケジューリングやRBアロケーション手法と比較して,トレーニング精度損失のギャップを最大40.7%削減する。
  論文  参考訳（メタデータ） (2021-06-12T15:18:48Z)
• Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity [57.275753974812666]
  フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。 本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2020-12-28T19:21:14Z)
• Coded Computing for Federated Learning at the Edge [3.385874614913973]
  フェデレートラーニング(FL)は、クライアントデータを集中サーバに移行することなく、クライアントノードでローカルに生成されたデータからグローバルモデルをトレーニングすることを可能にする。 最近の研究は、MECサーバに冗長な計算を割り当てることで、トラグラーを緩和し、線形回帰タスクのトレーニングを高速化することを提案する。 我々は、CFLを分散非線形回帰および多出力ラベルによる分類問題に拡張する難題に対処するCodedFedLを開発した。
  論文  参考訳（メタデータ） (2020-07-07T08:20:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。