論文の概要: FedSplitX: Federated Split Learning for Computationally-Constrained Heterogeneous Clients

• arxiv url: http://arxiv.org/abs/2310.14579v1
• Date: Mon, 23 Oct 2023 05:34:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 22:19:18.276383
• Title: FedSplitX: Federated Split Learning for Computationally-Constrained Heterogeneous Clients
• Title（参考訳）: FedSplitX: 計算制約のある異種クライアントのためのフェデレーションスプリット学習
• Authors: Jiyun Shin, Jinhyun Ahn, Honggu Kang, Joonhyuk Kang
• Abstract要約: FedSplitXは大規模なモデルを複数のパーティションポイントでクライアントサイドとサーバサイドのコンポーネントに分割し、多様なクライアント機能に対応します。 我々の実験は、FedSplitXがサーバ機能を利用して大規模モデルのトレーニングを行い、ベースラインアプローチよりも優れていることを示した。
• 参考スコア（独自算出の注目度）: 6.21295508577576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation models (FMs) have demonstrated remarkable performance in machine learning but demand extensive training data and computational resources. Federated learning (FL) addresses the challenges posed by FMs, especially related to data privacy and computational burdens. However, FL on FMs faces challenges in situations with heterogeneous clients possessing varying computing capabilities, as clients with limited capabilities may struggle to train the computationally intensive FMs. To address these challenges, we propose FedSplitX, a novel FL framework that tackles system heterogeneity. FedSplitX splits a large model into client-side and server-side components at multiple partition points to accommodate diverse client capabilities. This approach enables clients to collaborate while leveraging the server's computational power, leading to improved model performance compared to baselines that limit model size to meet the requirement of the poorest client. Furthermore, FedSplitX incorporates auxiliary networks at each partition point to reduce communication costs and delays while enhancing model performance. Our experiments demonstrate that FedSplitX effectively utilizes server capabilities to train large models, outperforming baseline approaches.
• Abstract（参考訳）: 基礎モデル(FM)は機械学習において顕著な性能を示したが、広範なトレーニングデータと計算資源を必要としている。 フェデレートラーニング(FL)は、FMがもたらす課題、特にデータのプライバシーと計算上の負担に対処する。 しかし、FL on FMsは計算集約的なFMの訓練に苦慮する可能性があるため、様々な計算能力を持つ異種クライアントの状況において課題に直面している。 これらの課題に対処するため,システム不均一性に対処する新しいFLフレームワークであるFedSplitXを提案する。 FedSplitXは大規模なモデルを複数のパーティションポイントでクライアントサイドとサーバサイドのコンポーネントに分割し、多様なクライアント機能に対応します。 このアプローチにより、クライアントはサーバの計算能力を活用しながら協力し合えるようになり、最も貧弱なクライアントの要求を満たすためにモデルサイズを制限するベースラインに比べて、モデルパフォーマンスが向上する。 さらに、feedsplitxは各パーティションポイントに補助ネットワークを組み込んで通信コストと遅延を低減し、モデル性能を向上させる。 実験の結果,feedsplitxは大規模モデルのトレーニングにサーバ機能を効果的に活用し,ベースラインアプローチを上回っている。

関連論文リスト

• Personalized Hierarchical Split Federated Learning in Wireless Networks [24.664469755746463]
  本稿では、パーソナライズ性能の向上を目的とした、パーソナライズされた階層分割型フェデレーション学習(PHSFL)アルゴリズムを提案する。 まず、モデル分割と階層モデル集約がグローバルモデルに与える影響を理解するために、広範囲な理論的解析を行う。 グローバルモデルがトレーニングされると、各クライアントを微調整してパーソナライズされたモデルを取得します。
  論文  参考訳（メタデータ） (2024-11-09T02:41:53Z)
• FedMoE-DA: Federated Mixture of Experts via Domain Aware Fine-grained Aggregation [22.281467168796645]
  Federated Learning(FL)は、複数のクライアントがプライベートデータを共有せずにモデルをトレーニングできる、コラボレーティブな機械学習アプローチである。 我々は、新しいドメイン認識、きめ細かい集約戦略を取り入れた新しいFLモデルトレーニングフレームワークであるFedMoE-DAを提案し、ロバスト性、パーソナライズ性、通信効率を同時に向上する。
  論文  参考訳（メタデータ） (2024-11-04T14:29:04Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Effectively Heterogeneous Federated Learning: A Pairing and Split Learning Based Approach [16.093068118849246]
  本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。 グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。 シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-08-26T11:10:54Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• FedCliP: Federated Learning with Client Pruning [3.796320380104124]
  フェデレートラーニング(Federated Learning、FL)は、新たな分散ラーニングパラダイムである。 FLの基本的なボトルネックの1つは、分散クライアントと中央サーバの間の通信オーバーヘッドである。 マクロの観点から,最初の通信効率のよいFLトレーニングフレームワークであるFedCliPを提案する。
  論文  参考訳（メタデータ） (2023-01-17T09:15:37Z)
• FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated Learning [91.74206675452888]
  本稿では,各クライアントの特徴を共有カテゴリーのアンカーにマッチさせる新しいFedFM法を提案する。 効率と柔軟性を向上させるため,FedFM-Liteと呼ばれるFedFM変種を提案し,クライアントは同期時間と通信帯域幅のコストを少なくしてサーバと通信する。
  論文  参考訳（メタデータ） (2022-10-14T08:11:34Z)
• No One Left Behind: Inclusive Federated Learning over Heterogeneous Devices [79.16481453598266]
  この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。 InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。 また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-02-16T13:03:27Z)
• AdaSplit: Adaptive Trade-offs for Resource-constrained Distributed Deep Learning [18.3841463794885]
  Split Learning (SL)は、クライアントとサーバの間でモデルのトレーニングを分割することで、クライアントの計算負荷を削減する。 AdaSplitは、帯域幅の削減と異種クライアント間のパフォーマンス向上により、SLをリソースの少ないシナリオに効率的にスケーリングすることを可能にする。
  論文  参考訳（メタデータ） (2021-12-02T23:33:15Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)
• Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation [119.19061102064497]
  ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。 提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。 遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
  論文  参考訳（メタデータ） (2021-01-18T07:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。