論文の概要: SplitFed: When Federated Learning Meets Split Learning

• arxiv url: http://arxiv.org/abs/2004.12088v5
• Date: Wed, 16 Feb 2022 22:02:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 22:00:29.973407
• Title: SplitFed: When Federated Learning Meets Split Learning
• Title（参考訳）: splitfed: 連合学習が分割学習と出会うとき
• Authors: Chandra Thapa, M.A.P. Chamikara, Seyit Camtepe, Lichao Sun
• Abstract要約: フェデレートラーニング(FL)とスプリットラーニング(SL)は2つの人気のある分散機械学習アプローチである。 本稿では,2つのアプローチを両立させるスプリットフッドラーニング(SFL)という新しいアプローチを提案する。 SFLは、SLと同等のテスト精度と通信効率を提供すると同時に、複数のクライアントに対するSLよりも、グローバルエポックあたりの計算時間を著しく削減する。
• 参考スコア（独自算出の注目度）: 16.212941272007285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) and split learning (SL) are two popular distributed machine learning approaches. Both follow a model-to-data scenario; clients train and test machine learning models without sharing raw data. SL provides better model privacy than FL due to the machine learning model architecture split between clients and the server. Moreover, the split model makes SL a better option for resource-constrained environments. However, SL performs slower than FL due to the relay-based training across multiple clients. In this regard, this paper presents a novel approach, named splitfed learning (SFL), that amalgamates the two approaches eliminating their inherent drawbacks, along with a refined architectural configuration incorporating differential privacy and PixelDP to enhance data privacy and model robustness. Our analysis and empirical results demonstrate that (pure) SFL provides similar test accuracy and communication efficiency as SL while significantly decreasing its computation time per global epoch than in SL for multiple clients. Furthermore, as in SL, its communication efficiency over FL improves with the number of clients. Besides, the performance of SFL with privacy and robustness measures is further evaluated under extended experimental settings.
• Abstract（参考訳）: フェデレートラーニング(FL)とスプリットラーニング(SL)は2つの人気のある分散機械学習アプローチである。 クライアントは生のデータを共有することなく、機械学習モデルをトレーニングし、テストします。 slは、クライアントとサーバを分割した機械学習モデルアーキテクチャのため、flよりも優れたモデルプライバシを提供する。 さらに、分割モデルにより、SLはリソース制約のある環境にとってより良い選択肢となる。 しかし、複数のクライアントにまたがるリレーベースのトレーニングのため、SLはFLよりも遅い。 本稿では,データプライバシとモデルロバスト性を高めるために,差分プライバシとPixelDPを取り入れた改良されたアーキテクチャ構成とともに,2つのアプローチを両立させる,分割学習(SFL)という新しいアプローチを提案する。 解析および実験結果から,SFL は SL と類似したテスト精度と通信効率を実現し,グローバルエポック毎の計算時間を複数のクライアントの SL よりも大幅に短縮した。 さらに、SLと同様、FL上の通信効率はクライアント数で向上する。 さらに,sflの性能とプライバシとロバストネスの指標を拡張実験環境で評価した。

関連論文リスト

• HierSFL: Local Differential Privacy-aided Split Federated Learning in Mobile Edge Computing [7.180235086275924]
  フェデレートラーニング(Federated Learning)は、データのプライバシを維持しながらユーザデータから学ぶための、有望なアプローチである。 Split Federated Learningは、クライアントが中間モデルトレーニング結果をクラウドサーバにアップロードして、協調的なサーバ-クライアントモデルのトレーニングを行う。 この手法は、モデルトレーニングへのリソース制約のあるクライアントの参加を促進するだけでなく、トレーニング時間と通信オーバーヘッドも増大させる。 我々は,階層的分割フェデレート学習(HierSFL)と呼ばれる新しいアルゴリズムを提案し,エッジとクラウドのフェーズでアマルガメートをモデル化する。
  論文  参考訳（メタデータ） (2024-01-16T09:34:10Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• PFSL: Personalized & Fair Split Learning with Data & Label Privacy for thin clients [0.5144809478361603]
  PFSLは分散分割学習の新しいフレームワークであり、多数のシンクライアントが並列にトランスファー学習を行う。 クライアントモデルのパーソナライズを行うための軽量なステップを実装し,それぞれのデータ分布に対して高いパフォーマンスを実現する。 我々の精度は現在のアルゴリズムSLをはるかに上回り、いくつかの実生活ベンチマークにおける集中学習に非常に近い。
  論文  参考訳（メタデータ） (2023-03-19T10:38:29Z)
• Time-sensitive Learning for Heterogeneous Federated Edge Intelligence [52.83633954857744]
  フェデレーションエッジインテリジェンス(FEI)システムにおけるリアルタイム機械学習について検討する。 FEIシステムは異種通信と計算資源分布を示す。 本稿では,共有MLモデルの協調学習における全体の実行時間を最小化するために,時間依存型フェデレーションラーニング(TS-FL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-26T08:13:22Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Server-Side Local Gradient Averaging and Learning Rate Acceleration for Scalable Split Learning [82.06357027523262]
  フェデレーテッド・ラーニング(FL)とスプリット・ラーニング(SL)は、その長所と短所を持つ2つの先駆者であり、多くのユーザ・クライアントや大規模モデルに適している。 本研究では,まずSLの基本ボトルネックを特定し,SGLRという拡張性のあるSLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-11T08:33:25Z)
• Splitfed learning without client-side synchronization: Analyzing client-side split network portion size to overall performance [4.689140226545214]
  Federated Learning (FL)、Split Learning (SL)、SplitFed Learning (SFL)は、分散機械学習における最近の3つの発展である。 本稿では,クライアント側モデル同期を必要としないSFLについて検討する。 MNISTテストセットでのMulti-head Split Learningよりも1%-2%の精度しか得られない。
  論文  参考訳（メタデータ） (2021-09-19T22:57:23Z)
• Evaluation and Optimization of Distributed Machine Learning Techniques for Internet of Things [34.544836653715244]
  federated learning (fl) と split learning (sl) は最先端の分散機械学習技術である。 最近のFLとSLは、それぞれの利点を活用するために、分割学習(SFL)を形成するために組み合わせられる。 この作業ではFL、SL、SFLを考慮し、Raspberry Piデバイスにマウントしてパフォーマンスを評価します。
  論文  参考訳（メタデータ） (2021-03-03T23:55:37Z)
• Advancements of federated learning towards privacy preservation: from federated learning to split learning [1.3700362496838854]
  分散コラボレーティブ機械学習(DCML)パラダイムにおいて、フェデレーテッド・ラーニング(FL)は、健康、金融、業界 4.0 やスマート車といった最新のイノベーションの応用により、最近多くの注目を集めた。 現実的なシナリオでは、すべてのクライアントは十分なコンピューティングリソース(例えばモノのインターネット)を持っておらず、機械学習モデルには数百万のパラメータがあり、サーバとクライアントの間のプライバシは主要な関心事である。 近年、FLとSLのハイブリッドであるスプリット・ラーニングを導入し、FL(より速いトレーニング/テスト時間)とSL(モデル分割時間)の両方の利点を高めている。
  論文  参考訳（メタデータ） (2020-11-25T05:01:33Z)
• Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
  Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。 現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。 本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
  論文  参考訳（メタデータ） (2020-06-12T14:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。