論文の概要: Splitfed learning without client-side synchronization: Analyzing
client-side split network portion size to overall performance
- arxiv url: http://arxiv.org/abs/2109.09246v1
- Date: Sun, 19 Sep 2021 22:57:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-21 16:53:08.047034
- Title: Splitfed learning without client-side synchronization: Analyzing
client-side split network portion size to overall performance
- Title（参考訳）: クライアント側同期を伴わない分割学習:クライアント側分割ネットワークサイズから全体的なパフォーマンス解析
- Authors: Praveen Joshi, Chandra Thapa, Seyit Camtepe, Mohammed Hasanuzzamana,
Ted Scully and Haithem Afli
- Abstract要約: Federated Learning (FL)、Split Learning (SL)、SplitFed Learning (SFL)は、分散機械学習における最近の3つの発展である。
本稿では,クライアント側モデル同期を必要としないSFLについて検討する。
MNISTテストセットでのMulti-head Split Learningよりも1%-2%の精度しか得られない。
- 参考スコア（独自算出の注目度）: 4.689140226545214
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Federated Learning (FL), Split Learning (SL), and SplitFed Learning (SFL) are
three recent developments in distributed machine learning that are gaining
attention due to their ability to preserve the privacy of raw data. Thus, they
are widely applicable in various domains where data is sensitive, such as
large-scale medical image classification, internet-of-medical-things, and
cross-organization phishing email detection. SFL is developed on the confluence
point of FL and SL. It brings the best of FL and SL by providing parallel
client-side machine learning model updates from the FL paradigm and a higher
level of model privacy (while training) by splitting the model between the
clients and server coming from SL. However, SFL has communication and
computation overhead at the client-side due to the requirement of client-side
model synchronization. For the resource-constrained client-side, removal of
such requirements is required to gain efficiency in the learning. In this
regard, this paper studies SFL without client-side model synchronization. The
resulting architecture is known as Multi-head Split Learning. Our empirical
studies considering the ResNet18 model on MNIST data under IID data
distribution among distributed clients find that Multi-head Split Learning is
feasible. Its performance is comparable to the SFL. Moreover, SFL provides only
1%-2% better accuracy than Multi-head Split Learning on the MNIST test set. To
further strengthen our results, we study the Multi-head Split Learning with
various client-side model portions and its impact on the overall performance.
To this end, our results find a minimal impact on the overall performance of
the model.
- Abstract（参考訳）: federated learning (fl)、slit learning (sl)、splitfed learning (sfl)の3つは、分散機械学習における最近の3つの開発であり、生データのプライバシーを守る能力によって注目を集めている。
したがって、大規模医療画像分類、インターネット・オブ・メディカルシング、組織間フィッシングメール検出など、データに敏感なさまざまな領域で広く適用できる。
SFLはFLとSLの合流点上に開発された。
FLパラダイムからの並列クライアントサイド機械学習モデルのアップデートと(トレーニング中の)モデルのプライバシの向上により、SLから来るクライアントとサーバの間にモデルを分割することで、FLとSLの利点をもたらす。
しかし、SFLはクライアント側モデル同期を必要とするため、クライアント側で通信と計算のオーバーヘッドがあります。
リソース制約のあるクライアント側では、学習の効率を上げるためにそのような要件を取り除く必要がある。
本稿では,クライアント側モデル同期のないSFLについて検討する。
結果として得られるアーキテクチャは、Multi-head Split Learningとして知られている。
分散クライアント間のIDデータ分散に基づくMNISTデータに対するResNet18モデルを考慮した実証研究により,マルチヘッド分割学習が実現可能であることがわかった。
性能はSFLに匹敵する。
さらにsflは、mnistテストセットのマルチヘッド分割学習よりも精度が1%-2%向上している。
この結果をさらに強化するため,クライアント側モデル部分を用いたマルチヘッド分割学習とその性能への影響について検討した。
この結果から,モデル全体の性能への影響は最小限に抑えられた。
関連論文リスト
- Embracing Federated Learning: Enabling Weak Client Participation via Partial Model Training [21.89214794178211]
フェデレートラーニング(FL)では、クライアントは完全なモデルをトレーニングしたり、メモリ空間に保持することができない弱いデバイスを持っているかもしれない。
我々は、すべての利用可能なクライアントが分散トレーニングに参加することを可能にする、一般的なFLフレームワークであるEnbracingFLを提案する。
実験により,FL の導入は,すべてのクライアントが強力であるように常に高い精度を達成し,最先端の幅削減手法よりも優れていた。
論文 参考訳（メタデータ） (2024-06-21T13:19:29Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - PFL-GAN: When Client Heterogeneity Meets Generative Models in
Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。
PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。
いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文 参考訳（メタデータ） (2023-08-23T22:38:35Z) - When MiniBatch SGD Meets SplitFed Learning:Convergence Analysis and
Performance Evaluation [9.815046814597238]
フェデレートラーニング(FL)は、生データを共有せずに、分散クライアント間で協調的なモデルトレーニングを可能にする。
SplitFed Learning (SFL) は、クライアントデバイスにおける計算負荷を軽減するために、カット層でモデルを2つの部分に分割する手法である。
MiniBatch-SFLはMiniBatch SGDをSFLに組み込み、クライアントはFL方式でクライアントサイドモデルを訓練し、サーバはサーバサイドモデルを訓練する。
論文 参考訳（メタデータ） (2023-08-23T06:51:22Z) - Client Selection for Generalization in Accelerated Federated Learning: A
Multi-Armed Bandit Approach [20.300740276237523]
フェデレート・ラーニング(Federated Learning, FL)は、ローカルデータセットを保持する複数のノード(すなわちクライアント)にわたるモデルをトレーニングするために使用される機械学習(ML)パラダイムである。
FL(Bandit Scheduling for FL)と呼ばれる,この目標を達成するための新しいアルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-03-18T09:45:58Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - No One Left Behind: Inclusive Federated Learning over Heterogeneous
Devices [79.16481453598266]
この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。
InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。
また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
論文 参考訳（メタデータ） (2022-02-16T13:03:27Z) - Blockchain Assisted Decentralized Federated Learning (BLADE-FL):
Performance Analysis and Resource Allocation [119.19061102064497]
ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。
提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。
遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
論文 参考訳（メタデータ） (2021-01-18T07:19:08Z) - Advancements of federated learning towards privacy preservation: from
federated learning to split learning [1.3700362496838854]
分散コラボレーティブ機械学習(DCML)パラダイムにおいて、フェデレーテッド・ラーニング(FL)は、健康、金融、業界 4.0 やスマート車といった最新のイノベーションの応用により、最近多くの注目を集めた。
現実的なシナリオでは、すべてのクライアントは十分なコンピューティングリソース(例えばモノのインターネット)を持っておらず、機械学習モデルには数百万のパラメータがあり、サーバとクライアントの間のプライバシは主要な関心事である。
近年、FLとSLのハイブリッドであるスプリット・ラーニングを導入し、FL(より速いトレーニング/テスト時間)とSL(モデル分割時間)の両方の利点を高めている。
論文 参考訳（メタデータ） (2020-11-25T05:01:33Z) - Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。
現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。
本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文 参考訳（メタデータ） (2020-06-12T14:49:47Z) - SplitFed: When Federated Learning Meets Split Learning [16.212941272007285]
フェデレートラーニング(FL)とスプリットラーニング(SL)は2つの人気のある分散機械学習アプローチである。
本稿では,2つのアプローチを両立させるスプリットフッドラーニング(SFL)という新しいアプローチを提案する。
SFLは、SLと同等のテスト精度と通信効率を提供すると同時に、複数のクライアントに対するSLよりも、グローバルエポックあたりの計算時間を著しく削減する。
論文 参考訳（メタデータ） (2020-04-25T08:52:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。