論文の概要: FedSL: Federated Split Learning on Distributed Sequential Data in
Recurrent Neural Networks
- arxiv url: http://arxiv.org/abs/2011.03180v2
- Date: Sat, 16 Oct 2021 19:18:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 05:36:44.860809
- Title: FedSL: Federated Split Learning on Distributed Sequential Data in
Recurrent Neural Networks
- Title（参考訳）: FedSL: 繰り返しニューラルネットワークにおける分散シーケンスデータに基づくフェデレーションスプリット学習
- Authors: Ali Abedi and Shehroz S. Khan
- Abstract要約: フェデレートラーニング(FL)とスプリットラーニング(SL)はプライバシ保護マシンラーニング(ML)技術である。
既存のFLとSLのアプローチは、水平または垂直に分割されたデータに作用する。
本稿では,分散シーケンシャルデータに基づくモデルのトレーニングを行うための,新しいフェデレーション分割学習フレームワークであるFedSLを提案する。
- 参考スコア（独自算出の注目度）: 4.706263507340607
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) and Split Learning (SL) are privacy-preserving
Machine-Learning (ML) techniques that enable training ML models over data
distributed among clients without requiring direct access to their raw data.
Existing FL and SL approaches work on horizontally or vertically partitioned
data and cannot handle sequentially partitioned data where segments of
multiple-segment sequential data are distributed across clients. In this paper,
we propose a novel federated split learning framework, FedSL, to train models
on distributed sequential data. The most common ML models to train on
sequential data are Recurrent Neural Networks (RNNs). Since the proposed
framework is privacy preserving, segments of multiple-segment sequential data
cannot be shared between clients or between clients and server. To circumvent
this limitation, we propose a novel SL approach tailored for RNNs. A RNN is
split into sub-networks, and each sub-network is trained on one client
containing single segments of multiple-segment training sequences. During local
training, the sub-networks on different clients communicate with each other to
capture latent dependencies between consecutive segments of multiple-segment
sequential data on different clients, but without sharing raw data or complete
model parameters. After training local sub-networks with local sequential data
segments, all clients send their sub-networks to a federated server where
sub-networks are aggregated to generate a global model. The experimental
results on simulated and real-world datasets demonstrate that the proposed
method successfully train models on distributed sequential data, while
preserving privacy, and outperforms previous FL and centralized learning
approaches in terms of achieving higher accuracy in fewer communication rounds.
- Abstract（参考訳）: Federated Learning (FL) と Split Learning (SL) はプライバシ保護マシンラーニング(ML)技術で、生データに直接アクセスすることなく、クライアント間で分散されたデータ上でMLモデルをトレーニングすることができる。
既存のflおよびslアプローチは、水平または垂直に分割されたデータを扱うため、複数のセグメントのシーケンシャルデータのセグメントがクライアント間で分散するシーケンシャル分割データを処理できない。
本稿では,分散逐次データに基づくモデル学習を行うための,新しいフェデレーション分割学習フレームワークであるFedSLを提案する。
シーケンシャルデータでトレーニングする最も一般的なMLモデルは、リカレントニューラルネットワーク(RNN)である。
提案フレームワークはプライバシ保護であるため,複数セグメントのシーケンシャルデータのセグメントをクライアント間あるいはクライアントとサーバ間で共有することはできない。
この制限を回避するために,RNNに適した新しいSLアプローチを提案する。
RNNはサブネットワークに分割され、各サブネットワークは、複数のセグメントのトレーニングシーケンスの単一セグメントを含む1つのクライアントでトレーニングされる。
ローカルトレーニング中、異なるクライアント上のサブネットワークは相互に通信し、異なるクライアント上の複数セグメントのシーケンシャルデータの連続セグメント間の潜在依存関係をキャプチャするが、生のデータやモデルパラメータは共有しない。
ローカルなシーケンシャルなデータセグメントでローカルなサブネットワークをトレーニングした後、すべてのクライアントは、サブネットワークを集約してグローバルモデルを生成するフェデレーションサーバに送信する。
シミュレーションおよび実世界のデータセットを用いた実験の結果、提案手法は、プライバシを保ちながら分散逐次データに基づくモデルをトレーニングし、より少ない通信ラウンドで高い精度で従来のFLおよび集中学習アプローチより優れていることが示された。
関連論文リスト
- Federated Clustering: An Unsupervised Cluster-Wise Training for Decentralized Data Distributions [1.6385815610837167]
Federated Cluster-Wise Refinement(FedCRef)には、同様のデータ分散を備えたクラスタ上でモデルを協調的にトレーニングするクライアントが含まれている。
これらのグループでは、クライアントは、各データ分布を表す共有モデルを共同でトレーニングし、データの関連性を高めるために、ローカルクラスタを継続的に精錬する。
この反復的処理により,ネットワーク全体にわたる潜在的なデータ分布を同定し,それぞれにロバストな表現モデルを構築することができる。
論文 参考訳（メタデータ） (2024-08-20T09:05:44Z) - Multi-Level Additive Modeling for Structured Non-IID Federated Learning [54.53672323071204]
我々は、異種クライアント間のより良い知識共有のために、マルチレベル付加モデル(MAM)と呼ばれるマルチレベル構造で編成されたモデルを訓練する。
フェデレートMAM(FeMAM)では、各クライアントは各レベル毎に少なくとも1つのモデルに割り当てられ、そのパーソナライズされた予測は、各レベルに割り当てられたモデルの出力を合計する。
実験により、FeMAMは既存のクラスタリングFLおよびパーソナライズされたFLメソッドを様々な非IID設定で超越していることが示された。
論文 参考訳（メタデータ） (2024-05-26T07:54:53Z) - FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。
既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。
フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
論文 参考訳（メタデータ） (2023-06-25T13:38:51Z) - Subspace based Federated Unlearning [75.90552823500633]
フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。
既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。
そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
論文 参考訳（メタデータ） (2023-02-24T04:29:44Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳（メタデータ） (2022-11-10T13:20:56Z) - Efficient Distribution Similarity Identification in Clustered Federated
Learning via Principal Angles Between Client Data Subspaces [59.33965805898736]
クラスタ学習は、クライアントをクラスタにグループ化することで、有望な結果をもたらすことが示されている。
既存のFLアルゴリズムは基本的に、クライアントを同様のディストリビューションでグループ化しようとしている。
以前のFLアルゴリズムは、訓練中に間接的に類似性を試みていた。
論文 参考訳（メタデータ） (2022-09-21T17:37:54Z) - FLIS: Clustered Federated Learning via Inference Similarity for Non-IID
Data Distribution [7.924081556869144]
本稿では,クライアント集団をクラスタにグループ化し,共同でトレーニング可能なデータ配信を行う新しいアルゴリズムFLISを提案する。
CIFAR-100/10, SVHN, FMNISTデータセット上の最先端ベンチマークに対するFLISの利点を示す実験結果を示す。
論文 参考訳（メタデータ） (2022-08-20T22:10:48Z) - LSTMSPLIT: Effective SPLIT Learning based LSTM on Sequential Time-Series
Data [3.9011223632827385]
本稿では,LSTMネットワークを用いたSLアーキテクチャを用いて,時系列データを複数のクライアントで分類するLSTMSPLITを提案する。
提案手法であるLSTMSPLITは, 心電図データセットとヒト活動認識データセットを用いたSplit-1DCNN法と比較して, 精度が向上した。
論文 参考訳（メタデータ） (2022-03-08T11:44:12Z) - Data Selection for Efficient Model Update in Federated Learning [0.07614628596146598]
本稿では,グローバルモデルのトレーニングに必要なローカルデータの量を削減することを提案する。
本手法では, 局所データの特徴により敏感な部分と, 一般特徴抽出のための下位部分と, 上位部分とにモデルを分割する。
実験の結果,クライアントデータの特徴をグローバルモデルに転送できる地域データは1%未満であることがわかった。
論文 参考訳（メタデータ） (2021-11-05T14:07:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。