論文の概要: Federated Split Learning with Only Positive Labels for
resource-constrained IoT environment
- arxiv url: http://arxiv.org/abs/2307.13266v1
- Date: Tue, 25 Jul 2023 05:33:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-26 18:14:54.261847
- Title: Federated Split Learning with Only Positive Labels for
resource-constrained IoT environment
- Title(参考訳): リソース制約型IoT環境のための正のラベルのみを用いたFederated Split Learning
- Authors: Praveen Joshi, Chandra Thapa, Mohammed Hasanuzzaman, Ted Scully, and
Haithem Afli
- Abstract要約: 分散コラボレーティブ機械学習(DCML)は、ディープラーニングモデルをトレーニングするためのIoT(Internet of Things)ドメインにおいて、有望な方法である。
分割学習 (SFL) は, デバイスが限られた計算能力を持つ場合に, 効率的な学習とテストに最も適している。
SFPLは、リソース制約のIoTデバイスが正のラベル付きデータしか持たない場合、SFLよりも優れていることを示す。
- 参考スコア(独自算出の注目度): 4.055662817794178
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Distributed collaborative machine learning (DCML) is a promising method in
the Internet of Things (IoT) domain for training deep learning models, as data
is distributed across multiple devices. A key advantage of this approach is
that it improves data privacy by removing the necessity for the centralized
aggregation of raw data but also empowers IoT devices with low computational
power. Among various techniques in a DCML framework, federated split learning,
known as splitfed learning (SFL), is the most suitable for efficient training
and testing when devices have limited computational capabilities. Nevertheless,
when resource-constrained IoT devices have only positive labeled data,
multiclass classification deep learning models in SFL fail to converge or
provide suboptimal results. To overcome these challenges, we propose splitfed
learning with positive labels (SFPL). SFPL applies a random shuffling function
to the smashed data received from clients before supplying it to the server for
model training. Additionally, SFPL incorporates the local batch normalization
for the client-side model portion during the inference phase. Our results
demonstrate that SFPL outperforms SFL: (i) by factors of 51.54 and 32.57 for
ResNet-56 and ResNet-32, respectively, with the CIFAR-100 dataset, and (ii) by
factors of 9.23 and 8.52 for ResNet-32 and ResNet-8, respectively, with
CIFAR-10 dataset. Overall, this investigation underscores the efficacy of the
proposed SFPL framework in DCML.
- Abstract(参考訳): 分散コラボレーティブ機械学習(DCML)は、ディープラーニングモデルをトレーニングするためのIoT(Internet of Things)ドメインにおける有望な方法である。
このアプローチの大きな利点は、生データの集中的な集約の必要性を取り除くことによってデータのプライバシを改善すると同時に、計算能力の低いIoTデバイスも強化することです。
DCMLフレームワークの様々なテクニックの中で、フェデレートされた分割学習(SFL)は、デバイスが限られた計算能力を持つ場合に、効率的なトレーニングとテストに最も適している。
それでも、リソース制約のIoTデバイスが正のラベル付きデータしか持たない場合、SFLのマルチクラス分類ディープラーニングモデルは、収束または準最適結果の提供に失敗する。
これらの課題を克服するために,正のラベル付き分割学習(SFPL)を提案する。
SFPLは、モデルトレーニングのためにサーバにそれを供給する前に、クライアントから受け取ったスマッシュデータにランダムシャッフル機能を適用する。
さらに、SFPLは推論フェーズ中にクライアント側モデル部分のローカルバッチ正規化を組み込む。
SFPLがSFLより優れていることを示す。
(i)cifar-100データセットのresnet-56およびresnet-32に対する51.54および32.57の係数
(i) それぞれ ResNet-32 と ResNet-8 の 9.23 と 8.52 の因子と CIFAR-10 データセットによる。
本研究は,DCMLにおけるSFPLフレームワークの有効性を裏付けるものである。
関連論文リスト
- Communication Efficient ConFederated Learning: An Event-Triggered SAGA
Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。
単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。
本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文 参考訳(メタデータ) (2024-02-28T03:27:10Z) - FedLPS: Heterogeneous Federated Learning for Multiple Tasks with Local
Parameter Sharing [14.938531944702193]
局所異種共有を用いたフェデレーション学習(FedLPS)を提案する。
FedLPSは転送学習を使用して、ローカルモデルを共有エンコーダとタスク固有のエンコーダに分割することで、複数のタスクをひとつのデバイスにデプロイする。
FedLPSは最先端(SOTA)のFLフレームワークを最大4.88%上回り、計算資源消費量を21.3%減らす。
論文 参考訳(メタデータ) (2024-02-13T16:30:30Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳(メタデータ) (2023-09-04T21:10:45Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-11-20T10:49:22Z) - Stochastic Coded Federated Learning: Theoretical Analysis and Incentive
Mechanism Design [18.675244280002428]
我々は、コード化されたコンピューティング技術を活用する新しいFLフレームワーク、コード付きフェデレーションラーニング(SCFL)を提案する。
SCFLでは、各エッジデバイスがプライバシを保存するコード化されたデータセットをサーバにアップロードする。
SCFLは、与えられた時間内でより良いモデルを学び、ベースライン方式よりも優れたプライバシーとパフォーマンスのトレードオフを実現する。
論文 参考訳(メタデータ) (2022-11-08T09:58:36Z) - Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。
デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。
本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
論文 参考訳(メタデータ) (2022-09-01T03:27:33Z) - SlimFL: Federated Learning with Superposition Coding over Slimmable
Neural Networks [56.68149211499535]
フェデレートラーニング(FL)は、デバイスの分散コンピューティング機能を活用した効率的なコミュニケーションとコンピューティングのための重要な実現手段である。
本稿では、FLと幅調整可能なスリムブルニューラルネットワーク(SNN)を統合した新しい学習フレームワークを提案する。
局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
論文 参考訳(メタデータ) (2022-03-26T15:06:13Z) - Multi-Edge Server-Assisted Dynamic Federated Learning with an Optimized
Floating Aggregation Point [51.47520726446029]
協調エッジ学習(CE-FL)は、分散機械学習アーキテクチャである。
CE-FLの過程をモデル化し,分析訓練を行った。
実世界のテストベッドから収集したデータを用いて,本フレームワークの有効性を示す。
論文 参考訳(メタデータ) (2022-03-26T00:41:57Z) - Splitfed learning without client-side synchronization: Analyzing
client-side split network portion size to overall performance [4.689140226545214]
Federated Learning (FL)、Split Learning (SL)、SplitFed Learning (SFL)は、分散機械学習における最近の3つの発展である。
本稿では,クライアント側モデル同期を必要としないSFLについて検討する。
MNISTテストセットでのMulti-head Split Learningよりも1%-2%の精度しか得られない。
論文 参考訳(メタデータ) (2021-09-19T22:57:23Z) - Ternary Compression for Communication-Efficient Federated Learning [17.97683428517896]
フェデレートされた学習は、プライバシ保護とセキュアな機械学習に対する潜在的なソリューションを提供する。
本稿では,第3次フェデレーション平均化プロトコル(T-FedAvg)を提案する。
その結果,提案したT-FedAvgは通信コストの低減に有効であり,非IIDデータの性能も若干向上できることがわかった。
論文 参考訳(メタデータ) (2020-03-07T11:55:34Z) - Federated Learning with Cooperating Devices: A Consensus Approach for
Massive IoT Networks [8.456633924613456]
分散システムにおける機械学習モデルをトレーニングするための新しいパラダイムとして、フェデレートラーニング(FL)が登場している。
提案するFLアルゴリズムは,ネットワーク内のデータ操作を行うデバイスとの協調を利用して,完全に分散された(あるいはサーバレス)学習手法を提案する。
このアプローチは、分散接続とコンピューティングを特徴とするネットワークを超えて、5G 内で FL を統合するための基盤となる。
論文 参考訳(メタデータ) (2019-12-27T15:16:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。