論文の概要: End-to-End Evaluation of Federated Learning and Split Learning for
Internet of Things
- arxiv url: http://arxiv.org/abs/2003.13376v2
- Date: Sun, 2 Aug 2020 08:51:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-18 08:47:50.342545
- Title: End-to-End Evaluation of Federated Learning and Split Learning for
Internet of Things
- Title(参考訳): モノのインターネットにおけるフェデレーション学習と分割学習のエンドツーエンド評価
- Authors: Yansong Gao, Minki Kim, Sharif Abuadbba, Yeonjae Kim, Chandra Thapa,
Kyuyeon Kim, Seyit A. Camtepe, Hyoungshick Kim, Surya Nepal
- Abstract要約: この研究は、実世界のIoT設定でフェデレート学習(FL)とスプリットニューラルネットワーク(SplitNN)を評価し比較する最初の試みである。
FLとSplitNNの両方を異なる種類のデータ分散下で実証的に評価する。
不均衡なデータ分布ではSplitNNの学習性能はFLより優れているが,非IIDデータ分布ではFLより劣っていることを示す。
- 参考スコア(独自算出の注目度): 30.47229934329905
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work is the first attempt to evaluate and compare felderated learning
(FL) and split neural networks (SplitNN) in real-world IoT settings in terms of
learning performance and device implementation overhead. We consider a variety
of datasets, different model architectures, multiple clients, and various
performance metrics. For learning performance, which is specified by the model
accuracy and convergence speed metrics, we empirically evaluate both FL and
SplitNN under different types of data distributions such as imbalanced and
non-independent and identically distributed (non-IID) data. We show that the
learning performance of SplitNN is better than FL under an imbalanced data
distribution, but worse than FL under an extreme non-IID data distribution. For
implementation overhead, we end-to-end mount both FL and SplitNN on Raspberry
Pis, and comprehensively evaluate overheads including training time,
communication overhead under the real LAN setting, power consumption and memory
usage. Our key observations are that under IoT scenario where the communication
traffic is the main concern, the FL appears to perform better over SplitNN
because FL has the significantly lower communication overhead compared with
SplitNN, which empirically corroborate previous statistical analysis. In
addition, we reveal several unrecognized limitations about SplitNN, forming the
basis for future research.
- Abstract(参考訳): この研究は、学習パフォーマンスとデバイス実装のオーバーヘッドの観点から、フェデレート学習(FL)とニューラルネットワーク(SplitNN)を現実のIoT設定で評価し比較する最初の試みである。
さまざまなデータセット、さまざまなモデルアーキテクチャ、複数のクライアント、さまざまなパフォーマンスメトリクスを検討します。
モデルの精度と収束速度の指標によって規定される学習性能について,不均衡データや非独立データ,同一分散データ(非IIDデータ)など,異なるタイプのデータ分布下でFLとSplitNNを実証的に評価する。
不均衡なデータ分布ではSplitNNの学習性能はFLより優れているが,非IIDデータ分布ではFLより劣っていることを示す。
実装のオーバヘッドとして,Raspberry Pi上でFLとSplitNNの両方をエンドツーエンドにマウントし,トレーニング時間,実際のLAN設定下での通信オーバヘッド,消費電力,メモリ使用量などのオーバヘッドを総合的に評価する。
我々の重要な観察は、通信トラフィックが主な関心事であるIoTシナリオにおいて、FLは、以前の統計分析を実証的に裏付けるSplitNNに比べて、FLの方が通信オーバヘッドが大幅に低いため、SplitNNよりもパフォーマンスが良いように見えることです。
さらに,SplitNNに関するいくつかの未認識の制限を明らかにし,今後の研究の基盤となる。
関連論文リスト
- FedConv: Enhancing Convolutional Neural Networks for Handling Data
Heterogeneity in Federated Learning [34.37155882617201]
フェデレーション・ラーニング(FL)は機械学習における新たなパラダイムであり、共有モデルは複数のデバイスからのデータを使って協調的に学習される。
活性化関数や正規化層などの異なるアーキテクチャ要素が異種FLの性能に与える影響を系統的に検討する。
以上の結果から,戦略的アーキテクチャ変更により,純粋なCNNは,VTと一致するか,あるいは超えるようなロバスト性を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-10-06T17:57:50Z) - Semi-Federated Learning: Convergence Analysis and Optimization of A
Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。
我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文 参考訳(メタデータ) (2023-10-04T03:32:39Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳(メタデータ) (2023-09-04T21:10:45Z) - Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。
デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。
本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
論文 参考訳(メタデータ) (2022-09-01T03:27:33Z) - SlimFL: Federated Learning with Superposition Coding over Slimmable
Neural Networks [56.68149211499535]
フェデレートラーニング(FL)は、デバイスの分散コンピューティング機能を活用した効率的なコミュニケーションとコンピューティングのための重要な実現手段である。
本稿では、FLと幅調整可能なスリムブルニューラルネットワーク(SNN)を統合した新しい学習フレームワークを提案する。
局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
論文 参考訳(メタデータ) (2022-03-26T15:06:13Z) - Joint Superposition Coding and Training for Federated Learning over
Multi-Width Neural Networks [52.93232352968347]
本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。
FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。
局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
論文 参考訳(メタデータ) (2021-12-05T11:17:17Z) - Splitfed learning without client-side synchronization: Analyzing
client-side split network portion size to overall performance [4.689140226545214]
Federated Learning (FL)、Split Learning (SL)、SplitFed Learning (SFL)は、分散機械学習における最近の3つの発展である。
本稿では,クライアント側モデル同期を必要としないSFLについて検討する。
MNISTテストセットでのMulti-head Split Learningよりも1%-2%の精度しか得られない。
論文 参考訳(メタデータ) (2021-09-19T22:57:23Z) - Communication-Efficient Hierarchical Federated Learning for IoT
Heterogeneous Systems with Imbalanced Data [42.26599494940002]
フェデレートラーニング(Federated Learning, FL)は、複数のノードが協調してディープラーニングモデルをトレーニングできる分散ラーニング方法論である。
本稿では,IoTヘテロジニアスシステムにおける階層FLの可能性について検討する。
複数のエッジノード上でのユーザ割り当てとリソース割り当てに最適化されたソリューションを提案する。
論文 参考訳(メタデータ) (2021-07-14T08:32:39Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳(メタデータ) (2020-09-27T08:28:25Z) - Multi-Task Federated Learning for Personalised Deep Neural Networks in
Edge Computing [23.447883712141422]
Federated Learning(FL)は、モバイルデバイス上でDeep Neural Networks(DNN)を協調的にトレーニングする、新たなアプローチである。
従来の研究では、非独立分散(非IID)ユーザデータがFLアルゴリズムの収束速度を損なうことが示されている。
本稿では,非フェデレーションバッチ-Normalization層をフェデレーションDNNに導入するマルチタスクFL(MTFL)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-07-17T21:11:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。