論文の概要: End-to-End Evaluation of Federated Learning and Split Learning for
Internet of Things
- arxiv url: http://arxiv.org/abs/2003.13376v2
- Date: Sun, 2 Aug 2020 08:51:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-18 08:47:50.342545
- Title: End-to-End Evaluation of Federated Learning and Split Learning for
Internet of Things
- Title（参考訳）: モノのインターネットにおけるフェデレーション学習と分割学習のエンドツーエンド評価
- Authors: Yansong Gao, Minki Kim, Sharif Abuadbba, Yeonjae Kim, Chandra Thapa,
Kyuyeon Kim, Seyit A. Camtepe, Hyoungshick Kim, Surya Nepal
- Abstract要約: この研究は、実世界のIoT設定でフェデレート学習(FL)とスプリットニューラルネットワーク(SplitNN)を評価し比較する最初の試みである。
FLとSplitNNの両方を異なる種類のデータ分散下で実証的に評価する。
不均衡なデータ分布ではSplitNNの学習性能はFLより優れているが,非IIDデータ分布ではFLより劣っていることを示す。
- 参考スコア（独自算出の注目度）: 30.47229934329905
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work is the first attempt to evaluate and compare felderated learning
(FL) and split neural networks (SplitNN) in real-world IoT settings in terms of
learning performance and device implementation overhead. We consider a variety
of datasets, different model architectures, multiple clients, and various
performance metrics. For learning performance, which is specified by the model
accuracy and convergence speed metrics, we empirically evaluate both FL and
SplitNN under different types of data distributions such as imbalanced and
non-independent and identically distributed (non-IID) data. We show that the
learning performance of SplitNN is better than FL under an imbalanced data
distribution, but worse than FL under an extreme non-IID data distribution. For
implementation overhead, we end-to-end mount both FL and SplitNN on Raspberry
Pis, and comprehensively evaluate overheads including training time,
communication overhead under the real LAN setting, power consumption and memory
usage. Our key observations are that under IoT scenario where the communication
traffic is the main concern, the FL appears to perform better over SplitNN
because FL has the significantly lower communication overhead compared with
SplitNN, which empirically corroborate previous statistical analysis. In
addition, we reveal several unrecognized limitations about SplitNN, forming the
basis for future research.
- Abstract（参考訳）: この研究は、学習パフォーマンスとデバイス実装のオーバーヘッドの観点から、フェデレート学習(FL)とニューラルネットワーク(SplitNN)を現実のIoT設定で評価し比較する最初の試みである。
さまざまなデータセット、さまざまなモデルアーキテクチャ、複数のクライアント、さまざまなパフォーマンスメトリクスを検討します。
モデルの精度と収束速度の指標によって規定される学習性能について,不均衡データや非独立データ,同一分散データ(非IIDデータ)など,異なるタイプのデータ分布下でFLとSplitNNを実証的に評価する。
不均衡なデータ分布ではSplitNNの学習性能はFLより優れているが,非IIDデータ分布ではFLより劣っていることを示す。
実装のオーバヘッドとして,Raspberry Pi上でFLとSplitNNの両方をエンドツーエンドにマウントし,トレーニング時間,実際のLAN設定下での通信オーバヘッド,消費電力,メモリ使用量などのオーバヘッドを総合的に評価する。
我々の重要な観察は、通信トラフィックが主な関心事であるIoTシナリオにおいて、FLは、以前の統計分析を実証的に裏付けるSplitNNに比べて、FLの方が通信オーバヘッドが大幅に低いため、SplitNNよりもパフォーマンスが良いように見えることです。
さらに,SplitNNに関するいくつかの未認識の制限を明らかにし,今後の研究の基盤となる。
関連論文リスト
- Enhancing Federated Learning Convergence with Dynamic Data Queue and Data Entropy-driven Participant Selection [13.825031686864559]
Federated Learning(FL)は、エッジデバイス上でのコラボレーティブモデルトレーニングのための分散アプローチである。
本稿では,サーバ上のデータのグローバルサブセットを作成し,デバイス間で動的に分散することにより,FLの収束を改善する手法を提案する。
提案手法により,MNISTデータセットでは約5%,CIFAR-10では約18%,CIFAR-100では約20%の精度向上を実現した。
論文 参考訳（メタデータ） (2024-10-23T11:47:04Z) - Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。
局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
論文 参考訳（メタデータ） (2024-09-05T19:00:18Z) - A Universal Metric of Dataset Similarity for Cross-silo Federated Learning [0.0]
フェデレートラーニングは、データ共有なしにモデルトレーニングを容易にするために、医療などの分野でますます使われている。
本稿では,データセットの類似性を評価するための新しい指標を提案する。
本稿では,我々の測定値がモデル性能と堅牢かつ解釈可能な関係を示し,プライバシ保護方式で計算可能であることを示す。
論文 参考訳（メタデータ） (2024-04-29T15:08:24Z) - FedConv: Enhancing Convolutional Neural Networks for Handling Data
Heterogeneity in Federated Learning [34.37155882617201]
フェデレーション・ラーニング(FL)は機械学習における新たなパラダイムであり、共有モデルは複数のデバイスからのデータを使って協調的に学習される。
活性化関数や正規化層などの異なるアーキテクチャ要素が異種FLの性能に与える影響を系統的に検討する。
以上の結果から,戦略的アーキテクチャ変更により,純粋なCNNは,VTと一致するか,あるいは超えるようなロバスト性を達成できることが示唆された。
論文 参考訳（メタデータ） (2023-10-06T17:57:50Z) - Semi-Federated Learning: Convergence Analysis and Optimization of A
Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。
我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文 参考訳（メタデータ） (2023-10-04T03:32:39Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - Enhancing Efficiency in Multidevice Federated Learning through Data Selection [11.67484476827617]
マルチデバイス環境におけるフェデレーション学習(FL)は、膨大な量のプライベートデータから学習する新たな機会を生み出す。
本稿では、デバイス上のデータ選択を制約されたデバイスに組み込むためのFLフレームワークを開発する。
我々のフレームワークは,実装戦略のないベースラインFLと比較して,19%の精度,58%のレイテンシを実現している。
論文 参考訳（メタデータ） (2022-11-08T11:39:17Z) - Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。
デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。
本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
論文 参考訳（メタデータ） (2022-09-01T03:27:33Z) - SlimFL: Federated Learning with Superposition Coding over Slimmable
Neural Networks [56.68149211499535]
フェデレートラーニング(FL)は、デバイスの分散コンピューティング機能を活用した効率的なコミュニケーションとコンピューティングのための重要な実現手段である。
本稿では、FLと幅調整可能なスリムブルニューラルネットワーク(SNN)を統合した新しい学習フレームワークを提案する。
局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
論文 参考訳（メタデータ） (2022-03-26T15:06:13Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳（メタデータ） (2020-09-27T08:28:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。