論文の概要: Evaluation and Optimization of Distributed Machine Learning Techniques for Internet of Things

• arxiv url: http://arxiv.org/abs/2103.02762v1
• Date: Wed, 3 Mar 2021 23:55:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-05 14:43:06.089175
• Title: Evaluation and Optimization of Distributed Machine Learning Techniques for Internet of Things
• Title（参考訳）: モノのインターネットのための分散機械学習技術の評価と最適化
• Authors: Yansong Gao, Minki Kim, Chandra Thapa, Sharif Abuadbba, Zhi Zhang, Seyit A. Camtepe, Hyoungshick Kim, Surya Nepal
• Abstract要約: federated learning (fl) と split learning (sl) は最先端の分散機械学習技術である。 最近のFLとSLは、それぞれの利点を活用するために、分割学習(SFL)を形成するために組み合わせられる。 この作業ではFL、SL、SFLを考慮し、Raspberry Piデバイスにマウントしてパフォーマンスを評価します。
• 参考スコア（独自算出の注目度）: 34.544836653715244
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Federated learning (FL) and split learning (SL) are state-of-the-art distributed machine learning techniques to enable machine learning training without accessing raw data on clients or end devices. However, their \emph{comparative training performance} under real-world resource-restricted Internet of Things (IoT) device settings, e.g., Raspberry Pi, remains barely studied, which, to our knowledge, have not yet been evaluated and compared, rendering inconvenient reference for practitioners. This work firstly provides empirical comparisons of FL and SL in real-world IoT settings regarding (i) learning performance with heterogeneous data distributions and (ii) on-device execution overhead. Our analyses in this work demonstrate that the learning performance of SL is better than FL under an imbalanced data distribution but worse than FL under an extreme non-IID data distribution. Recently, FL and SL are combined to form splitfed learning (SFL) to leverage each of their benefits (e.g., parallel training of FL and lightweight on-device computation requirement of SL). This work then considers FL, SL, and SFL, and mount them on Raspberry Pi devices to evaluate their performance, including training time, communication overhead, power consumption, and memory usage. Besides evaluations, we apply two optimizations. Firstly, we generalize SFL by carefully examining the possibility of a hybrid type of model training at the server-side. The generalized SFL merges sequential (dependent) and parallel (independent) processes of model training and is thus beneficial for a system with large-scaled IoT devices, specifically at the server-side operations. Secondly, we propose pragmatic techniques to substantially reduce the communication overhead by up to four times for the SL and (generalized) SFL.
• Abstract（参考訳）: フェデレーションラーニング(FL)とスプリットラーニング(SL)は、クライアントまたはエンドデバイス上の生データにアクセスすることなく機械学習トレーニングを可能にする最先端の分散機械学習技術です。 しかし、実世界のリソース制限されたIoT(Internet of Things, モノのインターネット)デバイス設定(Raspberry Piなど)における彼らの「emph{比較トレーニングパフォーマンス」は、まだほとんど研究されていない。 この研究は、(i)不均一なデータ分散による学習性能と(ii)デバイス上での実行オーバーヘッドに関する実世界のIoT設定におけるFLとSLの実証的な比較を提供する。 本研究では,不均衡なデータ分布ではSLの学習性能はFLより優れているが,非IIDデータ分布ではFLより劣っていることを示す。 近年、FLとSLは、それぞれの利点(例えば、FLの並列トレーニングとSLの軽量オンデバイス計算要求)を活用するために、分割学習(SFL)を形成している。 この作業では、FL、SL、SFLを考慮し、Raspberry Piデバイスにマウントして、トレーニング時間、通信オーバーヘッド、消費電力、メモリ使用量などのパフォーマンスを評価します。 評価の他に2つの最適化を適用する。 まず,サーバ側でのハイブリッド型モデルトレーニングの可能性を検討することで,SFLを一般化する。 一般化されたSFLは、モデルトレーニングのシーケンシャル(独立)と並列(独立)のプロセスをマージし、大規模IoTデバイス、特にサーバサイド操作のシステムにとって有益である。 第2に,SLと(一般化)SFLの通信オーバーヘッドを最大4倍に削減する実用的手法を提案する。

関連論文リスト

• Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
  Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。 単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。 本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
  論文  参考訳（メタデータ） (2024-02-28T03:27:10Z)
• Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the Ugly [62.473245910234304]
  本稿では,最新のエッジコンピューティングシステムにおいて,Large Language Modelsをどのように導入できるかを,ハードウェア中心のアプローチで検討する。 マイクロレベルのハードウェアベンチマークを行い、FLOPモデルと最先端のデータセンターGPUを比較し、現実的な条件下でのネットワーク利用について検討する。
  論文  参考訳（メタデータ） (2023-10-04T20:27:20Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• Semi-Supervised Federated Learning for Keyword Spotting [15.044022869136262]
  キーワードスポッティング(KWS)は、モバイルデバイスや仮想アシスタントにおける音声ベースのアプリケーションにおいて重要な側面である。 フェデレートラーニング(FL)の最近の進歩は、機械学習モデルをトレーニングする能力を著しく拡大している。
  論文  参考訳（メタデータ） (2023-05-09T00:46:12Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• TorchFL: A Performant Library for Bootstrapping Federated Learning Experiments [4.075095403704456]
  本稿では,フェデレート学習実験をブートストラップするパフォーマンスライブラリTorchFLを紹介する。 TorchFLはPyTorchとLightningを使ってボトムアップで設計されている。 PyTorchとLightningを使用したボトムアップ設計に基づいて構築されたTorchFLは、モデル、データセット、FLアルゴリズムのための準備の整った抽象化を提供する。
  論文  参考訳（メタデータ） (2022-11-01T20:31:55Z)
• Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
  ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。 デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。 本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
  論文  参考訳（メタデータ） (2022-09-01T03:27:33Z)
• ZeroFL: Efficient On-Device Training for Federated Learning with Local Sparsity [15.908499928588297]
  フェデレートラーニング(FL)では、ノードは従来のサーバグレードのハードウェアよりも桁違いに制約を受ける。 我々は、デバイス上でのトレーニングを加速するために、高度にスパースな操作に依存するZeroFLを提案する。
  論文  参考訳（メタデータ） (2022-08-04T07:37:07Z)
• Splitfed learning without client-side synchronization: Analyzing client-side split network portion size to overall performance [4.689140226545214]
  Federated Learning (FL)、Split Learning (SL)、SplitFed Learning (SFL)は、分散機械学習における最近の3つの発展である。 本稿では,クライアント側モデル同期を必要としないSFLについて検討する。 MNISTテストセットでのMulti-head Split Learningよりも1%-2%の精度しか得られない。
  論文  参考訳（メタデータ） (2021-09-19T22:57:23Z)
• Wireless Communications for Collaborative Federated Learning [160.82696473996566]
  IoT(Internet of Things)デバイスは、収集したデータを中央のコントローラに送信することができず、機械学習モデルをトレーニングすることができる。 GoogleのセミナルFLアルゴリズムでは、すべてのデバイスを中央コントローラに直接接続する必要がある。 本稿では,コラボレーティブFL(CFL)と呼ばれる新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-03T20:00:02Z)
• SplitFed: When Federated Learning Meets Split Learning [16.212941272007285]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は2つの人気のある分散機械学習アプローチである。 本稿では,2つのアプローチを両立させるスプリットフッドラーニング(SFL)という新しいアプローチを提案する。 SFLは、SLと同等のテスト精度と通信効率を提供すると同時に、複数のクライアントに対するSLよりも、グローバルエポックあたりの計算時間を著しく削減する。
  論文  参考訳（メタデータ） (2020-04-25T08:52:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。