論文の概要: How Much Does It Cost to Train a Machine Learning Model over Distributed Data Sources?

• arxiv url: http://arxiv.org/abs/2209.07124v1
• Date: Thu, 15 Sep 2022 08:13:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-16 13:09:34.225085
• Title: How Much Does It Cost to Train a Machine Learning Model over Distributed Data Sources?
• Title（参考訳）: 分散データソース上でマシンラーニングモデルをトレーニングする費用はどの程度か?
• Authors: Elia Guerra, Francesc Wilhelmi, Marco Miozzo, Paolo Dini
• Abstract要約: フェデレーション学習は、デバイスが生データを共有せずに機械学習モデルをトレーニングすることを可能にする。 ゴシップフェデレーションラーニング(GFL)やブロックチェーン対応フェデレーションラーニング(BFL)のようなサーバーレスFLアプローチは、これらの問題を緩和するために提案されている。 GFLはトレーニング時間の18%、エネルギーの68%、データをCFLソリューションで共有する51%を節約できるが、CFLの精度に達することはできない。 BFLは、余分なエネルギー使用とデータ共有を犠牲にして、より高いレベルのセキュリティで分散学習を実装するための実行可能なソリューションである。
• 参考スコア（独自算出の注目度）: 4.222078489059043
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) is one of the most appealing alternatives to the standard centralized learning paradigm, allowing heterogeneous set of devices to train a machine learning model without sharing their raw data. However, FL requires a central server to coordinate the learning process, thus introducing potential scalability and security issues. In the literature, server-less FL approaches like gossip federated learning (GFL) and blockchain-enabled federated learning (BFL) have been proposed to mitigate these issues. In this work, we propose a complete overview of these three techniques proposing a comparison according to an integral set of performance indicators, including model accuracy, time complexity, communication overhead, convergence time and energy consumption. An extensive simulation campaign permits to draw a quantitative analysis. In particular, GFL is able to save the 18% of training time, the 68% of energy and the 51% of data to be shared with respect to the CFL solution, but it is not able to reach the level of accuracy of CFL. On the other hand, BFL represents a viable solution for implementing decentralized learning with a higher level of security, at the cost of an extra energy usage and data sharing. Finally, we identify open issues on the two decentralized federated learning implementations and provide insights on potential extensions and possible research directions on this new research field.
• Abstract（参考訳）: フェデレーション学習(federated learning、fl)は、標準的な集中型学習パラダイムの最も魅力的な選択肢の1つであり、ヘテロジニアスなデバイスセットが、生のデータを共有することなく機械学習モデルをトレーニングできる。 しかし、flは学習プロセスを調整するために中央サーバを必要とするため、潜在的なスケーラビリティとセキュリティの問題を引き起こす。 文献では,これらの問題を解決するために,gossipフェデレーション学習(gfl)やブロックチェーン対応フェデレーション学習(bfl)といったサーバレスflアプローチが提案されている。 本研究では, モデル精度, 時間複雑性, 通信オーバーヘッド, 収束時間, エネルギー消費など, 性能指標の積分集合による比較を提案する3つの手法の完全な概要を提案する。 広範なシミュレーションキャンペーンでは、定量的分析が可能である。 特に、GFLはトレーニング時間の18%、エネルギーの68%、データの51%をCFLソリューションで共有することができるが、CFLの精度レベルに達することはできない。 一方で、bflは、余分なエネルギー使用とデータ共有のコストを犠牲にして、より高いセキュリティレベルで分散学習を実装するための実行可能なソリューションである。 最後に,2つの分散連合学習実装に関するオープンイシューを特定し,この新たな研究分野における潜在的拡張と可能性研究の方向性について考察する。

関連論文リスト

• Decentralized Personalized Federated Learning based on a Conditional Sparse-to-Sparser Scheme [5.5058010121503]
  分散連邦学習(DFL)は、その堅牢性と集中的調整の回避によって人気を博している。 本稿では, DA-DPFL という新しいテクスチャパース・ツー・スパーサー・トレーニング手法を提案する。 実験の結果, DA-DPFLはDFLのベースラインの精度を大幅に上回り, エネルギーコストの最大5ドル削減を実現していることがわかった。
  論文  参考訳（メタデータ） (2024-04-24T16:03:34Z)
• Enhancing Trust and Privacy in Distributed Networks: A Comprehensive Survey on Blockchain-based Federated Learning [51.13534069758711]
  ブロックチェーンのような分散型アプローチは、複数のエンティティ間でコンセンサスメカニズムを実装することで、魅力的なソリューションを提供する。 フェデレートラーニング(FL)は、参加者がデータのプライバシを保護しながら、協力的にモデルをトレーニングすることを可能にする。 本稿では,ブロックチェーンのセキュリティ機能とFLのプライバシ保護モデルトレーニング機能の相乗効果について検討する。
  論文  参考訳（メタデータ） (2024-03-28T07:08:26Z)
• Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
  Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。 単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。 本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
  論文  参考訳（メタデータ） (2024-02-28T03:27:10Z)
• Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the Ugly [62.473245910234304]
  本稿では,最新のエッジコンピューティングシステムにおいて,Large Language Modelsをどのように導入できるかを,ハードウェア中心のアプローチで検討する。 マイクロレベルのハードウェアベンチマークを行い、FLOPモデルと最先端のデータセンターGPUを比較し、現実的な条件下でのネットワーク利用について検討する。
  論文  参考訳（メタデータ） (2023-10-04T20:27:20Z)
• DeFL: Decentralized Weight Aggregation for Cross-silo Federated Learning [2.43923223501858]
  フェデレートラーニング(FL)は、プライバシ保護機械学習(ML)の新たなパラダイムである。 クロスサイロFLのための分散重み集約フレームワークであるDeFLを提案する。 DeFLは各ノードの重みを集約することで中央サーバを排除し、現在のトレーニングラウンドのみの重みはすべてのノード間で維持および同期される。
  論文  参考訳（メタデータ） (2022-08-01T13:36:49Z)
• A Framework for Energy and Carbon Footprint Analysis of Distributed and Federated Edge Learning [48.63610479916003]
  本稿では,分散学習政策の環境フットプリントに影響を与える要因を概説し,分析する。 バニラとコンセンサスによって駆動される分散FLポリシーの両方をモデル化する。 その結果、flは低ビット/ジュール効率を特徴とするワイヤレスシステムにおいて、顕著なエンドツーエンドの省エネ(30%-40%)が可能となった。
  論文  参考訳（メタデータ） (2021-03-18T16:04:42Z)
• Wireless Communications for Collaborative Federated Learning [160.82696473996566]
  IoT(Internet of Things)デバイスは、収集したデータを中央のコントローラに送信することができず、機械学習モデルをトレーニングすることができる。 GoogleのセミナルFLアルゴリズムでは、すべてのデバイスを中央コントローラに直接接続する必要がある。 本稿では,コラボレーティブFL(CFL)と呼ばれる新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-03T20:00:02Z)
• Resource Management for Blockchain-enabled Federated Learning: A Deep Reinforcement Learning Approach [54.29213445674221]
  Federated Learning (BFL)は、機械学習モデル所有者(MLMO)が必要とするニューラルネットワークモデルを、モバイルデバイスが協調的にトレーニングすることを可能にする。 BFLの問題は、モバイルデバイスがシステムの寿命とトレーニング効率を低下させるエネルギーとCPUの制約を持っていることである。 我々は,Deep Reinforcement Learning (DRL) を用いて最適決定を導出することを提案する。
  論文  参考訳（メタデータ） (2020-04-08T16:29:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。