論文の概要: ZeroFL: Efficient On-Device Training for Federated Learning with Local Sparsity

• arxiv url: http://arxiv.org/abs/2208.02507v1
• Date: Thu, 4 Aug 2022 07:37:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-05 13:02:34.727593
• Title: ZeroFL: Efficient On-Device Training for Federated Learning with Local Sparsity
• Title（参考訳）: ZeroFL: ローカルに分散したフェデレーションラーニングのための効率的なオンデバイストレーニング
• Authors: Xinchi Qiu, Javier Fernandez-Marques, Pedro PB Gusmao, Yan Gao, Titouan Parcollet, Nicholas Donald Lane
• Abstract要約: フェデレートラーニング(FL)では、ノードは従来のサーバグレードのハードウェアよりも桁違いに制約を受ける。 我々は、デバイス上でのトレーニングを加速するために、高度にスパースな操作に依存するZeroFLを提案する。
• 参考スコア（独自算出の注目度）: 15.908499928588297
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When the available hardware cannot meet the memory and compute requirements to efficiently train high performing machine learning models, a compromise in either the training quality or the model complexity is needed. In Federated Learning (FL), nodes are orders of magnitude more constrained than traditional server-grade hardware and are often battery powered, severely limiting the sophistication of models that can be trained under this paradigm. While most research has focused on designing better aggregation strategies to improve convergence rates and in alleviating the communication costs of FL, fewer efforts have been devoted to accelerating on-device training. Such stage, which repeats hundreds of times (i.e. every round) and can involve thousands of devices, accounts for the majority of the time required to train federated models and, the totality of the energy consumption at the client side. In this work, we present the first study on the unique aspects that arise when introducing sparsity at training time in FL workloads. We then propose ZeroFL, a framework that relies on highly sparse operations to accelerate on-device training. Models trained with ZeroFL and 95% sparsity achieve up to 2.3% higher accuracy compared to competitive baselines obtained from adapting a state-of-the-art sparse training framework to the FL setting.
• Abstract（参考訳）: 利用可能なハードウェアが、高性能な機械学習モデルを効率的にトレーニングするためのメモリと計算の要求を満たせない場合、トレーニング品質とモデルの複雑さのいずれにも妥協が必要となる。 フェデレートラーニング(FL)では、ノードは従来のサーバグレードのハードウェアよりも桁違いに制約を受けており、しばしばバッテリ駆動であり、このパラダイムの下でトレーニングできるモデルの高度化を著しく制限します。 多くの研究は、収束率を改善するためのより良い集約戦略を設計し、FLの通信コストを軽減することに重点を置いているが、デバイス上でのトレーニングを加速する努力は少ない。 このようなステージは、数百回(つまり、毎ラウンド)繰り返し、数千のデバイスを含む可能性があるが、フェデレーションモデルのトレーニングに要する時間の大部分と、クライアント側のエネルギー消費量の合計を担っている。 本稿では,flワークロードのトレーニング時にスパーシティを導入する際に生じる特異な側面について,最初の研究を行う。 そして、デバイス上でのトレーニングを加速するために、高度にスパースな操作に依存するZeroFLを提案する。 ZeroFLと95%の間隔でトレーニングされたモデルは、最先端のスパーストレーニングフレームワークをFL設定に適用することによって得られる競争ベースラインと比較して最大2.3%の精度を達成する。

関連論文リスト

• Embracing Federated Learning: Enabling Weak Client Participation via Partial Model Training [21.89214794178211]
  フェデレートラーニング(FL)では、クライアントは完全なモデルをトレーニングしたり、メモリ空間に保持することができない弱いデバイスを持っているかもしれない。 我々は、すべての利用可能なクライアントが分散トレーニングに参加することを可能にする、一般的なFLフレームワークであるEnbracingFLを提案する。 実験により,FL の導入は,すべてのクライアントが強力であるように常に高い精度を達成し,最先端の幅削減手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-21T13:19:29Z)
• Efficient Asynchronous Federated Learning with Sparsification and Quantization [55.6801207905772]
  フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。 FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。 TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
  論文  参考訳（メタデータ） (2023-12-23T07:47:07Z)
• Speed Up Federated Learning in Heterogeneous Environment: A Dynamic Tiering Approach [5.504000607257414]
  フェデレートラーニング(FL)は、トレーニングデータを分散化してプライベートにしながら、モデルを協調的にトレーニングすることを可能にする。 FLを用いたモデルのトレーニングにおける重要な障害の1つは、様々なタスクサイズだけでなく、不均一な計算と通信能力を持つデバイスのリソース制約である。 本稿では、動的タイリングに基づくフェデレート学習(DTFL)システムを提案する。このシステムでは、遅いクライアントがモデルの一部を動的にサーバにオフロードし、リソース制約を緩和し、トレーニングを高速化する。
  論文  参考訳（メタデータ） (2023-12-09T19:09:19Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• TimelyFL: Heterogeneity-aware Asynchronous Federated Learning with Adaptive Partial Training [17.84692242938424]
  TimelyFLは、適応的な部分的トレーニングを備えた、異種対応の非同期フェデレートラーニングフレームワークである。 我々は、TimelyFLが参加率を21.13%改善し、収束率を1.28倍から2.89倍向上させ、テスト精度を6.25%向上させることを示した。
  論文  参考訳（メタデータ） (2023-04-14T06:26:08Z)
• Hierarchical Personalized Federated Learning Over Massive Mobile Edge Computing Networks [95.39148209543175]
  大規模MECネットワーク上でPFLをデプロイするアルゴリズムである階層型PFL(HPFL)を提案する。 HPFLは、最適帯域割り当てを共同で決定しながら、トレーニング損失最小化とラウンドレイテンシ最小化の目的を組み合わせる。
  論文  参考訳（メタデータ） (2023-03-19T06:00:05Z)
• Conquering the Communication Constraints to Enable Large Pre-Trained Models in Federated Learning [18.12162136918301]
  フェデレートラーニング(FL)は、ローカルデバイス上の生データに一元的にアクセスすることなく、モデルの協調的なトレーニングを可能にするための、有望なパラダイムとして登場した。 最近の最先端の事前訓練モデルでは、より能力が高くなっているが、パラメータも増えている。 FLにおけるこれらの強力で容易に利用できる事前学習モデルが、通信負荷を同時に軽減しつつ優れた性能を達成するためのソリューションを見つけることができるだろうか? 具体的には,FedPEFTの性能を,クライアントの安定性,データ分散,プライバシ設定の違いによって体系的に評価する。
  論文  参考訳（メタデータ） (2022-10-04T16:08:54Z)
• Federated Dynamic Sparse Training: Computing Less, Communicating Less, Yet Learning Better [88.28293442298015]
  Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。 我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。 FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
  論文  参考訳（メタデータ） (2021-12-18T02:26:38Z)
• Efficient Device Scheduling with Multi-Job Federated Learning [64.21733164243781]
  本稿では,複数のジョブの並列学習プロセスを実現するための,新しいマルチジョブフェデレーション学習フレームワークを提案する。 コストを最小化しつつ、複数のジョブに対してデバイスをスケジュールする強化学習法とベイズ最適化法を提案する。 提案手法は,トレーニング時間(最大8.67倍高速)と精度(最大44.6%高)において,ベースラインアプローチよりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-12-11T08:05:11Z)
• Evaluation and Optimization of Distributed Machine Learning Techniques for Internet of Things [34.544836653715244]
  federated learning (fl) と split learning (sl) は最先端の分散機械学習技術である。 最近のFLとSLは、それぞれの利点を活用するために、分割学習(SFL)を形成するために組み合わせられる。 この作業ではFL、SL、SFLを考慮し、Raspberry Piデバイスにマウントしてパフォーマンスを評価します。
  論文  参考訳（メタデータ） (2021-03-03T23:55:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。