論文の概要: LIFL: A Lightweight, Event-driven Serverless Platform for Federated Learning

• arxiv url: http://arxiv.org/abs/2405.10968v1
• Date: Sun, 5 May 2024 23:04:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 03:17:55.454448
• Title: LIFL: A Lightweight, Event-driven Serverless Platform for Federated Learning
• Title（参考訳）: LIFL: フェデレーションラーニングのための軽量でイベント駆動のサーバレスプラットフォーム
• Authors: Shixiong Qi, K. K. Ramakrishnan, Myungjin Lee,
• Abstract要約: フェデレートラーニング(FL)は通常、個々のユーザデバイス/サーバのトレーニングモデルをローカルに配置した大規模分散システムを伴い、信頼された中央サーバ上でモデル更新を集約する。 FLの既存のシステムは、しばしばモデルアグリゲーションに常時オンのサーバーを使用するが、資源利用の面では非効率である。 本稿では,大規模で効率的なFLアグリゲーションを実現するための,きめ細かいリソース管理機能を備えた軽量で柔軟なサーバレスクラウドプラットフォームLIFLを提案する。
• 参考スコア（独自算出の注目度）: 3.290817968509798
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Federated Learning (FL) typically involves a large-scale, distributed system with individual user devices/servers training models locally and then aggregating their model updates on a trusted central server. Existing systems for FL often use an always-on server for model aggregation, which can be inefficient in terms of resource utilization. They may also be inelastic in their resource management. This is particularly exacerbated when aggregating model updates at scale in a highly dynamic environment with varying numbers of heterogeneous user devices/servers. We present LIFL, a lightweight and elastic serverless cloud platform with fine-grained resource management for efficient FL aggregation at scale. LIFL is enhanced by a streamlined, event-driven serverless design that eliminates the individual heavy-weight message broker and replaces inefficient container-based sidecars with lightweight eBPF-based proxies. We leverage shared memory processing to achieve high-performance communication for hierarchical aggregation, which is commonly adopted to speed up FL aggregation at scale. We further introduce locality-aware placement in LIFL to maximize the benefits of shared memory processing. LIFL precisely scales and carefully reuses the resources for hierarchical aggregation to achieve the highest degree of parallelism while minimizing the aggregation time and resource consumption. Our experimental results show that LIFL achieves significant improvement in resource efficiency and aggregation speed for supporting FL at scale, compared to existing serverful and serverless FL systems.
• Abstract（参考訳）: フェデレートラーニング(FL)は通常、個々のユーザデバイス/サーバのトレーニングモデルをローカルに配置した大規模分散システムを伴い、信頼された中央サーバ上でモデル更新を集約する。 FLの既存のシステムは、しばしばモデルアグリゲーションに常時オンのサーバーを使用するが、資源利用の面では非効率である。 また、資源管理にも非弾性である可能性がある。 これは、多数の異種ユーザデバイス/サーバを持つ非常にダイナミックな環境で、モデルが大規模に更新されると、特に悪化する。 本稿では,大規模で効率的なFLアグリゲーションを実現するための,きめ細かいリソース管理機能を備えた軽量で柔軟なサーバレスクラウドプラットフォームLIFLを提案する。 LIFLは、個々のヘビーウェイトメッセージブローカを排除し、非効率なコンテナベースのサイドカーを軽量なEBPFベースのプロキシに置き換える、合理化されたイベント駆動のサーバレス設計によって強化されている。 FLアグリゲーションを高速化するために一般的に用いられる階層的アグリゲーションのための高性能な通信を実現するために,共有メモリ処理を利用する。 さらに、共有メモリ処理の利点を最大化するために、LIFLの局所性を考慮した配置を導入する。 LIFLは、階層的なアグリゲーションのためのリソースを正確にスケールし、注意深く再利用し、アグリゲーション時間とリソース消費を最小限にしつつ、最も高い並列性を達成する。 実験の結果,LIFLは既存のサーバフルおよびサーバーレスのFLシステムと比較して,FLを大規模にサポートするための資源効率と集約速度を大幅に向上することがわかった。

関連論文リスト

• Delayed Random Partial Gradient Averaging for Federated Learning [2.9914612342004503]
  我々は、フェデレートラーニング(FL)を強化するために、遅延ランダム部分勾配平均化(DPGA)を提案する。 DPGAでは、クライアントはサーバと部分的なローカルモデル勾配しか共有しないが、ローカルモデルにおける共有部分のサイズは更新率によって決定される。
  論文  参考訳（メタデータ） (2024-12-28T03:14:27Z)
• Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
  Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。 単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。 本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
  論文  参考訳（メタデータ） (2024-02-28T03:27:10Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Hierarchical Personalized Federated Learning Over Massive Mobile Edge Computing Networks [95.39148209543175]
  大規模MECネットワーク上でPFLをデプロイするアルゴリズムである階層型PFL(HPFL)を提案する。 HPFLは、最適帯域割り当てを共同で決定しながら、トレーニング損失最小化とラウンドレイテンシ最小化の目的を組み合わせる。
  論文  参考訳（メタデータ） (2023-03-19T06:00:05Z)
• Scheduling and Aggregation Design for Asynchronous Federated Learning over Wireless Networks [56.91063444859008]
  Federated Learning(FL)は、デバイス上でのトレーニングとサーバベースのアグリゲーションを組み合わせた、協調的な機械学習フレームワークである。 FLシステムにおけるストラグラー問題に対処するために,周期的アグリゲーションを用いた非同期FL設計を提案する。 年齢認識の集約重み付け設計は,非同期FL設定における学習性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-14T17:33:01Z)
• FedLesScan: Mitigating Stragglers in Serverless Federated Learning [0.7388859384645262]
  Federated Learning(FL)は、分散クライアント間で共有グローバルモデルのトレーニングを可能にする機械学習パラダイムである。 我々は、サーバーレスFLに適したクラスタリングベースの新しい半非同期トレーニング戦略であるFedLesScanを提案する。 FedLesScanはトレーニング時間とコストをそれぞれ平均8%と20%削減し、クライアントの有効更新率は平均17.75%向上した。
  論文  参考訳（メタデータ） (2022-11-10T18:17:41Z)
• Over-The-Air Clustered Wireless Federated Learning [2.2530496464901106]
  クライアントがパラメータ更新を同時にサーバに送信できるので、Over-the-air (OTA) FLが好ましい。 強力なサーバがなければ、クライアントが隣人と通信してコンセンサスMLモデルを取得する分散戦略が採用される。 本稿では,OTA半分散クラスタリング無線FL(CWFL)とCWFL-Proxアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-11-07T08:34:35Z)
• Multi-Edge Server-Assisted Dynamic Federated Learning with an Optimized Floating Aggregation Point [51.47520726446029]
  協調エッジ学習(CE-FL)は、分散機械学習アーキテクチャである。 CE-FLの過程をモデル化し,分析訓練を行った。 実世界のテストベッドから収集したデータを用いて,本フレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2022-03-26T00:41:57Z)
• Device Scheduling and Update Aggregation Policies for Asynchronous Federated Learning [72.78668894576515]
  Federated Learning (FL)は、新しく登場した分散機械学習(ML)フレームワークである。 本稿では,FLシステムにおけるトラグラー問題を排除するために,周期的なアグリゲーションを伴う非同期FLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-23T18:57:08Z)
• Evaluation and Optimization of Distributed Machine Learning Techniques for Internet of Things [34.544836653715244]
  federated learning (fl) と split learning (sl) は最先端の分散機械学習技術である。 最近のFLとSLは、それぞれの利点を活用するために、分割学習(SFL)を形成するために組み合わせられる。 この作業ではFL、SL、SFLを考慮し、Raspberry Piデバイスにマウントしてパフォーマンスを評価します。
  論文  参考訳（メタデータ） (2021-03-03T23:55:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。