論文の概要: Apodotiko: Enabling Efficient Serverless Federated Learning in Heterogeneous Environments

• arxiv url: http://arxiv.org/abs/2404.14033v1
• Date: Mon, 22 Apr 2024 09:50:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 14:26:08.622187
• Title: Apodotiko: Enabling Efficient Serverless Federated Learning in Heterogeneous Environments
• Title（参考訳）: Apodotiko: 異種環境における効率的なサーバレスフェデレーション学習の実現
• Authors: Mohak Chadha, Alexander Jensen, Jianfeng Gu, Osama Abboud, Michael Gerndt,
• Abstract要約: Federated Learning(FL)は、分散クライアント間で共有グローバルモデルの協調トレーニングを可能にする、新興の機械学習パラダイムである。 本稿では、サーバレスFL用に設計された新しい非同期トレーニング戦略であるApodotikoを紹介する。 我々の戦略には、各クライアントのハードウェア能力とデータセットサイズを評価して、トレーニングラウンド毎にクライアントをインテリジェントに優先順位付けし、選択するスコアリングメカニズムが組み込まれています。
• 参考スコア（独自算出の注目度）: 40.06788591656159
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) is an emerging machine learning paradigm that enables the collaborative training of a shared global model across distributed clients while keeping the data decentralized. Recent works on designing systems for efficient FL have shown that utilizing serverless computing technologies, particularly Function-as-a-Service (FaaS) for FL, can enhance resource efficiency, reduce training costs, and alleviate the complex infrastructure management burden on data holders. However, current serverless FL systems still suffer from the presence of stragglers, i.e., slow clients that impede the collaborative training process. While strategies aimed at mitigating stragglers in these systems have been proposed, they overlook the diverse hardware resource configurations among FL clients. To this end, we present Apodotiko, a novel asynchronous training strategy designed for serverless FL. Our strategy incorporates a scoring mechanism that evaluates each client's hardware capacity and dataset size to intelligently prioritize and select clients for each training round, thereby minimizing the effects of stragglers on system performance. We comprehensively evaluate Apodotiko across diverse datasets, considering a mix of CPU and GPU clients, and compare its performance against five other FL training strategies. Results from our experiments demonstrate that Apodotiko outperforms other FL training strategies, achieving an average speedup of 2.75x and a maximum speedup of 7.03x. Furthermore, our strategy significantly reduces cold starts by a factor of four on average, demonstrating suitability in serverless environments.
• Abstract（参考訳）: Federated Learning(FL)は、分散クライアント間で共有グローバルモデルの協調トレーニングを可能とし、データを分散化し続ける、新たな機械学習パラダイムである。 FLの効率的な設計システムに関する最近の研究は、サーバーレスコンピューティング技術、特にFLのFunction-as-a-Service(FaaS)を利用することで、リソース効率を向上し、トレーニングコストを削減し、データホルダの複雑なインフラストラクチャ管理負担を軽減することを示している。 しかしながら、現在のサーバレスFLシステムは依然として、トラグラーの存在、すなわち、協調トレーニングプロセスを妨げる遅いクライアントの存在に悩まされている。 これらのシステムにおけるストラグラーの緩和を目的とした戦略が提案されているが、FLクライアント間の多様なハードウェアリソース構成を見落としている。 この目的のために、サーバレスFL用に設計された新しい非同期トレーニング戦略であるApodotikoを紹介します。 我々の戦略は、各クライアントのハードウェア能力とデータセットサイズを評価して、トレーニングラウンド毎にクライアントをインテリジェントに優先順位付けし、選択し、システムパフォーマンスに対するストラグラーの影響を最小限に抑えるためのスコアリング機構を組み込んでいる。 我々は、CPUとGPUクライアントの混在を考慮して、さまざまなデータセットにわたってApodotikoを総合的に評価し、そのパフォーマンスを他の5つのFLトレーニング戦略と比較した。 実験の結果,Apodotikoは他のFLトレーニング戦略よりも優れており,平均速度は2.75倍,最大速度は7.03倍であることがわかった。 さらに、我々の戦略は、サーバーレス環境での適合性を実証し、平均して4倍のコールドスタートを著しく削減します。

関連論文リスト

• Seamless Integration: Sampling Strategies in Federated Learning Systems [0.0]
  フェデレートラーニング(Federated Learning, FL)は、機械学習の分野におけるパラダイムシフトである。 新しいクライアントのシームレスな統合はFLシステムの維持と性能向上に不可欠である。 本稿では,システムのスケーラビリティと安定性を確保するための効果的なクライアント選択戦略とソリューションについて概説する。
  論文  参考訳（メタデータ） (2024-08-18T17:16:49Z)
• Embracing Federated Learning: Enabling Weak Client Participation via Partial Model Training [21.89214794178211]
  フェデレートラーニング(FL)では、クライアントは完全なモデルをトレーニングしたり、メモリ空間に保持することができない弱いデバイスを持っているかもしれない。 我々は、すべての利用可能なクライアントが分散トレーニングに参加することを可能にする、一般的なFLフレームワークであるEnbracingFLを提案する。 実験により,FL の導入は,すべてのクライアントが強力であるように常に高い精度を達成し,最先端の幅削減手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-21T13:19:29Z)
• Training Heterogeneous Client Models using Knowledge Distillation in Serverless Federated Learning [0.5510212613486574]
  Federated Learning(FL)は、分散クライアント間で共有グローバルモデルの協調トレーニングを可能にする、新興の機械学習パラダイムである。 効率的なFLのためのシステム設計に関する最近の研究は、サーバーレスコンピューティング技術を利用することで、リソース効率が向上し、トレーニングコストが削減され、データホルダの複雑なインフラストラクチャ管理負担が軽減されることを示した。
  論文  参考訳（メタデータ） (2024-02-11T20:15:52Z)
• FLrce: Resource-Efficient Federated Learning with Early-Stopping Strategy [7.963276533979389]
  フェデレートラーニング(FL)がIoT(Internet of Things)で大人気 FLrceは、関係ベースのクライアント選択と早期停止戦略を備えた効率的なFLフレームワークである。 その結果,既存のFLフレームワークと比較してFLrceは計算効率を少なくとも30%,通信効率を43%向上させることがわかった。
  論文  参考訳（メタデータ） (2023-10-15T10:13:44Z)
• FedLesScan: Mitigating Stragglers in Serverless Federated Learning [0.7388859384645262]
  Federated Learning(FL)は、分散クライアント間で共有グローバルモデルのトレーニングを可能にする機械学習パラダイムである。 我々は、サーバーレスFLに適したクラスタリングベースの新しい半非同期トレーニング戦略であるFedLesScanを提案する。 FedLesScanはトレーニング時間とコストをそれぞれ平均8%と20%削減し、クライアントの有効更新率は平均17.75%向上した。
  論文  参考訳（メタデータ） (2022-11-10T18:17:41Z)
• FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
  フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。 本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
  論文  参考訳（メタデータ） (2022-10-31T22:59:03Z)
• Improving Privacy-Preserving Vertical Federated Learning by Efficient Communication with ADMM [62.62684911017472]
  フェデレートラーニング(FL)により、デバイスは共有モデルを共同でトレーニングし、トレーニングデータをプライバシ目的でローカルに保つことができる。 マルチヘッド(VIM)を備えたVFLフレームワークを導入し、各クライアントの別々のコントリビューションを考慮に入れます。 VIMは最先端技術に比べて性能が著しく向上し、収束が速い。
  論文  参考訳（メタデータ） (2022-07-20T23:14:33Z)
• Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
  フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。 FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。 本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
  論文  参考訳（メタデータ） (2021-08-12T14:18:05Z)
• A Framework for Energy and Carbon Footprint Analysis of Distributed and Federated Edge Learning [48.63610479916003]
  本稿では,分散学習政策の環境フットプリントに影響を与える要因を概説し,分析する。 バニラとコンセンサスによって駆動される分散FLポリシーの両方をモデル化する。 その結果、flは低ビット/ジュール効率を特徴とするワイヤレスシステムにおいて、顕著なエンドツーエンドの省エネ(30%-40%)が可能となった。
  論文  参考訳（メタデータ） (2021-03-18T16:04:42Z)
• Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation [119.19061102064497]
  ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。 提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。 遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
  論文  参考訳（メタデータ） (2021-01-18T07:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。