論文の概要: FedLesScan: Mitigating Stragglers in Serverless Federated Learning
- arxiv url: http://arxiv.org/abs/2211.05739v1
- Date: Thu, 10 Nov 2022 18:17:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-11 16:25:56.102035
- Title: FedLesScan: Mitigating Stragglers in Serverless Federated Learning
- Title（参考訳）: FedLesScan: サーバレスフェデレーション学習におけるストラグラーの緩和
- Authors: Mohamed Elzohairy, Mohak Chadha, Anshul Jindal, Andreas Grafberger,
Jianfeng Gu, Michael Gerndt, Osama Abboud
- Abstract要約: Federated Learning(FL)は、分散クライアント間で共有グローバルモデルのトレーニングを可能にする機械学習パラダイムである。
我々は、サーバーレスFLに適したクラスタリングベースの新しい半非同期トレーニング戦略であるFedLesScanを提案する。
FedLesScanはトレーニング時間とコストをそれぞれ平均8%と20%削減し、クライアントの有効更新率は平均17.75%向上した。
- 参考スコア（独自算出の注目度）: 0.7388859384645262
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) is a machine learning paradigm that enables the
training of a shared global model across distributed clients while keeping the
training data local. While most prior work on designing systems for FL has
focused on using stateful always running components, recent work has shown that
components in an FL system can greatly benefit from the usage of serverless
computing and Function-as-a-Service technologies. To this end, distributed
training of models with severless FL systems can be more resource-efficient and
cheaper than conventional FL systems. However, serverless FL systems still
suffer from the presence of stragglers, i.e., slow clients due to their
resource and statistical heterogeneity. While several strategies have been
proposed for mitigating stragglers in FL, most methodologies do not account for
the particular characteristics of serverless environments, i.e., cold-starts,
performance variations, and the ephemeral stateless nature of the function
instances. Towards this, we propose FedLesScan, a novel clustering-based
semi-asynchronous training strategy, specifically tailored for serverless FL.
FedLesScan dynamically adapts to the behaviour of clients and minimizes the
effect of stragglers on the overall system. We implement our strategy by
extending an open-source serverless FL system called FedLess. Moreover, we
comprehensively evaluate our strategy using the 2nd generation Google Cloud
Functions with four datasets and varying percentages of stragglers. Results
from our experiments show that compared to other approaches FedLesScan reduces
training time and cost by an average of 8% and 20% respectively while utilizing
clients better with an average increase in the effective update ratio of
17.75%.
- Abstract（参考訳）: Federated Learning(FL)は、トレーニングデータをローカルに保ちながら、分散クライアント間で共有グローバルモデルのトレーニングを可能にする機械学習パラダイムである。
FLのシステム設計に関するこれまでの作業は、常に動作するステートフルなコンポーネントの使用に重点を置いていたが、最近の研究によると、FLシステムのコンポーネントは、サーバレスコンピューティングとファンクション・アズ・ア・サービス技術を使用することで大きな恩恵を受けることができる。
この目的のために、severless flシステムを持つモデルの分散トレーニングは、従来のflシステムよりもリソース効率が高く、安価である。
しかし、サーバーレスFLシステムは依然としてストラグラーの存在、すなわちリソースと統計的不均一性のために遅いクライアントの存在に悩まされている。
flでストラグラーを緩和するためのいくつかの戦略が提案されているが、ほとんどの方法論はサーバーレス環境の特定の特性、すなわちコールドスタート、パフォーマンスのバリエーション、関数インスタンスの一時的なステートレスな性質を考慮しない。
そこで我々は、新しいクラスタリングベースの半非同期トレーニング戦略であるFedLesScanを提案する。
FedLesScanは、クライアントの振る舞いに動的に適応し、システム全体に対するストラグラーの影響を最小限にします。
fedlessと呼ばれるオープンソースのサーバレスflシステムを拡張して、当社の戦略を実装しています。
さらに、第2世代のGoogle Cloud Functionsを使って、4つのデータセットとさまざまなストラグラーの比率で戦略を総合的に評価する。
実験の結果,feedlesscanは他の手法と比較してトレーニング時間とコストを平均8%,20%削減し,クライアントを有効更新率を平均17.75%向上させることで改善した。
関連論文リスト
- Embracing Federated Learning: Enabling Weak Client Participation via Partial Model Training [21.89214794178211]
フェデレートラーニング(FL)では、クライアントは完全なモデルをトレーニングしたり、メモリ空間に保持することができない弱いデバイスを持っているかもしれない。
我々は、すべての利用可能なクライアントが分散トレーニングに参加することを可能にする、一般的なFLフレームワークであるEnbracingFLを提案する。
実験により,FL の導入は,すべてのクライアントが強力であるように常に高い精度を達成し,最先端の幅削減手法よりも優れていた。
論文 参考訳（メタデータ） (2024-06-21T13:19:29Z) - Apodotiko: Enabling Efficient Serverless Federated Learning in Heterogeneous Environments [40.06788591656159]
Federated Learning(FL)は、分散クライアント間で共有グローバルモデルの協調トレーニングを可能にする、新興の機械学習パラダイムである。
本稿では、サーバレスFL用に設計された新しい非同期トレーニング戦略であるApodotikoを紹介する。
我々の戦略には、各クライアントのハードウェア能力とデータセットサイズを評価して、トレーニングラウンド毎にクライアントをインテリジェントに優先順位付けし、選択するスコアリングメカニズムが組み込まれています。
論文 参考訳（メタデータ） (2024-04-22T09:50:11Z) - Communication Efficient ConFederated Learning: An Event-Triggered SAGA
Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。
単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。
本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文 参考訳（メタデータ） (2024-02-28T03:27:10Z) - Training Heterogeneous Client Models using Knowledge Distillation in
Serverless Federated Learning [0.5510212613486574]
Federated Learning(FL)は、分散クライアント間で共有グローバルモデルの協調トレーニングを可能にする、新興の機械学習パラダイムである。
効率的なFLのためのシステム設計に関する最近の研究は、サーバーレスコンピューティング技術を利用することで、リソース効率が向上し、トレーニングコストが削減され、データホルダの複雑なインフラストラクチャ管理負担が軽減されることを示した。
論文 参考訳（メタデータ） (2024-02-11T20:15:52Z) - FLrce: Resource-Efficient Federated Learning with Early-Stopping Strategy [7.963276533979389]
フェデレートラーニング(FL)がIoT(Internet of Things)で大人気
FLrceは、関係ベースのクライアント選択と早期停止戦略を備えた効率的なFLフレームワークである。
その結果,既存のFLフレームワークと比較してFLrceは計算効率を少なくとも30%,通信効率を43%向上させることがわかった。
論文 参考訳（メタデータ） (2023-10-15T10:13:44Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。
本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
論文 参考訳（メタデータ） (2022-10-31T22:59:03Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Federated Dynamic Sparse Training: Computing Less, Communicating Less,
Yet Learning Better [88.28293442298015]
Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。
我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。
FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
論文 参考訳（メタデータ） (2021-12-18T02:26:38Z) - FedFog: Network-Aware Optimization of Federated Learning over Wireless
Fog-Cloud Systems [40.421253127588244]
フェデレートラーニング(FL)は、訓練されたローカルパラメータを定期的に集約することで、複数のエッジユーザにわたって大規模な分散機械学習タスクを実行することができる。
まず,フォグサーバにおける勾配パラメータの局所的な集約と,クラウドでのグローバルトレーニング更新を行うための効率的なFLアルゴリズム(FedFog)を提案する。
論文 参考訳（メタデータ） (2021-07-04T08:03:15Z) - Blockchain Assisted Decentralized Federated Learning (BLADE-FL) with
Lazy Clients [124.48732110742623]
フェデレートラーニング(FL)にブロックチェーンを統合する新しいフレームワークを提案する。
BLADE-FLは、プライバシー保護、改ざん抵抗、学習の効果的な協力の点で優れたパフォーマンスを持っている。
遅延クライアントは、他人のトレーニングされたモデルを盗聴し、不正行為を隠すために人工的なノイズを加える。
論文 参考訳（メタデータ） (2020-12-02T12:18:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。