論文の概要: Auxo: Efficient Federated Learning via Scalable Client Clustering
- arxiv url: http://arxiv.org/abs/2210.16656v2
- Date: Sat, 30 Sep 2023 05:19:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-03 20:58:03.617960
- Title: Auxo: Efficient Federated Learning via Scalable Client Clustering
- Title（参考訳）: Auxo: スケーラブルクライアントクラスタリングによる効果的なフェデレーション学習
- Authors: Jiachen Liu, Fan Lai, Yinwei Dai, Aditya Akella, Harsha Madhyastha,
Mosharaf Chowdhury
- Abstract要約: フェデレートラーニング(FL)は、論理的に集中したサーバに生データを公開せずに、エッジデバイスが協調的にMLモデルをトレーニングすることを可能にする。
統計的に類似したデータ分布(コホート)を持つクライアントを,大規模・低可用性・資源制約のFL群で段階的に識別するAuxoを提案する。
Auxoは最終的な精度(2.1% - 8.2%)、収束時間(2.2倍)、モデルバイアス(4.8% - 53.8%)の点で、様々な既存のFLソリューションを強化している。
- 参考スコア（独自算出の注目度）: 22.323057948281644
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is an emerging machine learning (ML) paradigm that
enables heterogeneous edge devices to collaboratively train ML models without
revealing their raw data to a logically centralized server. However, beyond the
heterogeneous device capacity, FL participants often exhibit differences in
their data distributions, which are not independent and identically distributed
(Non-IID). Many existing works present point solutions to address issues like
slow convergence, low final accuracy, and bias in FL, all stemming from client
heterogeneity. In this paper, we explore an additional layer of complexity to
mitigate such heterogeneity by grouping clients with statistically similar data
distributions (cohorts). We propose Auxo to gradually identify such cohorts in
large-scale, low-availability, and resource-constrained FL populations. Auxo
then adaptively determines how to train cohort-specific models in order to
achieve better model performance and ensure resource efficiency. Our extensive
evaluations show that, by identifying cohorts with smaller heterogeneity and
performing efficient cohort-based training, Auxo boosts various existing FL
solutions in terms of final accuracy (2.1% - 8.2%), convergence time (up to
2.2x), and model bias (4.8% - 53.8%).
- Abstract（参考訳）: Federated Learning(FL)は、ヘテロジニアスエッジデバイスが、生データを論理的に集中したサーバに公開することなく、MLモデルを協調的にトレーニングすることを可能にする、新興機械学習(ML)パラダイムである。
しかし、不均一なデバイス容量を超えると、FL参加者は独立性がなく、同一に分布する(Non-IID)データ分布の違いをしばしば示す。
既存の多くの作業では、低収束、最終精度の低下、flのバイアスといった問題に対処するためのポイントソリューションが提供されている。
本稿では、統計的に類似したデータ分布(コホート)を持つクライアントをグループ化することで、そのような不均一性を緩和する複雑さの付加層について検討する。
本研究では,大規模,低可用性,資源制約のあるFL集団において,これらのコホートを徐々に同定するAuxoを提案する。
auxoは、モデルパフォーマンスを改善し、リソース効率を確保するために、コホート固有のモデルを訓練する方法を適応的に決定する。
我々の広範な評価は、コホートがより小さいコホートを同定し、効率的なコホートベースのトレーニングを行うことで、Auxoは最終的な精度(2.1%から8.2%)、収束時間(2.2倍)、モデルバイアス(4.8%から53.8%)で様々な既存のFLソリューションを強化していることを示している。
関連論文リスト
- Client Contribution Normalization for Enhanced Federated Learning [4.726250115737579]
スマートフォンやラップトップを含むモバイルデバイスは、分散化された異種データを生成する。
フェデレートラーニング(FL)は、データ共有のない分散デバイス間でグローバルモデルの協調トレーニングを可能にすることで、有望な代替手段を提供する。
本稿では、FLにおけるデータ依存的不均一性に着目し、局所的に訓練されたモデルから抽出された平均潜在表現を活用する新しいアプローチを提案する。
論文 参考訳（メタデータ） (2024-11-10T04:03:09Z) - Enhancing Federated Learning Convergence with Dynamic Data Queue and Data Entropy-driven Participant Selection [13.825031686864559]
Federated Learning(FL)は、エッジデバイス上でのコラボレーティブモデルトレーニングのための分散アプローチである。
本稿では,サーバ上のデータのグローバルサブセットを作成し,デバイス間で動的に分散することにより,FLの収束を改善する手法を提案する。
提案手法により,MNISTデータセットでは約5%,CIFAR-10では約18%,CIFAR-100では約20%の精度向上を実現した。
論文 参考訳（メタデータ） (2024-10-23T11:47:04Z) - FedClust: Tackling Data Heterogeneity in Federated Learning through Weight-Driven Client Clustering [26.478852701376294]
フェデレートラーニング(Federated Learning, FL)は、分散機械学習のパラダイムである。
FLの主な課題の1つは、クライアントデバイスにまたがる不均一なデータ分散の存在である。
我々は,局所モデル重みとクライアントのデータ分布の相関を利用したCFLの新しい手法であるFedClustを提案する。
論文 参考訳（メタデータ） (2024-07-09T02:47:16Z) - Efficient Data Distribution Estimation for Accelerated Federated Learning [5.085889377571319]
Federated Learning(FL)は、多数の分散エッジデバイスでグローバルモデルをその場でトレーニングする、プライバシ保護機械学習パラダイムである。
デバイスはシステムリソースとトレーニングデータの両方において非常に異質である。
様々なクライアント選択アルゴリズムが開発され、モデルカバレッジと精度の点で有望な性能向上を示している。
論文 参考訳（メタデータ） (2024-06-03T20:33:17Z) - FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳（メタデータ） (2024-02-13T20:04:39Z) - FedLPS: Heterogeneous Federated Learning for Multiple Tasks with Local
Parameter Sharing [14.938531944702193]
局所異種共有を用いたフェデレーション学習(FedLPS)を提案する。
FedLPSは転送学習を使用して、ローカルモデルを共有エンコーダとタスク固有のエンコーダに分割することで、複数のタスクをひとつのデバイスにデプロイする。
FedLPSは最先端(SOTA)のFLフレームワークを最大4.88%上回り、計算資源消費量を21.3%減らす。
論文 参考訳（メタデータ） (2024-02-13T16:30:30Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - FedSkip: Combatting Statistical Heterogeneity with Federated Skip
Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。
我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文 参考訳（メタデータ） (2022-12-14T13:57:01Z) - Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated
Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。
半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文 参考訳（メタデータ） (2022-12-03T03:27:51Z) - Heterogeneous Federated Learning via Grouped Sequential-to-Parallel
Training [60.892342868936865]
フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。
本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。
その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
論文 参考訳（メタデータ） (2022-01-31T03:15:28Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。