論文の概要: Auxo: Heterogeneity-Mitigating Federated Learning via Scalable Client
Clustering
- arxiv url: http://arxiv.org/abs/2210.16656v1
- Date: Sat, 29 Oct 2022 17:36:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-01 19:22:56.356772
- Title: Auxo: Heterogeneity-Mitigating Federated Learning via Scalable Client
Clustering
- Title(参考訳): Auxo: スケーラブルなクライアントクラスタリングによるフェデレーション学習
- Authors: Jiachen Liu, Fan Lai, Yinwei Dai, Aditya Akella, Harsha Madhyastha,
Mosharaf Chowdhury
- Abstract要約: 参加者間の不均一性は、フェデレートラーニング(FL)における根本的な課題である
本研究では,大規模・低参加型・資源制約型FL集団のコホートを徐々に同定するためにAuxoを提案する。
Auxoは最終的な精度、収束時間、モデルバイアスの観点から、最先端のソリューションを大幅に向上させることを示す。
- 参考スコア(独自算出の注目度): 12.036114562831127
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is an emerging machine learning (ML) paradigm that
enables heterogeneous edge devices to collaboratively train ML models without
revealing their raw data to a logically centralized server. Heterogeneity
across participants is a fundamental challenge in FL, both in terms of
non-independent and identically distributed (Non-IID) data distributions and
variations in device capabilities. Many existing works present point solutions
to address issues like slow convergence, low final accuracy, and bias in FL,
all stemming from the client heterogeneity. We observe that, in a large
population, there exist groups of clients with statistically similar data
distributions (cohorts). In this paper, we propose Auxo to gradually identify
cohorts among large-scale, low-participation, and resource-constrained FL
populations. Auxo then adaptively determines how to train cohort-specific
models in order to achieve better model performance and ensure resource
efficiency. By identifying cohorts with smaller heterogeneity and performing
efficient cohort-based training, our extensive evaluations show that Auxo
substantially boosts the state-of-the-art solutions in terms of final accuracy,
convergence time, and model bias.
- Abstract(参考訳): Federated Learning(FL)は、ヘテロジニアスエッジデバイスが、生データを論理的に集中したサーバに公開することなく、MLモデルを協調的にトレーニングすることを可能にする、新興機械学習(ML)パラダイムである。
参加者間の不均一性は、非独立的かつ同一に分散した(非iid)データ分布とデバイス能力のバリエーションの両方の観点から、flの基本的な課題である。
既存の多くの作業では、低収束、最終精度の低下、flのバイアスといった問題に対処するためのポイントソリューションが提供されています。
我々は,統計学的に類似したデータ分布(コホート)を持つクライアント群が存在することを観察する。
本稿では,大規模,低参加型,資源制約型fl集団のコホートを徐々に同定する手法を提案する。
auxoは、モデルパフォーマンスを改善し、リソース効率を確保するために、コホート固有のモデルを訓練する方法を適応的に決定する。
コーホートをより小さく同定し,効率的なコホートベーストレーニングを行うことにより,Auxoは最終的な精度,収束時間,モデルバイアスの観点から,最先端のソリューションを大幅に向上させることを示す。
関連論文リスト
- Decoupled Federated Learning on Long-Tailed and Non-IID data with
Feature Statistics [20.781607752797445]
特徴統計量(DFL-FS)を用いた2段階分離型フェデレーション学習フレームワークを提案する。
最初の段階では、サーバは、マスキングされたローカル特徴統計クラスタリングによってクライアントのクラスカバレッジ分布を推定する。
第2段階では、DFL-FSは、グローバルな特徴統計に基づくフェデレーションされた特徴再生を使用して、長い尾を持つデータ分布へのモデルの適応性を高める。
論文 参考訳(メタデータ) (2024-03-13T09:24:59Z) - FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳(メタデータ) (2024-02-13T20:04:39Z) - FedLPS: Heterogeneous Federated Learning for Multiple Tasks with Local
Parameter Sharing [14.938531944702193]
局所異種共有を用いたフェデレーション学習(FedLPS)を提案する。
FedLPSは転送学習を使用して、ローカルモデルを共有エンコーダとタスク固有のエンコーダに分割することで、複数のタスクをひとつのデバイスにデプロイする。
FedLPSは最先端(SOTA)のFLフレームワークを最大4.88%上回り、計算資源消費量を21.3%減らす。
論文 参考訳(メタデータ) (2024-02-13T16:30:30Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - FedSkip: Combatting Statistical Heterogeneity with Federated Skip
Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。
我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文 参考訳(メタデータ) (2022-12-14T13:57:01Z) - Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated
Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。
半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文 参考訳(メタデータ) (2022-12-03T03:27:51Z) - FedDRL: Deep Reinforcement Learning-based Adaptive Aggregation for
Non-IID Data in Federated Learning [4.02923738318937]
異なるエッジデバイス(クライアント)にまたがるローカルデータの不均一な分散は、フェデレート学習における遅いモデルトレーニングと精度の低下をもたらす。
この研究は、実世界のデータセット、すなわちクラスタスキューで発生する新しい非IID型を導入している。
我々は,各クライアントのインパクト要因を適応的に決定するために,深層強化学習を用いた新しいFLモデルであるFedDRLを提案する。
論文 参考訳(メタデータ) (2022-08-04T04:24:16Z) - Heterogeneous Federated Learning via Grouped Sequential-to-Parallel
Training [60.892342868936865]
フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。
本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。
その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
論文 参考訳(メタデータ) (2022-01-31T03:15:28Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z) - Robust Federated Learning: The Case of Affine Distribution Shifts [41.27887358989414]
我々は,ユーザのサンプルの分布変化に対して良好な性能を実現するための,堅牢なフェデレーション学習アルゴリズムを開発した。
新しいテストユーザにおいて,アフィン分布シフトは学習者分類器の性能を著しく低下させるのに十分であることを示す。
論文 参考訳(メタデータ) (2020-06-16T03:43:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。