論文の概要: Tackling the Unlimited Staleness in Federated Learning with Intertwined Data and Device Heterogeneities
- arxiv url: http://arxiv.org/abs/2309.13536v2
- Date: Mon, 3 Jun 2024 03:13:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-04 20:50:48.346128
- Title: Tackling the Unlimited Staleness in Federated Learning with Intertwined Data and Device Heterogeneities
- Title（参考訳）: 干渉データとデバイス不均一性を用いたフェデレーション学習における非制限定常性に対処する
- Authors: Haoming Wang, Wei Gao,
- Abstract要約: フェデレートラーニング(FL)は、データとデバイスの不均一性の両方に影響されることが多い。
本稿では,この変換に勾配インバージョン手法を応用した新しいFLフレームワークを提案する。
提案手法により,トレーニングモデルの精度を最大20%向上し,FLトレーニングの進捗を最大35%向上させることができる。
- 参考スコア（独自算出の注目度）: 4.9851737525099225
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The efficiency of Federated Learning (FL) is often affected by both data and device heterogeneities. Data heterogeneity is defined as the heterogeneity of data distributions on different clients. Device heterogeneity is defined as the clients' variant latencies in uploading their local model updates due to heterogeneous conditions of local hardware resources, and causes the problem of staleness when being addressed by asynchronous FL. Traditional schemes of tackling the impact of staleness consider data and device heterogeneities as two separate and independent aspects in FL, but this assumption is unrealistic in many practical FL scenarios where data and device heterogeneities are intertwined. In these cases, traditional schemes of weighted aggregation in FL have been proved to be ineffective, and a better approach is to convert a stale model update into a non-stale one. In this paper, we present a new FL framework that leverages the gradient inversion technique for such conversion, hence efficiently tackling unlimited staleness in clients' model updates. Our basic idea is to use gradient inversion to get estimations of clients' local training data from their uploaded stale model updates, and use these estimations to compute non-stale client model updates. In this way, we address the problem of possible data quality drop when using gradient inversion, while still preserving the clients' local data privacy. We compared our approach with the existing FL strategies on mainstream datasets and models, and experiment results demonstrate that when tackling unlimited staleness, our approach can significantly improve the trained model accuracy by up to 20% and speed up the FL training progress by up to 35%.
- Abstract（参考訳）: フェデレートラーニング(FL)の効率は、データとデバイスの不均一性の両方に影響されることが多い。
データの不均一性は、異なるクライアント上のデータ分散の不均一性として定義される。
デバイスの不均一性は、ローカルハードウェアリソースの不均一な条件により、ローカルモデルの更新をアップロードする際のクライアントの変動レイテンシとして定義され、非同期FLによって処理される際の安定化の問題を引き起こす。
従来の不安定性の影響に対処するスキームでは、データとデバイスの不均一性をFLの2つの独立した独立した側面とみなすが、データとデバイスの不均一性が絡み合っている多くの実践的FLシナリオでは、この仮定は現実的ではない。
このような場合、FLにおける従来の重み付けアグリゲーションのスキームは効果がないことが証明され、より優れたアプローチは、古いモデルの更新を非安定のアグリゲーションに変換することである。
本稿では,このような変換に勾配インバージョン手法を利用する新しいFLフレームワークを提案する。
我々の基本的な考え方は、クライアントのローカルトレーニングデータをアップロードした静的モデル更新から推定し、これらの推定を使って非静的モデル更新を計算することである。
このようにして、クライアントのローカルデータのプライバシを保ちながら、勾配インバージョンを使用する際のデータ品質低下の問題に対処する。
我々は,本手法を主流のデータセットやモデル上での既存のFL戦略と比較し,無制限の安定化に取り組む場合,トレーニングモデルの精度を最大20%向上し,FLトレーニングの進捗を最大35%向上させることができることを示した。
関連論文リスト
- Lightweight Industrial Cohorted Federated Learning for Heterogeneous Assets [0.0]
フェデレーテッド・ラーニング(FL)は、分散機械学習(ML)モデルをトレーニングするための最も広く採用されているコラボレーティブ・ラーニング・アプローチである。
しかし、すべてのFLタスクにおいて、大きなデータ類似性や均質性は認められているため、FLは産業環境では特に設計されていない。
本稿では,コホーティングにモデルパラメータを用いる軽量産業用コホーテッドFL (licFL) アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-07-25T12:48:56Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳（メタデータ） (2024-02-13T20:04:39Z) - Mitigating System Bias in Resource Constrained Asynchronous Federated
Learning Systems [2.8790600498444032]
本稿では,AFL(Asynchronous Federated Learning)デプロイメントにおける動的グローバルモデルアグリゲーション手法を提案する。
提案手法は,アップロード頻度に基づいてクライアントモデル更新の重み付けをスコアリングし,その重み付けを調整し,デバイス機能の違いに対応する。
論文 参考訳（メタデータ） (2024-01-24T10:51:15Z) - Fake It Till Make It: Federated Learning with Consensus-Oriented
Generation [52.82176415223988]
コンセンサス指向生成による連合学習(FedCOG)を提案する。
FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。
古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
論文 参考訳（メタデータ） (2023-12-10T18:49:59Z) - Federated Virtual Learning on Heterogeneous Data with Local-global
Distillation [17.998623216905496]
局所グロバル蒸留(FedLGD)を用いた不均一データのフェデレーションバーチャルラーニング
局所Global Distillation (FedLGD) を用いた不均一データに対するフェデレーション仮想学習法を提案する。
提案手法は, 蒸留仮想データ量が極めて少ない様々な条件下で, 最先端の異種FLアルゴリズムより優れる。
論文 参考訳（メタデータ） (2023-03-04T00:35:29Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Gradient Masked Averaging for Federated Learning [24.687254139644736]
フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。
標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。
本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
論文 参考訳（メタデータ） (2022-01-28T08:42:43Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳（メタデータ） (2020-09-27T08:28:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。