論文の概要: Tackling the Unlimited Staleness in Federated Learning with Intertwined
Data and Device Heterogeneities
- arxiv url: http://arxiv.org/abs/2309.13536v1
- Date: Sun, 24 Sep 2023 03:19:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-26 19:12:34.824177
- Title: Tackling the Unlimited Staleness in Federated Learning with Intertwined
Data and Device Heterogeneities
- Title（参考訳）: 絡み合ったデータとデバイスの不均質性を用いたフェデレーション学習における無限の停滞性への取り組み
- Authors: Haoming Wang and Wei Gao
- Abstract要約: フェデレートラーニング(FL)は、データとデバイスの不均一性の両方に影響されることが多い。
本稿では,この変換に勾配インバージョン手法を応用した新しいFLフレームワークを提案する。
提案手法により,トレーニングモデルの精度を最大20%向上し,FLトレーニングの進捗を最大35%向上させることができる。
- 参考スコア（独自算出の注目度）: 5.8893223946708675
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The efficiency of Federated Learning (FL) is often affected by both data and
device heterogeneities. Data heterogeneity is defined as the heterogeneity of
data distributions on different clients. Device heterogeneity is defined as the
clients' variant latencies in uploading their local model updates due to
heterogeneous conditions of local hardware resources, and causes the problem of
staleness when being addressed by asynchronous FL. Traditional schemes of
tackling the impact of staleness consider data and device heterogeneities as
two separate and independent aspects in FL, but this assumption is unrealistic
in many practical FL scenarios where data and device heterogeneities are
intertwined. In these cases, traditional schemes of weighted aggregation in FL
have been proved to be ineffective, and a better approach is to convert a stale
model update into a non-stale one. In this paper, we present a new FL framework
that leverages the gradient inversion technique for such conversion, hence
efficiently tackling unlimited staleness in clients' model updates. Our basic
idea is to use gradient inversion to get estimations of clients' local training
data from their uploaded stale model updates, and use these estimations to
compute non-stale client model updates. In this way, we address the problem of
possible data quality drop when using gradient inversion, while still
preserving the clients' local data privacy. We compared our approach with the
existing FL strategies on mainstream datasets and models, and experiment
results demonstrate that when tackling unlimited staleness, our approach can
significantly improve the trained model accuracy by up to 20% and speed up the
FL training progress by up to 35%.
- Abstract（参考訳）: 連合学習(fl)の効率は、しばしばデータとデバイスの不均一性の両方に影響される。
データの不均一性は、異なるクライアント上のデータ分布の不均一性として定義される。
デバイスの不均一性(device heterogeneity)は、ローカルハードウェアリソースの異種な条件によるローカルモデル更新のアップロードにおけるクライアントのさまざまなレイテンシとして定義され、非同期flによって対処される場合の不安定性の問題を引き起こす。
停滞の影響に取り組む伝統的なスキームは、データとデバイスの不均一性は、flの2つの独立した独立した側面であると考えるが、この仮定は、データとデバイスの不均一性が絡み合う多くの実用的なflシナリオにおいて非現実的である。
このような場合、FLにおける従来の重み付けアグリゲーションのスキームは効果がないことが証明され、より優れたアプローチは、古いモデルの更新を非安定のアグリゲーションに変換することである。
本稿では,このような変換に勾配反転技術を利用する新しいflフレームワークを提案する。
我々の基本的な考え方は、クライアントのローカルトレーニングデータをアップロードした静的モデル更新から推定し、これらの推定を使って非静的モデル更新を計算することである。
このようにして、グラデーションインバージョンを使用する場合、クライアントのローカルデータプライバシを維持しながら、データ品質低下の問題を解決します。
我々は,本手法を主流のデータセットとモデルにおける既存のfl戦略と比較し,実験結果から,無制限の定常性に取り組む場合,トレーニングモデルの精度を最大20%向上し,flトレーニングの進捗を最大35%向上できることを示した。
関連論文リスト
- Modality Alignment Meets Federated Broadcasting [9.752555511824593]
フェデレートラーニング(FL)は、ローカルデータを集中化せずに、分散エッジデバイス間でモデルをトレーニングすることで、データのプライバシを保護する強力なアプローチとして登場した。
本稿では,テキストエンコーダをサーバ上に配置し,画像エンコーダをローカルデバイス上で動作させる,モダリティアライメントを利用した新しいFLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-24T13:30:03Z) - Lightweight Industrial Cohorted Federated Learning for Heterogeneous Assets [0.0]
フェデレーテッド・ラーニング(FL)は、分散機械学習(ML)モデルをトレーニングするための最も広く採用されているコラボレーティブ・ラーニング・アプローチである。
しかし、すべてのFLタスクにおいて、大きなデータ類似性や均質性は認められているため、FLは産業環境では特に設計されていない。
本稿では,コホーティングにモデルパラメータを用いる軽量産業用コホーテッドFL (licFL) アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-07-25T12:48:56Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳（メタデータ） (2024-02-13T20:04:39Z) - Fake It Till Make It: Federated Learning with Consensus-Oriented
Generation [52.82176415223988]
コンセンサス指向生成による連合学習(FedCOG)を提案する。
FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。
古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
論文 参考訳（メタデータ） (2023-12-10T18:49:59Z) - Federated Virtual Learning on Heterogeneous Data with Local-global
Distillation [17.998623216905496]
局所グロバル蒸留(FedLGD)を用いた不均一データのフェデレーションバーチャルラーニング
局所Global Distillation (FedLGD) を用いた不均一データに対するフェデレーション仮想学習法を提案する。
提案手法は, 蒸留仮想データ量が極めて少ない様々な条件下で, 最先端の異種FLアルゴリズムより優れる。
論文 参考訳（メタデータ） (2023-03-04T00:35:29Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Gradient Masked Averaging for Federated Learning [24.687254139644736]
フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。
標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。
本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
論文 参考訳（メタデータ） (2022-01-28T08:42:43Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳（メタデータ） (2020-09-27T08:28:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。