Fugu-MT 論文翻訳(概要): Tackling the Unlimited Staleness in Federated Learning with Intertwined Data and Device Heterogeneities

論文の概要: Tackling the Unlimited Staleness in Federated Learning with Intertwined Data and Device Heterogeneities

arxiv url: http://arxiv.org/abs/2309.13536v1
Date: Sun, 24 Sep 2023 03:19:40 GMT
ステータス: 処理完了
システム内更新日: 2023-09-26 19:12:34.824177
Title: Tackling the Unlimited Staleness in Federated Learning with Intertwined Data and Device Heterogeneities
Title（参考訳）: 絡み合ったデータとデバイスの不均質性を用いたフェデレーション学習における無限の停滞性への取り組み
Authors: Haoming Wang and Wei Gao
Abstract要約: フェデレートラーニング(FL)は、データとデバイスの不均一性の両方に影響されることが多い。本稿では,この変換に勾配インバージョン手法を応用した新しいFLフレームワークを提案する。提案手法により,トレーニングモデルの精度を最大20%向上し,FLトレーニングの進捗を最大35%向上させることができる。
参考スコア（独自算出の注目度）: 5.8893223946708675
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: The efficiency of Federated Learning (FL) is often affected by both data and device heterogeneities. Data heterogeneity is defined as the heterogeneity of data distributions on different clients. Device heterogeneity is defined as the clients' variant latencies in uploading their local model updates due to heterogeneous conditions of local hardware resources, and causes the problem of staleness when being addressed by asynchronous FL. Traditional schemes of tackling the impact of staleness consider data and device heterogeneities as two separate and independent aspects in FL, but this assumption is unrealistic in many practical FL scenarios where data and device heterogeneities are intertwined. In these cases, traditional schemes of weighted aggregation in FL have been proved to be ineffective, and a better approach is to convert a stale model update into a non-stale one. In this paper, we present a new FL framework that leverages the gradient inversion technique for such conversion, hence efficiently tackling unlimited staleness in clients' model updates. Our basic idea is to use gradient inversion to get estimations of clients' local training data from their uploaded stale model updates, and use these estimations to compute non-stale client model updates. In this way, we address the problem of possible data quality drop when using gradient inversion, while still preserving the clients' local data privacy. We compared our approach with the existing FL strategies on mainstream datasets and models, and experiment results demonstrate that when tackling unlimited staleness, our approach can significantly improve the trained model accuracy by up to 20% and speed up the FL training progress by up to 35%.
Abstract（参考訳）: 連合学習(fl)の効率は、しばしばデータとデバイスの不均一性の両方に影響される。データの不均一性は、異なるクライアント上のデータ分布の不均一性として定義される。デバイスの不均一性(device heterogeneity)は、ローカルハードウェアリソースの異種な条件によるローカルモデル更新のアップロードにおけるクライアントのさまざまなレイテンシとして定義され、非同期flによって対処される場合の不安定性の問題を引き起こす。停滞の影響に取り組む伝統的なスキームは、データとデバイスの不均一性は、flの2つの独立した独立した側面であると考えるが、この仮定は、データとデバイスの不均一性が絡み合う多くの実用的なflシナリオにおいて非現実的である。このような場合、FLにおける従来の重み付けアグリゲーションのスキームは効果がないことが証明され、より優れたアプローチは、古いモデルの更新を非安定のアグリゲーションに変換することである。本稿では,このような変換に勾配反転技術を利用する新しいflフレームワークを提案する。我々の基本的な考え方は、クライアントのローカルトレーニングデータをアップロードした静的モデル更新から推定し、これらの推定を使って非静的モデル更新を計算することである。このようにして、グラデーションインバージョンを使用する場合、クライアントのローカルデータプライバシを維持しながら、データ品質低下の問題を解決します。我々は,本手法を主流のデータセットとモデルにおける既存のfl戦略と比較し,実験結果から,無制限の定常性に取り組む場合,トレーニングモデルの精度を最大20%向上し,flトレーニングの進捗を最大35%向上できることを示した。

関連論文リスト

Modality Alignment Meets Federated Broadcasting [9.752555511824593]
フェデレートラーニング(FL)は、ローカルデータを集中化せずに、分散エッジデバイス間でモデルをトレーニングすることで、データのプライバシを保護する強力なアプローチとして登場した。本稿では,テキストエンコーダをサーバ上に配置し,画像エンコーダをローカルデバイス上で動作させる,モダリティアライメントを利用した新しいFLフレームワークを提案する。
論文参考訳（メタデータ） (2024-11-24T13:30:03Z)
Lightweight Industrial Cohorted Federated Learning for Heterogeneous Assets [0.0]
フェデレーテッド・ラーニング(FL)は、分散機械学習(ML)モデルをトレーニングするための最も広く採用されているコラボレーティブ・ラーニング・アプローチである。しかし、すべてのFLタスクにおいて、大きなデータ類似性や均質性は認められているため、FLは産業環境では特に設計されていない。本稿では,コホーティングにモデルパラメータを用いる軽量産業用コホーテッドFL (licFL) アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-07-25T12:48:56Z)
An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
Mitigating System Bias in Resource Constrained Asynchronous Federated Learning Systems [2.8790600498444032]
本稿では,AFL(Asynchronous Federated Learning)デプロイメントにおける動的グローバルモデルアグリゲーション手法を提案する。提案手法は,アップロード頻度に基づいてクライアントモデル更新の重み付けをスコアリングし,その重み付けを調整し,デバイス機能の違いに対応する。
論文参考訳（メタデータ） (2024-01-24T10:51:15Z)
Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-22T02:12:08Z)
Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文参考訳（メタデータ） (2023-07-12T16:28:21Z)
Efficient Personalized Federated Learning via Sparse Model-Adaptation [47.088124462925684]
Federated Learning (FL)は、複数のクライアントに対して、独自のプライベートデータを共有せずに機械学習モデルをトレーニングすることを目的としている。疎局所モデルを適応的かつ効率的に学習し,効率的なパーソナライズFLのためのpFedGateを提案する。我々は,pFedGateが最先端手法よりも優れたグローバル精度,個人精度,効率性を同時に達成できることを示す。
論文参考訳（メタデータ） (2023-05-04T12:21:34Z)
Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文参考訳（メタデータ） (2023-05-01T20:04:46Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)
Gradient Masked Averaging for Federated Learning [24.687254139644736]
フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
論文参考訳（メタデータ） (2022-01-28T08:42:43Z)
Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文参考訳（メタデータ） (2020-09-27T08:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。