論文の概要: FedStale: leveraging stale client updates in federated learning

• arxiv url: http://arxiv.org/abs/2405.04171v1
• Date: Tue, 7 May 2024 10:11:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 14:29:58.652062
• Title: FedStale: leveraging stale client updates in federated learning
• Title（参考訳）: FedStale:フェデレーション学習における古いクライアント更新の活用
• Authors: Angelo Rodio, Giovanni Neglia,
• Abstract要約: フェデレーション学習アルゴリズムは、データの不均一性と部分的クライアント参加によって負の影響を受けます。 本稿は,一部のクライアントが他のクライアントよりもはるかに少ない場合,安定したレベルの更新を集約することで,トレーニングプロセスに有害な影響を与えることを示す。 私たちはFedStaleを紹介します。これは、参加するクライアントからの"フレッシュ"アップデートと、参加していないクライアントからの"ステア"アップデートの凸組み合わせによって、各ラウンドのグローバルモデルを更新する新しいアルゴリズムです。
• 参考スコア（独自算出の注目度）: 10.850101961203748
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning algorithms, such as FedAvg, are negatively affected by data heterogeneity and partial client participation. To mitigate the latter problem, global variance reduction methods, like FedVARP, leverage stale model updates for non-participating clients. These methods are effective under homogeneous client participation. Yet, this paper shows that, when some clients participate much less than others, aggregating updates with different levels of staleness can detrimentally affect the training process. Motivated by this observation, we introduce FedStale, a novel algorithm that updates the global model in each round through a convex combination of "fresh" updates from participating clients and "stale" updates from non-participating ones. By adjusting the weight in the convex combination, FedStale interpolates between FedAvg, which only uses fresh updates, and FedVARP, which treats fresh and stale updates equally. Our analysis of FedStale convergence yields the following novel findings: i) it integrates and extends previous FedAvg and FedVARP analyses to heterogeneous client participation; ii) it underscores how the least participating client influences convergence error; iii) it provides practical guidelines to best exploit stale updates, showing that their usefulness diminishes as data heterogeneity decreases and participation heterogeneity increases. Extensive experiments featuring diverse levels of client data and participation heterogeneity not only confirm these findings but also show that FedStale outperforms both FedAvg and FedVARP in many settings.
• Abstract（参考訳）: FedAvgのようなフェデレーション学習アルゴリズムは、データの不均一性と部分的なクライアント参加によって負の影響を受けます。 後者の問題を軽減するため、FedVARPのようなグローバルな分散削減手法では、非参加クライアントの古いモデル更新を利用する。 これらの方法は、均質なクライアント参加の下で有効である。 しかし、本論文は、一部のクライアントが他のクライアントよりもはるかに少ない場合、異なるレベルの安定度で更新を集約することで、トレーニングプロセスに有害な影響を及ぼすことを示した。 この観察に動機づけられたFedStaleは、参加するクライアントからの"フレッシュ"アップデートと参加していないクライアントからの"ステア"アップデートの凸組み合わせによって、各ラウンドのグローバルモデルを更新する新しいアルゴリズムである。 凸結合の重みを調整することで、更新のみを使用するFedAvgと、更新を均等に処理するFedVARPを補間する。 FedStaleの収束に関する我々の分析は、以下の新しい発見をもたらす。 一 前回のFedAvg及びFedVARP分析を統合して、異種顧客参加に拡張すること。 二 未参加のクライアントが収束誤差にどのように影響するかを明記する。 三 古い更新を最大限に活用するための実践的ガイドラインを提供し、データの不均一性が減少し、不均一性が増大するにつれて、その有用性が低下することを示す。 多様なレベルのクライアントデータと参加の不均一性を含む大規模な実験は、これらの発見を裏付けるだけでなく、FedStaleが多くの環境でFedAvgとFedVARPの両方より優れていることを示している。

関連論文リスト

• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Federated Learning via Consensus Mechanism on Heterogeneous Data: A New Perspective on Convergence [8.849947967636336]
  異種データ(非IIDデータ)に関するフェデレートラーニング(FL)は近年注目されている。 我々は,各トレーニングラウンド後の各クライアントに対するリスク低減を強制するコンセンサス機構を導入するFedCOMEを提案する。 理論的には、コンセンサス機構は、グローバルな目的の収束を保証することができる。
  論文  参考訳（メタデータ） (2023-11-21T05:26:33Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Momentum Benefits Non-IID Federated Learning Simply and Provably [22.800862422479913]
  フェデレートラーニングは大規模機械学習の強力なパラダイムである。 FedAvgとSCAFFOLDは、これらの課題に対処する2つの顕著なアルゴリズムである。 本稿では,FedAvgとSCAFFOLDの性能向上のための運動量の利用について検討する。
  論文  参考訳（メタデータ） (2023-06-28T18:52:27Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
  我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。 我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2022-12-14T13:57:01Z)
• FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
  フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。 本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
  論文  参考訳（メタデータ） (2022-10-31T22:59:03Z)
• Anchor Sampling for Federated Learning with Partial Client Participation [17.8094483221845]
  本稿では,フェデラルクライアント参加のためのフェデラルラーニング(Federated Learning,FedAMD)を提案する。 中心となるアイデアはアンカーサンプリングであり、部分的な参加者をアンカーグループとマイナーグループに分離する。 2つのグループの結果を統合することで、FedAMDはトレーニングプロセスを加速し、モデルのパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2022-06-13T03:08:39Z)
• Stochastic Coded Federated Learning with Convergence and Privacy Guarantees [8.2189389638822]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。 本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。 我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
  論文  参考訳（メタデータ） (2022-01-25T04:43:29Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)
• Distributed Non-Convex Optimization with Sublinear Speedup under Intermittent Client Availability [46.85205907718874]
  フェデレーション学習は新しい機械学習フレームワークで、多くのクライアントがトレーニングデータを共有することなく、協力的にモデルをトレーニングする。 本研究では,間欠的なモバイル環境におけるフェデレーション学習の実践と課題について考察する。 我々はFedLaAvg(略してFedLaAvg)と呼ばれる単純な分散非線形最適化アルゴリズムを提案する。 我々の理論的解析は、FedLaAvgが$(E1/2/(NT1/2)$の収束率に達し、クライアントの総数に対してサブ線形速度を達成することを示している。
  論文  参考訳（メタデータ） (2020-02-18T06:32:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。