論文の概要: A Unified Analysis of Federated Learning with Arbitrary Client Participation

• arxiv url: http://arxiv.org/abs/2205.13648v4
• Date: Sun, 29 Dec 2024 05:00:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:01:42.936229
• Title: A Unified Analysis of Federated Learning with Arbitrary Client Participation
• Title（参考訳）: 任意顧客参加によるフェデレーション学習の統一分析
• Authors: Shiqiang Wang, Mingyue Ji,
• Abstract要約: Federated Learning(FL)は、断続的なクライアント可用性と計算/通信効率の課題に直面します。 部分的なクライアントの参加が収束にどのように影響するかを理解することが重要です。 我々は、任意のクライアント参加を伴うFLの統一収束解析を提供する。
• 参考スコア（独自算出の注目度）: 39.15781847115902
• License:
• Abstract: Federated learning (FL) faces challenges of intermittent client availability and computation/communication efficiency. As a result, only a small subset of clients can participate in FL at a given time. It is important to understand how partial client participation affects convergence, but most existing works have either considered idealized participation patterns or obtained results with non-zero optimality error for generic patterns. In this paper, we provide a unified convergence analysis for FL with arbitrary client participation. We first introduce a generalized version of federated averaging (FedAvg) that amplifies parameter updates at an interval of multiple FL rounds. Then, we present a novel analysis that captures the effect of client participation in a single term. By analyzing this term, we obtain convergence upper bounds for a wide range of participation patterns, including both non-stochastic and stochastic cases, which match either the lower bound of stochastic gradient descent (SGD) or the state-of-the-art results in specific settings. We also discuss various insights, recommendations, and experimental results.
• Abstract（参考訳）: Federated Learning(FL)は、断続的なクライアント可用性と計算/通信効率の課題に直面します。 結果として、ある時点でFLに参加することができるのは、少数のクライアントのみとなる。 クライアントの部分的参加が収束にどのように影響するかを理解することは重要ですが、既存の作業の多くは、理想化された参加パターンや、ジェネリックパターンの非ゼロ最適性エラーによる結果のどちらかを考えています。 本稿では、任意のクライアント参加を伴うFLの収束解析について述べる。 まず、複数のFLラウンドの間隔でパラメータ更新を増幅するフェデレーション平均化(FedAvg)の一般化版を紹介する。 そこで本研究では,クライアントの参加効果を一括して把握する新たな分析手法を提案する。 この用語を解析することにより、確率的勾配降下(SGD)の下位境界と特定の設定における最先端結果とを一致させる非確率的および確率的ケースを含む、幅広い参加パターンの収束上限を得る。 また、さまざまな洞察、勧告、実験結果についても論じる。

関連論文リスト

• Debiasing Federated Learning with Correlated Client Participation [25.521881752822164]
  本稿では,FLのクライアント参加をマルコフ連鎖としてモデル化する理論的枠組みを紹介する。 すべてのクライアントは、再参加する前に最低限の$R$ラウンド(最小分離)を待たなければならない。 我々は、不偏の最適解に確実に収束するFedAvgの効果的な脱バイアスアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2024-10-02T03:30:53Z)
• Emulating Full Client Participation: A Long-Term Client Selection Strategy for Federated Learning [48.94952630292219]
  本稿では,クライアントの完全参加によって達成されるパフォーマンスをエミュレートする新しいクライアント選択戦略を提案する。 1ラウンドで、クライアントサブセットとフルクライアントセット間の勾配空間推定誤差を最小化し、クライアントを選択する。 複数ラウンド選択において、類似したデータ分布を持つクライアントが選択される頻度に類似することを保証する、新しい個性制約を導入する。
  論文  参考訳（メタデータ） (2024-05-22T12:27:24Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Confidence-aware Personalized Federated Learning via Variational Expectation Maximization [34.354154518009956]
  パーソナライズド・フェデレーション・ラーニング(PFL)のための新しいフレームワークを提案する。 PFLは、クライアント間で共有モデルをトレーニングする分散学習スキームである。 階層的モデリングと変分推論に基づくPFLの新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-21T20:12:27Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• FilFL: Client Filtering for Optimized Client Participation in Federated Learning [71.46173076298957]
  フェデレートラーニングは、クライアントがローカルデータを交換することなく、協調的にモデルをトレーニングすることを可能にする。 トレーニングプロセスに参加するクライアントは、収束率、学習効率、モデル一般化に大きな影響を与えます。 本稿では,モデル一般化を改善し,クライアント参加とトレーニングを最適化する新しい手法であるクライアントフィルタリングを提案する。
  論文  参考訳（メタデータ） (2023-02-13T18:55:31Z)
• On the Convergence of Federated Averaging with Cyclic Client Participation [27.870720693512045]
  Averaging(FedAvg)とその変種は、フェデレートラーニング(FL)における最も一般的な最適化アルゴリズムである。 FedAvgの以前の収束分析では、クライアントが一様にサンプリングできる完全なクライアント参加または部分的なクライアント参加を前提としています。 実際のデバイス間FLシステムでは、バッテリーの状態、ネットワーク接続、最大参加頻度要件(プライバシを確保するために)といったローカルな基準を満たすクライアントのサブセットのみが、所定のタイミングでトレーニングするために利用できる。
  論文  参考訳（メタデータ） (2023-02-06T20:18:19Z)
• SplitGP: Achieving Both Generalization and Personalization in Federated Learning [31.105681433459285]
  SplitGPは、リソース制約のあるクライアント間の効率的な推論のために、一般化とパーソナライズ機能をキャプチャする。 我々はSplitGPの収束挙動を解析的に解析し、全てのクライアントモデルが定常点に接近していることを明らかにする。 実験結果から, SplitGPは, 種々の分布外サンプルに対して, 推定時間, 試験精度において, 既存のベースラインよりも高い性能を示した。
  論文  参考訳（メタデータ） (2022-12-16T08:37:24Z)
• FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
  フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。 本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
  論文  参考訳（メタデータ） (2022-10-31T22:59:03Z)
• FL Games: A federated learning framework for distribution shifts [71.98708418753786]
  フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。 本稿では,クライアント間で不変な因果的特徴を学習するためのゲーム理論のフレームワークであるFL Gamesを提案する。
  論文  参考訳（メタデータ） (2022-05-23T07:51:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。