論文の概要: Debiasing Federated Learning with Correlated Client Participation

• arxiv url: http://arxiv.org/abs/2410.01209v1
• Date: Wed, 2 Oct 2024 03:30:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 22:40:58.331957
• Title: Debiasing Federated Learning with Correlated Client Participation
• Title（参考訳）: 関連顧客参加によるフェデレーション学習の嫌悪
• Authors: Zhenyu Sun, Ziyang Zhang, Zheng Xu, Gauri Joshi, Pranay Sharma, Ermin Wei,
• Abstract要約: 本稿では,FLのクライアント参加をマルコフ連鎖としてモデル化する理論的枠組みを紹介する。 すべてのクライアントは、再参加する前に最低限の$R$ラウンド(最小分離)を待たなければならない。 我々は、不偏の最適解に確実に収束するFedAvgの効果的な脱バイアスアルゴリズムを開発する。
• 参考スコア（独自算出の注目度）: 25.521881752822164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In cross-device federated learning (FL) with millions of mobile clients, only a small subset of clients participate in training in every communication round, and Federated Averaging (FedAvg) is the most popular algorithm in practice. Existing analyses of FedAvg usually assume the participating clients are independently sampled in each round from a uniform distribution, which does not reflect real-world scenarios. This paper introduces a theoretical framework that models client participation in FL as a Markov chain to study optimization convergence when clients have non-uniform and correlated participation across rounds. We apply this framework to analyze a more general and practical pattern: every client must wait a minimum number of $R$ rounds (minimum separation) before re-participating. We theoretically prove and empirically observe that increasing minimum separation reduces the bias induced by intrinsic non-uniformity of client availability in cross-device FL systems. Furthermore, we develop an effective debiasing algorithm for FedAvg that provably converges to the unbiased optimal solution under arbitrary minimum separation and unknown client availability distribution.
• Abstract（参考訳）: 数百万のモバイルクライアントを抱えるクロスデバイス・フェデレーション・ラーニング(FL)では、すべてのコミュニケーションラウンドでトレーニングに参加するクライアントはごく一部のみであり、フェデレーション・アベレーティング(FedAvg)は実際に最も人気のあるアルゴリズムである。 既存のFedAvgの分析では、通常、参加するクライアントは、実際のシナリオを反映しない均一な分布から各ラウンドで個別にサンプリングされていると仮定する。 本稿では,FLにおけるクライアント参加をマルコフ連鎖としてモデル化する理論的枠組みを提案する。 すべてのクライアントは、再参加する前に最低限の$R$ラウンド(最小分離)を待たなければならない。 理論的には,最小分離の増大は,デバイス間FLシステムにおけるクライアント可利用性の固有の非均一性に起因するバイアスを低減することを実証し,実証する。 さらに,任意の最小分離と未知のクライアント可用性分布の下で,非バイアス最適解に確実に収束するFedAvgの効率的なデバイアス化アルゴリズムを開発した。

関連論文リスト

• Achieving Linear Speedup in Asynchronous Federated Learning with Heterogeneous Clients [30.135431295658343]
  フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。 本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。 DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
  論文  参考訳（メタデータ） (2024-02-17T05:22:46Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• On the Convergence of Federated Averaging with Cyclic Client Participation [27.870720693512045]
  Averaging(FedAvg)とその変種は、フェデレートラーニング(FL)における最も一般的な最適化アルゴリズムである。 FedAvgの以前の収束分析では、クライアントが一様にサンプリングできる完全なクライアント参加または部分的なクライアント参加を前提としています。 実際のデバイス間FLシステムでは、バッテリーの状態、ネットワーク接続、最大参加頻度要件(プライバシを確保するために)といったローカルな基準を満たすクライアントのサブセットのみが、所定のタイミングでトレーニングするために利用できる。
  論文  参考訳（メタデータ） (2023-02-06T20:18:19Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
  フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。 本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
  論文  参考訳（メタデータ） (2022-10-31T22:59:03Z)
• Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated Learning via Class-Imbalance Reduction [76.26710990597498]
  本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。 我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。 特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
  論文  参考訳（メタデータ） (2022-09-30T05:42:56Z)
• A Unified Analysis of Federated Learning with Arbitrary Client Participation [33.86606068136201]
  Federated Learning(FL)は、断続的なクライアント可用性と計算/通信効率の課題に直面します。 部分的なクライアントの参加が収束にどのように影響するかを理解することが重要です。 我々は、任意のクライアント参加を伴うFLの統一収束解析を提供する。
  論文  参考訳（メタデータ） (2022-05-26T21:56:31Z)
• FL Games: A federated learning framework for distribution shifts [71.98708418753786]
  フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。 本稿では,クライアント間で不変な因果的特徴を学習するためのゲーム理論のフレームワークであるFL Gamesを提案する。
  論文  参考訳（メタデータ） (2022-05-23T07:51:45Z)
• Distributed Non-Convex Optimization with Sublinear Speedup under Intermittent Client Availability [46.85205907718874]
  フェデレーション学習は新しい機械学習フレームワークで、多くのクライアントがトレーニングデータを共有することなく、協力的にモデルをトレーニングする。 本研究では,間欠的なモバイル環境におけるフェデレーション学習の実践と課題について考察する。 我々はFedLaAvg(略してFedLaAvg)と呼ばれる単純な分散非線形最適化アルゴリズムを提案する。 我々の理論的解析は、FedLaAvgが$(E1/2/(NT1/2)$の収束率に達し、クライアントの総数に対してサブ線形速度を達成することを示している。
  論文  参考訳（メタデータ） (2020-02-18T06:32:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。