論文の概要: On The Impact of Client Sampling on Federated Learning Convergence

• arxiv url: http://arxiv.org/abs/2107.12211v1
• Date: Mon, 26 Jul 2021 13:36:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-27 16:15:49.139315
• Title: On The Impact of Client Sampling on Federated Learning Convergence
• Title（参考訳）: クライアントサンプリングがFederated Learning Convergenceに及ぼす影響について
• Authors: Yann Fraboni, Richard Vidal, Laetitia Kameni, Marco Lorenzi
• Abstract要約: FLの収束に関する新たな分解定理を導入し,クライアントサンプリングがグローバルモデル更新に与える影響を定量的に評価する。 この結果から,MDサンプリングは学習過程におけるデータ比の変化にレジリエンスがあるため,デフォルトのサンプリング方式として使用すべきであることが示唆された。
• 参考スコア（独自算出の注目度）: 4.530678016396477
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While clients' sampling is a central operation of current state-of-the-art federated learning (FL) approaches, the impact of this procedure on the convergence and speed of FL remains to date under-investigated. In this work we introduce a novel decomposition theorem for the convergence of FL, allowing to clearly quantify the impact of client sampling on the global model update. Contrarily to previous convergence analyses, our theorem provides the exact decomposition of a given convergence step, thus enabling accurate considerations about the role of client sampling and heterogeneity. First, we provide a theoretical ground for previously reported results on the relationship between FL convergence and the variance of the aggregation weights. Second, we prove for the first time that the quality of FL convergence is also impacted by the resulting covariance between aggregation weights. Third, we establish that the sum of the aggregation weights is another source of slow-down and should be equal to 1 to improve FL convergence speed. Our theory is general, and is here applied to Multinomial Distribution (MD) and Uniform sampling, the two default client sampling in FL, and demonstrated through a series of experiments in non-iid and unbalanced scenarios. Our results suggest that MD sampling should be used as default sampling scheme, due to the resilience to the changes in data ratio during the learning process, while Uniform sampling is superior only in the special case when clients have the same amount of data.
• Abstract（参考訳）: クライアントのサンプリングは、現在最先端のフェデレーション学習(fl)アプローチの中心的な操作であるが、この手順がflの収束と速度に与える影響は、まだ調査されていない。 本稿では,グローバルモデル更新におけるクライアントサンプリングの影響を明確に定量化するために,fl の収束に対する新しい分解定理を提案する。 従来の収束解析と対照的に、我々の定理は与えられた収束ステップの正確な分解を提供し、クライアントサンプリングと不均一性の役割について正確な考察を可能にする。 まず, fl収束と凝集重みの分散の関係について, 以前に報告した結果に対する理論的根拠を提案する。 第2に、FL収束の質が凝集重量間の共分散によっても影響されることを初めて証明する。 第3に,凝集重みの和はスローダウンのもう1つの源であり,fl収束速度を改善するために1に等しいものとする。 本理論は一般に,マルチノマル分布 (md) と一様サンプリング (uniform sampling) に適用され,非iidおよび非平衡シナリオにおける一連の実験によって実証された。 以上の結果から,mdサンプリングは学習過程におけるデータ比の変化に対するレジリエンスが高いため,mdサンプリングをデフォルトサンプリングスキームとして用いるべきであることが示唆された。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Aggregation Weighting of Federated Learning via Generalization Bound Estimation [65.8630966842025]
  フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。 上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
  論文  参考訳（メタデータ） (2023-11-10T08:50:28Z)
• Enhanced Federated Optimization: Adaptive Unbiased Client Sampling with Reduced Variance [37.646655530394604]
  Federated Learning(FL)は、ローカルデータを収集することなく、複数のデバイスでグローバルモデルをトレーニングする分散学習パラダイムである。 独立サンプリング手法を用いて,最初の適応型クライアントサンプリング器K-Vibを提案する。 K-Vibは、一連の通信予算の中で、後悔すべき$tildemathcalObig(Nfrac13Tfrac23/Kfrac43big)$の線形スピードアップを達成する。
  論文  参考訳（メタデータ） (2023-10-04T10:08:01Z)
• A Lightweight Method for Tackling Unknown Participation Statistics in Federated Averaging [39.15781847115902]
  フェデレートラーニング(FL)では、クライアントは通常、事前に不明な多様な参加統計を持つ。 我々は、最適重みのオンライン推定に基づいてクライアント更新を適応的に重み付けすることで、FedAvgを改善するFedAUという新しいアルゴリズムを提案する。 我々の理論的結果は、FedAUが元の目的の最適解に収束することを示しながら、重要かつ興味深い洞察を明らかにした。
  論文  参考訳（メタデータ） (2023-06-06T04:32:10Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• A Unified Analysis of Federated Learning with Arbitrary Client Participation [33.86606068136201]
  Federated Learning(FL)は、断続的なクライアント可用性と計算/通信効率の課題に直面します。 部分的なクライアントの参加が収束にどのように影響するかを理解することが重要です。 我々は、任意のクライアント参加を伴うFLの統一収束解析を提供する。
  論文  参考訳（メタデータ） (2022-05-26T21:56:31Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Clustered Sampling: Low-Variance and Improved Representativity for Clients Selection in Federated Learning [4.530678016396477]
  本研究は,フェデレートラーニング(FL)におけるサーバとクライアント間の通信を最適化する問題に対処する。 FLの現在のサンプリングアプローチは、サーバクライアントの通信とトレーニングの安定性の観点から、偏見または不最適のいずれかです。 クラスタ化サンプリングがクライアントの表現性の向上とFLにおけるクライアント集約重みの分散の低減につながることを証明した。
  論文  参考訳（メタデータ） (2021-05-12T18:19:20Z)
• On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
  フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。 最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。 ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
  論文  参考訳（メタデータ） (2021-01-11T19:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。