Fugu-MT 論文翻訳(概要): Clustered Sampling: Low-Variance and Improved Representativity for Clients Selection in Federated Learning

論文の概要: Clustered Sampling: Low-Variance and Improved Representativity for Clients Selection in Federated Learning

arxiv url: http://arxiv.org/abs/2105.05883v1
Date: Wed, 12 May 2021 18:19:20 GMT
ステータス: 処理完了
システム内更新日: 2021-05-14 14:09:36.037225
Title: Clustered Sampling: Low-Variance and Improved Representativity for Clients Selection in Federated Learning
Title（参考訳）: クラスタ化サンプリング:フェデレートラーニングにおけるクライアント選択の低分散化と表現性の向上
Authors: Yann Fraboni, Richard Vidal, Laetitia Kameni, Marco Lorenzi
Abstract要約: 本研究は,フェデレートラーニング(FL)におけるサーバとクライアント間の通信を最適化する問題に対処する。 FLの現在のサンプリングアプローチは、サーバクライアントの通信とトレーニングの安定性の観点から、偏見または不最適のいずれかです。クラスタ化サンプリングがクライアントの表現性の向上とFLにおけるクライアント集約重みの分散の低減につながることを証明した。
参考スコア（独自算出の注目度）: 4.530678016396477
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This work addresses the problem of optimizing communications between server and clients in federated learning (FL). Current sampling approaches in FL are either biased, or non optimal in terms of server-clients communications and training stability. To overcome this issue, we introduce \textit{clustered sampling} for clients selection. We prove that clustered sampling leads to better clients representatitivity and to reduced variance of the clients stochastic aggregation weights in FL. Compatibly with our theory, we provide two different clustering approaches enabling clients aggregation based on 1) sample size, and 2) models similarity. Through a series of experiments in non-iid and unbalanced scenarios, we demonstrate that model aggregation through clustered sampling consistently leads to better training convergence and variability when compared to standard sampling approaches. Our approach does not require any additional operation on the clients side, and can be seamlessly integrated in standard FL implementations. Finally, clustered sampling is compatible with existing methods and technologies for privacy enhancement, and for communication reduction through model compression.
Abstract（参考訳）: 本研究は,フェデレートラーニング(FL)におけるサーバとクライアント間の通信を最適化する問題に対処する。 FLにおける現在のサンプリングアプローチは、サーバ・クライアント間の通信とトレーニングの安定性の観点からバイアスまたは非最適である。この問題を克服するために,クライアント選択に \textit{clustered sampling} を導入する。クラスタ化サンプリングにより、FLにおけるクライアントの表現性が向上し、クライアントの確率的集約重みのばらつきが軽減されることを示す。 1)サンプルサイズと2)モデルの類似性に基づいてクライアントの集約を可能にする2つの異なるクラスタリングアプローチを提供する。非イドおよびアンバランスなシナリオにおける一連の実験を通して、クラスタ化サンプリングによるモデルアグリゲーションが、標準サンプリングアプローチと比較してトレーニングの収束と変動性を改善することを実証する。我々のアプローチはクライアント側で追加の操作を必要とせず、標準のfl実装にシームレスに統合することができる。最後に、クラスタ化サンプリングは、プライバシ向上のための既存の方法や技術、モデル圧縮による通信の削減と互換性がある。

関連論文リスト

Cohort Squeeze: Beyond a Single Communication Round per Cohort in Cross-Device Federated Learning [51.560590617691005]
各コホートから「より多くのジュースを抽出できるかどうか」を単一の通信ラウンドでできることよりも検討する。本手法は,デバイス間通信におけるFLモデルのトレーニングに必要な通信コストを最大74%削減する。
論文参考訳（メタデータ） (2024-06-03T08:48:49Z)
LEFL: Low Entropy Client Sampling in Federated Learning [6.436397118145477]
Federated Learning(FL)は、複数のクライアントが協力して、プライベートデータを使用して単一のグローバルモデルを最適化する、機械学習パラダイムである。本稿では,モデルが学習した高レベルの特徴に基づいて,クライアントのクラスタリングを1回行うことで,新たなサンプリング手法LEFLを提案する。提案手法で選択したサンプルクライアントは,グローバルなデータ分布に対して,相対エントロピーが低いことを示す。
論文参考訳（メタデータ） (2023-12-29T01:44:20Z)
Enhanced Federated Optimization: Adaptive Unbiased Client Sampling with Reduced Variance [37.646655530394604]
Federated Learning(FL)は、ローカルデータを収集することなく、複数のデバイスでグローバルモデルをトレーニングする分散学習パラダイムである。独立サンプリング手法を用いて,最初の適応型クライアントサンプリング器K-Vibを提案する。 K-Vibは、一連の通信予算の中で、後悔すべき$tildemathcalObig(Nfrac13Tfrac23/Kfrac43big)$の線形スピードアップを達成する。
論文参考訳（メタデータ） (2023-10-04T10:08:01Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文参考訳（メタデータ） (2023-05-01T20:04:46Z)
When to Trust Aggregated Gradients: Addressing Negative Client Sampling in Federated Learning [41.51682329500003]
本稿では,各ラウンドにおける集約勾配に対するサーバ学習率を調整するための新しい学習率適応機構を提案する。我々は、最適なサーバ学習率に肯定的な有意義で堅牢な指標を見つけるために、理論的な推論を行う。
論文参考訳（メタデータ） (2023-01-25T03:52:45Z)
Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文参考訳（メタデータ） (2022-09-30T05:42:56Z)
Mining Latent Relationships among Clients: Peer-to-peer Federated Learning with Adaptive Neighbor Matching [6.959557494221414]
フェデレートラーニング(FL)では、クライアントは多様な目的を持ち、すべてのクライアントの知識をひとつのグローバルモデルにマージすることで、ローカルパフォーマンスへの負の移行を引き起こす。我々はP2P(P2P) FLを活用し、クライアントは中心サーバなしで隣人と通信する。本稿では,クラスタ数を仮定することなく,効率的な通信トポロジを分散的に構築するアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-03-23T09:10:14Z)
On the Convergence of Clustered Federated Learning [57.934295064030636]
統合学習システムでは、例えばモバイルデバイスや組織参加者といったクライアントは通常、個人の好みや行動パターンが異なる。本稿では,クライアントグループと各クライアントを統一最適化フレームワークで活用する,新しい重み付きクライアントベースクラスタリングFLアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-02-13T02:39:19Z)
Adaptive Client Sampling in Federated Learning via Online Learning with Bandit Feedback [36.05851452151107]
統合学習(FL)システムは、トレーニングの各ラウンドに関与するクライアントのサブセットをサンプリングする必要があります。その重要性にもかかわらず、クライアントを効果的にサンプリングする方法には制限がある。提案手法は,最適化アルゴリズムの収束速度をいかに向上させるかを示す。
論文参考訳（メタデータ） (2021-12-28T23:50:52Z)
Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
論文参考訳（メタデータ） (2021-06-20T13:51:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。