論文の概要: Optimal Client Sampling for Federated Learning

• arxiv url: http://arxiv.org/abs/2010.13723v3
• Date: Mon, 22 Aug 2022 15:38:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 20:18:42.266467
• Title: Optimal Client Sampling for Federated Learning
• Title（参考訳）: フェデレーション学習のための最適クライアントサンプリング
• Authors: Wenlin Chen, Samuel Horvath, Peter Richtarik
• Abstract要約: アップデートをマスターノードに伝えることができるクライアントの数を制限する。 各通信ラウンドでは、参加するすべてのクライアントがアップデートを計算しますが、"重要な"アップデートを持つクライアントだけがマスターに通信します。 更新の基準のみを用いて重要度を測定することができ、最適なクライアント参加の式を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is well understood that client-master communication can be a primary bottleneck in Federated Learning. In this work, we address this issue with a novel client subsampling scheme, where we restrict the number of clients allowed to communicate their updates back to the master node. In each communication round, all participating clients compute their updates, but only the ones with "important" updates communicate back to the master. We show that importance can be measured using only the norm of the update and give a formula for optimal client participation. This formula minimizes the distance between the full update, where all clients participate, and our limited update, where the number of participating clients is restricted. In addition, we provide a simple algorithm that approximates the optimal formula for client participation, which only requires secure aggregation and thus does not compromise client privacy. We show both theoretically and empirically that for Distributed SGD (DSGD) and Federated Averaging (FedAvg), the performance of our approach can be close to full participation and superior to the baseline where participating clients are sampled uniformly. Moreover, our approach is orthogonal to and compatible with existing methods for reducing communication overhead, such as local methods and communication compression methods.
• Abstract（参考訳）: クライアント-マスターコミュニケーションがフェデレートラーニングの主要なボトルネックとなることはよく理解されている。 本研究では,新しいクライアントサブサンプリング方式でこの問題に対処し,マスタノードへの更新の通信を許可するクライアントの数を制限した。 各通信ラウンドでは、参加するすべてのクライアントがアップデートを計算しますが、"重要な"アップデートを持つクライアントだけがマスターに通信します。 更新の基準のみを用いて重要度を測定することができ、最適なクライアント参加の式を提供する。 この公式は、すべてのクライアントが参加するフルアップデートと、参加するクライアント数を制限する限定的なアップデートとの間の距離を最小化する。 さらに,セキュアなアグリゲーションのみを必要とするため,クライアントのプライバシを侵害しない,クライアント参加の最適公式を近似する単純なアルゴリズムを提案する。 本研究では,分散SGD (DSGD) とフェデレート平均化 (FedAvg) の両面において,本手法の性能は完全参加に近づき,一様にクライアントをサンプリングするベースラインよりも優れていることを示す。 さらに,提案手法は,通信のオーバーヘッドを削減する既存の手法,例えばローカルメソッドや通信圧縮メソッドと直交し,互換性がある。

関連論文リスト

• Personalized Federated Knowledge Graph Embedding with Client-Wise Relation Graph [49.66272783945571]
  クライアント関係グラフを用いた個人化フェデレーション知識グラフを提案する。 PFedEGは、近隣のクライアントから埋め込まれたエンティティを集約することで、各クライアントに対してパーソナライズされた補完知識を学習する。 我々は4つのベンチマークデータセットの広範な実験を行い、その手法を最先端モデルに対して評価する。
  論文  参考訳（メタデータ） (2024-06-17T17:44:53Z)
• Cohort Squeeze: Beyond a Single Communication Round per Cohort in Cross-Device Federated Learning [51.560590617691005]
  各コホートから「より多くのジュースを抽出できるかどうか」を単一の通信ラウンドでできることよりも検討する。 本手法は,デバイス間通信におけるFLモデルのトレーニングに必要な通信コストを最大74%削減する。
  論文  参考訳（メタデータ） (2024-06-03T08:48:49Z)
• Emulating Full Client Participation: A Long-Term Client Selection Strategy for Federated Learning [48.94952630292219]
  本稿では,クライアントの完全参加によって達成されるパフォーマンスをエミュレートする新しいクライアント選択戦略を提案する。 1ラウンドで、クライアントサブセットとフルクライアントセット間の勾配空間推定誤差を最小化し、クライアントを選択する。 複数ラウンド選択において、類似したデータ分布を持つクライアントが選択される頻度に類似することを保証する、新しい個性制約を導入する。
  論文  参考訳（メタデータ） (2024-05-22T12:27:24Z)
• Utilizing Free Clients in Federated Learning for Focused Model Enhancement [9.370655190768163]
  Federated Learning(FL)は、分散機械学習のアプローチで、分散化された異種データのモデルを学ぶ。 我々はこの課題に対処するためにFedALIGN(Federated Adaptive Learning with Inclusion of Global Needs)を提案する。
  論文  参考訳（メタデータ） (2023-10-06T18:23:40Z)
• Re-Weighted Softmax Cross-Entropy to Control Forgetting in Federated Learning [14.196701066823499]
  フェデレートラーニング(Federated Learning)では、独立したクライアントノードの集合で計算されたモデル更新を集約することによって、グローバルモデルが学習される。 我々は、個々のクライアントモデルが、他のクライアントのデータに関して破滅的な忘れを経験していることを示します。 本稿では,損失の計算に先立ってソフトマックスのロジットを再重み付けすることで,クロスエントロピーの目標を周期的に修正する効率的な手法を提案する。
  論文  参考訳（メタデータ） (2023-04-11T14:51:55Z)
• FilFL: Client Filtering for Optimized Client Participation in Federated Learning [71.46173076298957]
  フェデレートラーニングは、クライアントがローカルデータを交換することなく、協調的にモデルをトレーニングすることを可能にする。 トレーニングプロセスに参加するクライアントは、収束率、学習効率、モデル一般化に大きな影響を与えます。 本稿では,モデル一般化を改善し,クライアント参加とトレーニングを最適化する新しい手法であるクライアントフィルタリングを提案する。
  論文  参考訳（メタデータ） (2023-02-13T18:55:31Z)
• Federated Learning with Regularized Client Participation [1.433758865948252]
  Federated Learning(FL)は、複数のクライアントが協力して機械学習タスクを解決する分散機械学習アプローチである。 FLの主な課題の1つは、多くのクライアントがトレーニングプロセスに関与しているときに発生する部分的な参加の問題である。 本稿では,新しい手法を提案し,新しいクライアント参加方式を設計する。
  論文  参考訳（メタデータ） (2023-02-07T18:26:07Z)
• Communication-Efficient Federated Learning with Accelerated Client Gradient [46.81082897703729]
  フェデレーション学習は、クライアントデータセットの不均一な特徴のために、遅くて不安定な収束に悩まされることが多い。 本稿では,クライアント間の一貫性を改善し,サーバモデルの収束を容易にする,シンプルだが効果的なフェデレーション学習フレームワークを提案する。 我々は,アルゴリズムの理論的収束率を示し,精度と通信効率の点で顕著な性能向上を示す。
  論文  参考訳（メタデータ） (2022-01-10T05:31:07Z)
• Federated Multi-Target Domain Adaptation [99.93375364579484]
  フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。 分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。 本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:53:05Z)
• Shuffled Model of Federated Learning: Privacy, Communication and Accuracy Trade-offs [30.58690911428577]
  通信効率とプライバシ要求を考慮した分散経験的リスク最小化(ERM)の最適化問題を考察する。 いくつかの$ell_p$空間に対するプライベート平均推定のための(最適)通信効率スキームを開発する。 完全精度通信を用いた最近の手法で開発された,同一のプライバシ,最適化性能のオペレーティングポイントを実現できることを示す。
  論文  参考訳（メタデータ） (2020-08-17T09:41:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。