論文の概要: Optimal Client Sampling for Federated Learning
- arxiv url: http://arxiv.org/abs/2010.13723v3
- Date: Mon, 22 Aug 2022 15:38:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-02 20:18:42.266467
- Title: Optimal Client Sampling for Federated Learning
- Title(参考訳): フェデレーション学習のための最適クライアントサンプリング
- Authors: Wenlin Chen, Samuel Horvath, Peter Richtarik
- Abstract要約: アップデートをマスターノードに伝えることができるクライアントの数を制限する。
各通信ラウンドでは、参加するすべてのクライアントがアップデートを計算しますが、"重要な"アップデートを持つクライアントだけがマスターに通信します。
更新の基準のみを用いて重要度を測定することができ、最適なクライアント参加の式を提供する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It is well understood that client-master communication can be a primary
bottleneck in Federated Learning. In this work, we address this issue with a
novel client subsampling scheme, where we restrict the number of clients
allowed to communicate their updates back to the master node. In each
communication round, all participating clients compute their updates, but only
the ones with "important" updates communicate back to the master. We show that
importance can be measured using only the norm of the update and give a formula
for optimal client participation. This formula minimizes the distance between
the full update, where all clients participate, and our limited update, where
the number of participating clients is restricted. In addition, we provide a
simple algorithm that approximates the optimal formula for client
participation, which only requires secure aggregation and thus does not
compromise client privacy. We show both theoretically and empirically that for
Distributed SGD (DSGD) and Federated Averaging (FedAvg), the performance of our
approach can be close to full participation and superior to the baseline where
participating clients are sampled uniformly. Moreover, our approach is
orthogonal to and compatible with existing methods for reducing communication
overhead, such as local methods and communication compression methods.
- Abstract(参考訳): クライアント-マスターコミュニケーションがフェデレートラーニングの主要なボトルネックとなることはよく理解されている。
本研究では,新しいクライアントサブサンプリング方式でこの問題に対処し,マスタノードへの更新の通信を許可するクライアントの数を制限した。
各通信ラウンドでは、参加するすべてのクライアントがアップデートを計算しますが、"重要な"アップデートを持つクライアントだけがマスターに通信します。
更新の基準のみを用いて重要度を測定することができ、最適なクライアント参加の式を提供する。
この公式は、すべてのクライアントが参加するフルアップデートと、参加するクライアント数を制限する限定的なアップデートとの間の距離を最小化する。
さらに,セキュアなアグリゲーションのみを必要とするため,クライアントのプライバシを侵害しない,クライアント参加の最適公式を近似する単純なアルゴリズムを提案する。
本研究では,分散SGD (DSGD) とフェデレート平均化 (FedAvg) の両面において,本手法の性能は完全参加に近づき,一様にクライアントをサンプリングするベースラインよりも優れていることを示す。
さらに,提案手法は,通信のオーバーヘッドを削減する既存の手法,例えばローカルメソッドや通信圧縮メソッドと直交し,互換性がある。
関連論文リスト
- Greedy Shapley Client Selection for Communication-Efficient Federated
Learning [32.38170282930876]
フェデレートラーニング(FL)のための標準的なクライアント選択アルゴリズムは、しばしばバイアスがなく、クライアントのランダムサンプリングが一様である。
私たちは、各通信ラウンドで最も貢献するクライアントを特定し、優しく選択する、バイアスのあるクライアント選択戦略であるGreedyFedを開発します。
複数の実世界のデータセット上のさまざまなクライアント選択戦略と比較して、GreedyFedは、タイミング制約の下で高い精度で高速で安定した収束を示す。
論文 参考訳(メタデータ) (2023-12-14T16:44:38Z) - Utilizing Free Clients in Federated Learning for Focused Model
Enhancement [9.370655190768163]
Federated Learning(FL)は、分散機械学習のアプローチで、分散化された異種データのモデルを学ぶ。
我々はこの課題に対処するためにFedALIGN(Federated Adaptive Learning with Inclusion of Global Needs)を提案する。
論文 参考訳(メタデータ) (2023-10-06T18:23:40Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - Re-Weighted Softmax Cross-Entropy to Control Forgetting in Federated
Learning [14.196701066823499]
フェデレートラーニング(Federated Learning)では、独立したクライアントノードの集合で計算されたモデル更新を集約することによって、グローバルモデルが学習される。
我々は、個々のクライアントモデルが、他のクライアントのデータに関して破滅的な忘れを経験していることを示します。
本稿では,損失の計算に先立ってソフトマックスのロジットを再重み付けすることで,クロスエントロピーの目標を周期的に修正する効率的な手法を提案する。
論文 参考訳(メタデータ) (2023-04-11T14:51:55Z) - Federated Learning with Regularized Client Participation [1.433758865948252]
Federated Learning(FL)は、複数のクライアントが協力して機械学習タスクを解決する分散機械学習アプローチである。
FLの主な課題の1つは、多くのクライアントがトレーニングプロセスに関与しているときに発生する部分的な参加の問題である。
本稿では,新しい手法を提案し,新しいクライアント参加方式を設計する。
論文 参考訳(メタデータ) (2023-02-07T18:26:07Z) - DisPFL: Towards Communication-Efficient Personalized Federated Learning
via Decentralized Sparse Training [84.81043932706375]
本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。
Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。
本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
論文 参考訳(メタデータ) (2022-06-01T02:20:57Z) - Communication-Efficient Federated Learning with Acceleration of Global
Momentum [46.771459325434535]
フェデレートラーニングはしばしば、参加するクライアントの不均一な特性のために不安定で遅い収束に悩まされる。
本稿では,サーバ側のアグリゲーションステップの安定性を向上させる新しいフェデレーション学習フレームワークを提案する。
本アルゴリズムは,グローバルな更新情報を,追加の通信コストを伴わない参加者に自然に集約し,伝達する。
論文 参考訳(メタデータ) (2022-01-10T05:31:07Z) - Federated Multi-Target Domain Adaptation [99.93375364579484]
フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。
分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。
本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
論文 参考訳(メタデータ) (2021-08-17T17:53:05Z) - Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。
基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。
この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
論文 参考訳(メタデータ) (2020-12-15T19:30:29Z) - Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。
クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文 参考訳(メタデータ) (2020-12-07T21:05:31Z) - Shuffled Model of Federated Learning: Privacy, Communication and
Accuracy Trade-offs [30.58690911428577]
通信効率とプライバシ要求を考慮した分散経験的リスク最小化(ERM)の最適化問題を考察する。
いくつかの$ell_p$空間に対するプライベート平均推定のための(最適)通信効率スキームを開発する。
完全精度通信を用いた最近の手法で開発された,同一のプライバシ,最適化性能のオペレーティングポイントを実現できることを示す。
論文 参考訳(メタデータ) (2020-08-17T09:41:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。