論文の概要: Client Selection in Nonconvex Federated Learning: Improved Convergence Analysis for Optimal Unbiased Sampling Strategy

• arxiv url: http://arxiv.org/abs/2205.13925v1
• Date: Fri, 27 May 2022 12:08:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-30 23:22:51.110033
• Title: Client Selection in Nonconvex Federated Learning: Improved Convergence Analysis for Optimal Unbiased Sampling Strategy
• Title（参考訳）: 非凸フェデレーション学習におけるクライアント選択:最適アンバイアスサンプリング戦略のための収束分析の改善
• Authors: Lin Wang, YongXin Guo, Tao Lin, Xiaoying Tang
• Abstract要約: フェデレーテッド・ラーニング(FL)は、コミュニケーションを減らすためにトレーニングに参加するクライアントのサブセットを選択する分散機械学習パラダイムである。 我々は,クライアントの局所的な分散に比例したサンプリング確率を持つFedSRCDを提案する。
• 参考スコア（独自算出の注目度）: 8.821505760306767
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) is a distributed machine learning paradigm that selects a subset of clients to participate in training to reduce communication burdens. However, partial client participation in FL causes \emph{objective inconsistency}, which can hinder the convergence, while this objective inconsistency has not been analyzed in existing studies on sampling methods. To tackle this issue, we propose an improved analysis method that focuses on the convergence behavior of the practical participated client's objective. Moreover, based on our convergence analysis, we give a novel unbiased sampling strategy, i.e., FedSRC-D, whose sampling probability is proportional to the client's gradient diversity and local variance. FedSRC-D is provable the optimal unbiased sampling in non-convex settings for non-IID FL with respect to the given bounds. Specifically, FedSRC-D achieves $\mathop{O}(\frac{G^2}{\epsilon^2}+\frac{1}{\epsilon^{2/3}})$ higher than SOTA convergence rate of FedAvg, and $\mathop{O}(\frac{G^2}{\epsilon^2})$ higher than other unbiased sampling methods. We corroborate our results with experiments on both synthetic and real data sets.
• Abstract（参考訳）: Federated Learning(FL)は、分散機械学習パラダイムで、訓練に参加するクライアントのサブセットを選択して、コミュニケーションの負担を軽減する。 しかし、flへの部分的なクライアント参加は収束を妨げることがあり、この目的の不整合はサンプリング法に関する既存の研究では分析されていない。 この問題に対処するために,実践的参加客の目的の収束行動に着目した改良型分析手法を提案する。 さらに, この収束解析に基づいて, クライアントの勾配の多様性と局所的分散に比例するサンプリング確率を持つfeedsrc-dという新しい非バイアスサンプリング戦略を提案する。 FedSRC-Dは、与えられた境界に対する非IID FLの非凸設定における最適なアンバイアスサンプリングを可能にする。 具体的には、FedSRC-D は$\mathop{O}(\frac{G^2}{\epsilon^2}+\frac{1}{\epsilon^{2/3}}) を FedAvg の SOTA 収束速度より高く、$\mathop{O}(\frac{G^2}{\epsilon^2}) を他の非バイアスサンプリング法より高くする。 我々は、合成データセットと実データの両方の実験で結果を裏付ける。

関連論文リスト

• Emulating Full Client Participation: A Long-Term Client Selection Strategy for Federated Learning [48.94952630292219]
  本稿では,クライアントの完全参加によって達成されるパフォーマンスをエミュレートする新しいクライアント選択戦略を提案する。 1ラウンドで、クライアントサブセットとフルクライアントセット間の勾配空間推定誤差を最小化し、クライアントを選択する。 複数ラウンド選択において、類似したデータ分布を持つクライアントが選択される頻度に類似することを保証する、新しい個性制約を導入する。
  論文  参考訳（メタデータ） (2024-05-22T12:27:24Z)
• Leveraging Foundation Models to Improve Lightweight Clients in Federated Learning [16.684749528240587]
  Federated Learning(FL)は、世界中に散在するクライアントが機密データを漏らさずにグローバルモデルを共同で学習することを可能にする、分散トレーニングパラダイムである。 FLは、クライアント間での不均一なデータ分散という形で大きな課題に直面しており、パフォーマンスとロバスト性は低下している。 本稿では,軽量クライアントモデルの連合訓練を支援し,推論コストを低く抑えつつ,不均一なデータ設定下での性能を向上させる基礎モデル蒸留について紹介する。
  論文  参考訳（メタデータ） (2023-11-14T19:10:56Z)
• Enhanced Federated Optimization: Adaptive Unbiased Client Sampling with Reduced Variance [37.646655530394604]
  Federated Learning(FL)は、ローカルデータを収集することなく、複数のデバイスでグローバルモデルをトレーニングする分散学習パラダイムである。 独立サンプリング手法を用いて,最初の適応型クライアントサンプリング器K-Vibを提案する。 K-Vibは、一連の通信予算の中で、後悔すべき$tildemathcalObig(Nfrac13Tfrac23/Kfrac43big)$の線形スピードアップを達成する。
  論文  参考訳（メタデータ） (2023-10-04T10:08:01Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Adaptive Federated Learning via New Entropy Approach [14.595709494370372]
  Federated Learning (FL) は、分散機械学習フレームワークとして注目されている。 本稿では,不均一クライアント間のパラメータ偏差を軽減するために,entropy理論(FedEnt)に基づく適応型FEDerated Learningアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-27T07:57:04Z)
• When to Trust Aggregated Gradients: Addressing Negative Client Sampling in Federated Learning [41.51682329500003]
  本稿では,各ラウンドにおける集約勾配に対するサーバ学習率を調整するための新しい学習率適応機構を提案する。 我々は、最適なサーバ学習率に肯定的な有意義で堅牢な指標を見つけるために、理論的な推論を行う。
  論文  参考訳（メタデータ） (2023-01-25T03:52:45Z)
• Federated Graph-based Sampling with Arbitrary Client Availability [34.95352685954059]
  本稿では,FedGS(Federated Graph-based Smpling)というフレームワークを提案する。 実験結果から,FedGSが公正なクライアントサンプリング方式を実現し,任意のクライアントアベイラビリティの下でモデル性能を向上させるという利点が確認できた。
  論文  参考訳（メタデータ） (2022-11-25T09:38:20Z)
• Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated Learning via Class-Imbalance Reduction [76.26710990597498]
  本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。 我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。 特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
  論文  参考訳（メタデータ） (2022-09-30T05:42:56Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。