論文の概要: Exploring Federated Optimization by Reducing Variance of Adaptive Unbiased Client Sampling

• arxiv url: http://arxiv.org/abs/2310.02698v1
• Date: Wed, 4 Oct 2023 10:08:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 15:51:06.018718
• Title: Exploring Federated Optimization by Reducing Variance of Adaptive Unbiased Client Sampling
• Title（参考訳）: 適応型アンバイアスクライアントサンプリングのばらつき低減によるフェデレート最適化の探索
• Authors: Dun Zeng, Zenglin Xu, Yu Pan, Qifan Wang, Xiaoying Tang
• Abstract要約: フェデレートラーニング(FL)システムは通常、トレーニングプロセスを実行するために少数のクライアントをサンプリングします。 サンプルクライアントの情報に基づいて構築されたグローバルモデルを更新するためのグローバル推定のばらつきは、フェデレーション最適化の品質に大きく関係している。 本稿では,フェデレート最適化における"自由"適応型クライアントサンプリング手法について検討する。
• 参考スコア（独自算出の注目度）: 40.49340305314807
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Federated Learning (FL) systems usually sample a fraction of clients to conduct a training process. Notably, the variance of global estimates for updating the global model built on information from sampled clients is highly related to federated optimization quality. This paper explores a line of "free" adaptive client sampling techniques in federated optimization, where the server builds promising sampling probability and reliable global estimates without requiring additional local communication and computation. We capture a minor variant in the sampling procedure and improve the global estimation accordingly. Based on that, we propose a novel sampler called K-Vib, which solves an online convex optimization respecting client sampling in federated optimization. It achieves improved a linear speed up on regret bound $\tilde{\mathcal{O}}\big(N^{\frac{1}{3}}T^{\frac{2}{3}}/K^{\frac{4}{3}}\big)$ with communication budget $K$. As a result, it significantly improves the performance of federated optimization. Theoretical improvements and intensive experiments on classic federated tasks demonstrate our findings.
• Abstract（参考訳）: フェデレーション学習(fl)システムは、通常、トレーニングプロセスを実行するために少数のクライアントをサンプリングする。 特に、サンプルクライアントの情報に基づいて構築されたグローバルモデルを更新するためのグローバル推定のばらつきは、フェデレートされた最適化品質に大きく関係している。 本稿では,サーバが追加のローカル通信や計算を必要とせずに,有望なサンプリング確率と信頼性の高いグローバル推定を構築できる,フェデレート最適化における"フリー"適応クライアントサンプリング手法について検討する。 サンプリング手順のマイナーな変種をキャプチャし,それに従ってグローバル推定を改善する。 そこで本研究では,クライアントサンプリングに配慮したオンライン凸最適化を実現するK-Vibという新しいサンプル手法を提案する。 これは、通信予算$k$で、後悔に縛られた$\tilde{\mathcal{o}}\big(n^{\frac{1}{3}}t^{\frac{2}{3}}/k^{\frac{4}{3}}\big)$の線形速度向上を実現する。 その結果,フェデレート最適化の性能が大幅に向上した。 古典的なフェデレーションタスクに関する理論的改善と集中的な実験が得られた。

関連論文リスト

• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• Adaptive Heterogeneous Client Sampling for Federated Learning over Wireless Networks [27.545199007002577]
  フェデレートラーニング(FL)アルゴリズムは、参加者数が大きい場合、各ラウンド(部分的な参加)に少数のクライアントをサンプリングする。 FLの最近の収束解析は、クライアントの不均一性によるスロークロック収束に焦点を当てている。 任意の確率サンプリングによるFLのための新しいトラクタブル収束システムを提案する。
  論文  参考訳（メタデータ） (2024-04-22T00:16:18Z)
• Adaptive Federated Learning in Heterogeneous Wireless Networks with Independent Sampling [15.027267764009052]
  Federated Learning (FL)アルゴリズムは、ストラグラー問題に対処し、通信効率を向上させるために、クライアントのランダムなサブセットをサンプリングする。 近年、様々なクライアントサンプリング手法が提案されているが、結合系やデータの不均一性には制限がある。 本稿では,FLのウォールクロック時間を最小限に抑えるため,新たなクライアントサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2024-02-15T16:51:38Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated Learning via Class-Imbalance Reduction [76.26710990597498]
  本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。 我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。 特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
  論文  参考訳（メタデータ） (2022-09-30T05:42:56Z)
• Adaptive Client Sampling in Federated Learning via Online Learning with Bandit Feedback [31.826205004616227]
  クライアントサンプリングは、最適化アルゴリズムの収束率に影響を与えるため、連邦学習(FL)システムにおいて重要な役割を果たす。 サンプリング分散の最小化を目的としたオンラインミラー降下(OSMD)アルゴリズムを提案する。 本手法は, 広く使用されている一様サンプリングよりも, フェデレーション最適化アルゴリズムの収束速度を向上できることを示す。
  論文  参考訳（メタデータ） (2021-12-28T23:50:52Z)
• Clustered Sampling: Low-Variance and Improved Representativity for Clients Selection in Federated Learning [4.530678016396477]
  本研究は,フェデレートラーニング(FL)におけるサーバとクライアント間の通信を最適化する問題に対処する。 FLの現在のサンプリングアプローチは、サーバクライアントの通信とトレーニングの安定性の観点から、偏見または不最適のいずれかです。 クラスタ化サンプリングがクライアントの表現性の向上とFLにおけるクライアント集約重みの分散の低減につながることを証明した。
  論文  参考訳（メタデータ） (2021-05-12T18:19:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。