Fugu-MT 論文翻訳(概要): Exploring Federated Optimization by Reducing Variance of Adaptive Unbiased Client Sampling

論文の概要: Exploring Federated Optimization by Reducing Variance of Adaptive Unbiased Client Sampling

arxiv url: http://arxiv.org/abs/2310.02698v1
Date: Wed, 4 Oct 2023 10:08:01 GMT
ステータス: 処理完了
システム内更新日: 2023-10-05 15:51:06.018718
Title: Exploring Federated Optimization by Reducing Variance of Adaptive Unbiased Client Sampling
Title（参考訳）: 適応型アンバイアスクライアントサンプリングのばらつき低減によるフェデレート最適化の探索
Authors: Dun Zeng, Zenglin Xu, Yu Pan, Qifan Wang, Xiaoying Tang
Abstract要約: フェデレートラーニング(FL)システムは通常、トレーニングプロセスを実行するために少数のクライアントをサンプリングします。サンプルクライアントの情報に基づいて構築されたグローバルモデルを更新するためのグローバル推定のばらつきは、フェデレーション最適化の品質に大きく関係している。本稿では,フェデレート最適化における"自由"適応型クライアントサンプリング手法について検討する。
参考スコア（独自算出の注目度）: 40.49340305314807
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Federated Learning (FL) systems usually sample a fraction of clients to conduct a training process. Notably, the variance of global estimates for updating the global model built on information from sampled clients is highly related to federated optimization quality. This paper explores a line of "free" adaptive client sampling techniques in federated optimization, where the server builds promising sampling probability and reliable global estimates without requiring additional local communication and computation. We capture a minor variant in the sampling procedure and improve the global estimation accordingly. Based on that, we propose a novel sampler called K-Vib, which solves an online convex optimization respecting client sampling in federated optimization. It achieves improved a linear speed up on regret bound $\tilde{\mathcal{O}}\big(N^{\frac{1}{3}}T^{\frac{2}{3}}/K^{\frac{4}{3}}\big)$ with communication budget $K$. As a result, it significantly improves the performance of federated optimization. Theoretical improvements and intensive experiments on classic federated tasks demonstrate our findings.
Abstract（参考訳）: フェデレーション学習(fl)システムは、通常、トレーニングプロセスを実行するために少数のクライアントをサンプリングする。特に、サンプルクライアントの情報に基づいて構築されたグローバルモデルを更新するためのグローバル推定のばらつきは、フェデレートされた最適化品質に大きく関係している。本稿では,サーバが追加のローカル通信や計算を必要とせずに,有望なサンプリング確率と信頼性の高いグローバル推定を構築できる,フェデレート最適化における"フリー"適応クライアントサンプリング手法について検討する。サンプリング手順のマイナーな変種をキャプチャし,それに従ってグローバル推定を改善する。そこで本研究では,クライアントサンプリングに配慮したオンライン凸最適化を実現するK-Vibという新しいサンプル手法を提案する。これは、通信予算$k$で、後悔に縛られた$\tilde{\mathcal{o}}\big(n^{\frac{1}{3}}t^{\frac{2}{3}}/k^{\frac{4}{3}}\big)$の線形速度向上を実現する。その結果,フェデレート最適化の性能が大幅に向上した。古典的なフェデレーションタスクに関する理論的改善と集中的な実験が得られた。

関連論文リスト

Cohort Squeeze: Beyond a Single Communication Round per Cohort in Cross-Device Federated Learning [51.560590617691005]
各コホートから「より多くのジュースを抽出できるかどうか」を単一の通信ラウンドでできることよりも検討する。本手法は,デバイス間通信におけるFLモデルのトレーニングに必要な通信コストを最大74%削減する。
論文参考訳（メタデータ） (2024-06-03T08:48:49Z)
Emulating Full Client Participation: A Long-Term Client Selection Strategy for Federated Learning [48.94952630292219]
本稿では,クライアントの完全参加によって達成されるパフォーマンスをエミュレートする新しいクライアント選択戦略を提案する。 1ラウンドで、クライアントサブセットとフルクライアントセット間の勾配空間推定誤差を最小化し、クライアントを選択する。複数ラウンド選択において、類似したデータ分布を持つクライアントが選択される頻度に類似することを保証する、新しい個性制約を導入する。
論文参考訳（メタデータ） (2024-05-22T12:27:24Z)
Adaptive Heterogeneous Client Sampling for Federated Learning over Wireless Networks [27.545199007002577]
フェデレートラーニング(FL)アルゴリズムは、参加者数が大きい場合、各ラウンド(部分的な参加)に少数のクライアントをサンプリングする。 FLの最近の収束解析は、クライアントの不均一性によるスロークロック収束に焦点を当てている。任意の確率サンプリングによるFLのための新しいトラクタブル収束システムを提案する。
論文参考訳（メタデータ） (2024-04-22T00:16:18Z)
Adaptive Federated Learning in Heterogeneous Wireless Networks with Independent Sampling [15.027267764009052]
Federated Learning (FL)アルゴリズムは、ストラグラー問題に対処し、通信効率を向上させるために、クライアントのランダムなサブセットをサンプリングする。近年、様々なクライアントサンプリング手法が提案されているが、結合系やデータの不均一性には制限がある。本稿では,FLのウォールクロック時間を最小限に抑えるため,新たなクライアントサンプリング手法を提案する。
論文参考訳（メタデータ） (2024-02-15T16:51:38Z)
LEFL: Low Entropy Client Sampling in Federated Learning [6.436397118145477]
Federated Learning(FL)は、複数のクライアントが協力して、プライベートデータを使用して単一のグローバルモデルを最適化する、機械学習パラダイムである。本稿では,モデルが学習した高レベルの特徴に基づいて,クライアントのクラスタリングを1回行うことで,新たなサンプリング手法LEFLを提案する。提案手法で選択したサンプルクライアントは,グローバルなデータ分布に対して,相対エントロピーが低いことを示す。
論文参考訳（メタデータ） (2023-12-29T01:44:20Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文参考訳（メタデータ） (2022-12-03T03:27:51Z)
Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文参考訳（メタデータ） (2022-09-30T05:42:56Z)
Adaptive Client Sampling in Federated Learning via Online Learning with Bandit Feedback [36.05851452151107]
統合学習(FL)システムは、トレーニングの各ラウンドに関与するクライアントのサブセットをサンプリングする必要があります。その重要性にもかかわらず、クライアントを効果的にサンプリングする方法には制限がある。提案手法は,最適化アルゴリズムの収束速度をいかに向上させるかを示す。
論文参考訳（メタデータ） (2021-12-28T23:50:52Z)
Clustered Sampling: Low-Variance and Improved Representativity for Clients Selection in Federated Learning [4.530678016396477]
本研究は,フェデレートラーニング(FL)におけるサーバとクライアント間の通信を最適化する問題に対処する。 FLの現在のサンプリングアプローチは、サーバクライアントの通信とトレーニングの安定性の観点から、偏見または不最適のいずれかです。クラスタ化サンプリングがクライアントの表現性の向上とFLにおけるクライアント集約重みの分散の低減につながることを証明した。
論文参考訳（メタデータ） (2021-05-12T18:19:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。