Fugu-MT 論文翻訳(概要): Enhanced Federated Optimization: Adaptive Unbiased Client Sampling with Reduced Variance

論文の概要: Enhanced Federated Optimization: Adaptive Unbiased Client Sampling with Reduced Variance

arxiv url: http://arxiv.org/abs/2310.02698v3
Date: Sat, 31 Aug 2024 16:15:35 GMT
ステータス: 処理完了
システム内更新日: 2024-09-04 22:24:42.239757
Title: Enhanced Federated Optimization: Adaptive Unbiased Client Sampling with Reduced Variance
Title（参考訳）: 強化されたフェデレーション最適化: 適応的で偏りのないクライアントサンプリング
Authors: Dun Zeng, Zenglin Xu, Yu Pan, Xu Luo, Qifan Wang, Xiaoying Tang,
Abstract要約: Federated Learning(FL)は、ローカルデータを収集することなく、複数のデバイスでグローバルモデルをトレーニングする分散学習パラダイムである。独立サンプリング手法を用いて,最初の適応型クライアントサンプリング器K-Vibを提案する。 K-Vibは、一連の通信予算の中で、後悔すべき$tildemathcalObig(Nfrac13Tfrac23/Kfrac43big)$の線形スピードアップを達成する。
参考スコア（独自算出の注目度）: 37.646655530394604
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Federated Learning (FL) is a distributed learning paradigm to train a global model across multiple devices without collecting local data. In FL, a server typically selects a subset of clients for each training round to optimize resource usage. Central to this process is the technique of unbiased client sampling, which ensures a representative selection of clients. Current methods primarily utilize a random sampling procedure which, despite its effectiveness, achieves suboptimal efficiency owing to the loose upper bound caused by the sampling variance. In this work, by adopting an independent sampling procedure, we propose a federated optimization framework focused on adaptive unbiased client sampling, improving the convergence rate via an online variance reduction strategy. In particular, we present the first adaptive client sampler, K-Vib, employing an independent sampling procedure. K-Vib achieves a linear speed-up on the regret bound $\tilde{\mathcal{O}}\big(N^{\frac{1}{3}}T^{\frac{2}{3}}/K^{\frac{4}{3}}\big)$ within a set communication budget $K$. Empirical studies indicate that K-Vib doubles the speed compared to baseline algorithms, demonstrating significant potential in federated optimization.
Abstract（参考訳）: Federated Learning(FL)は、ローカルデータを収集することなく、複数のデバイスでグローバルモデルをトレーニングする分散学習パラダイムである。 FLでは、サーバは通常、トレーニングラウンド毎にクライアントのサブセットを選択し、リソース使用を最適化します。このプロセスの中心は、クライアントの代表的な選択を確実にする非バイアスのクライアントサンプリングのテクニックである。現在の手法は主にランダムサンプリング法を利用しており、その有効性にもかかわらずサンプリング分散に起因するゆるい上界による最適下界効率を実現する。本研究では,独立サンプリング手法を採用することにより,適応的アンバイアスクライアントサンプリングに着目したフェデレーション最適化フレームワークを提案する。特に,独立したサンプリング手法を用いて,最初の適応型クライアントサンプリング器K-Vibを提案する。 K-Vib は、ある通信予算$K$内で、後悔境界 $\tilde{\mathcal{O}}\big(N^{\frac{1}{3}}T^{\frac{2}{3}}/K^{\frac{4}{3}}\big)$ 上の線形スピードアップを達成する。経験的研究により、K-Vibはベースラインアルゴリズムに比べて速度が2倍になり、フェデレート最適化において有意なポテンシャルを示すことが示されている。

関連論文リスト

Cohort Squeeze: Beyond a Single Communication Round per Cohort in Cross-Device Federated Learning [51.560590617691005]
各コホートから「より多くのジュースを抽出できるかどうか」を単一の通信ラウンドでできることよりも検討する。本手法は,デバイス間通信におけるFLモデルのトレーニングに必要な通信コストを最大74%削減する。
論文参考訳（メタデータ） (2024-06-03T08:48:49Z)
Emulating Full Client Participation: A Long-Term Client Selection Strategy for Federated Learning [48.94952630292219]
本稿では,クライアントの完全参加によって達成されるパフォーマンスをエミュレートする新しいクライアント選択戦略を提案する。 1ラウンドで、クライアントサブセットとフルクライアントセット間の勾配空間推定誤差を最小化し、クライアントを選択する。複数ラウンド選択において、類似したデータ分布を持つクライアントが選択される頻度に類似することを保証する、新しい個性制約を導入する。
論文参考訳（メタデータ） (2024-05-22T12:27:24Z)
Adaptive Heterogeneous Client Sampling for Federated Learning over Wireless Networks [27.545199007002577]
フェデレートラーニング(FL)アルゴリズムは、参加者数が大きい場合、各ラウンド(部分的な参加)に少数のクライアントをサンプリングする。 FLの最近の収束解析は、クライアントの不均一性によるスロークロック収束に焦点を当てている。任意の確率サンプリングによるFLのための新しいトラクタブル収束システムを提案する。
論文参考訳（メタデータ） (2024-04-22T00:16:18Z)
Adaptive Federated Learning in Heterogeneous Wireless Networks with Independent Sampling [15.027267764009052]
Federated Learning (FL)アルゴリズムは、ストラグラー問題に対処し、通信効率を向上させるために、クライアントのランダムなサブセットをサンプリングする。近年、様々なクライアントサンプリング手法が提案されているが、結合系やデータの不均一性には制限がある。本稿では,FLのウォールクロック時間を最小限に抑えるため,新たなクライアントサンプリング手法を提案する。
論文参考訳（メタデータ） (2024-02-15T16:51:38Z)
LEFL: Low Entropy Client Sampling in Federated Learning [6.436397118145477]
Federated Learning(FL)は、複数のクライアントが協力して、プライベートデータを使用して単一のグローバルモデルを最適化する、機械学習パラダイムである。本稿では,モデルが学習した高レベルの特徴に基づいて,クライアントのクラスタリングを1回行うことで,新たなサンプリング手法LEFLを提案する。提案手法で選択したサンプルクライアントは,グローバルなデータ分布に対して,相対エントロピーが低いことを示す。
論文参考訳（メタデータ） (2023-12-29T01:44:20Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文参考訳（メタデータ） (2022-12-03T03:27:51Z)
Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文参考訳（メタデータ） (2022-09-30T05:42:56Z)
Adaptive Client Sampling in Federated Learning via Online Learning with Bandit Feedback [36.05851452151107]
統合学習(FL)システムは、トレーニングの各ラウンドに関与するクライアントのサブセットをサンプリングする必要があります。その重要性にもかかわらず、クライアントを効果的にサンプリングする方法には制限がある。提案手法は,最適化アルゴリズムの収束速度をいかに向上させるかを示す。
論文参考訳（メタデータ） (2021-12-28T23:50:52Z)
Clustered Sampling: Low-Variance and Improved Representativity for Clients Selection in Federated Learning [4.530678016396477]
本研究は,フェデレートラーニング(FL)におけるサーバとクライアント間の通信を最適化する問題に対処する。 FLの現在のサンプリングアプローチは、サーバクライアントの通信とトレーニングの安定性の観点から、偏見または不最適のいずれかです。クラスタ化サンプリングがクライアントの表現性の向上とFLにおけるクライアント集約重みの分散の低減につながることを証明した。
論文参考訳（メタデータ） (2021-05-12T18:19:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。