論文の概要: Enhanced Federated Optimization: Adaptive Unbiased Client Sampling with Reduced Variance
- arxiv url: http://arxiv.org/abs/2310.02698v3
- Date: Sat, 31 Aug 2024 16:15:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-04 22:24:42.239757
- Title: Enhanced Federated Optimization: Adaptive Unbiased Client Sampling with Reduced Variance
- Title（参考訳）: 強化されたフェデレーション最適化: 適応的で偏りのないクライアントサンプリング
- Authors: Dun Zeng, Zenglin Xu, Yu Pan, Xu Luo, Qifan Wang, Xiaoying Tang,
- Abstract要約: Federated Learning(FL)は、ローカルデータを収集することなく、複数のデバイスでグローバルモデルをトレーニングする分散学習パラダイムである。
独立サンプリング手法を用いて,最初の適応型クライアントサンプリング器K-Vibを提案する。
K-Vibは、一連の通信予算の中で、後悔すべき$tildemathcalObig(Nfrac13Tfrac23/Kfrac43big)$の線形スピードアップを達成する。
- 参考スコア（独自算出の注目度）: 37.646655530394604
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Federated Learning (FL) is a distributed learning paradigm to train a global model across multiple devices without collecting local data. In FL, a server typically selects a subset of clients for each training round to optimize resource usage. Central to this process is the technique of unbiased client sampling, which ensures a representative selection of clients. Current methods primarily utilize a random sampling procedure which, despite its effectiveness, achieves suboptimal efficiency owing to the loose upper bound caused by the sampling variance. In this work, by adopting an independent sampling procedure, we propose a federated optimization framework focused on adaptive unbiased client sampling, improving the convergence rate via an online variance reduction strategy. In particular, we present the first adaptive client sampler, K-Vib, employing an independent sampling procedure. K-Vib achieves a linear speed-up on the regret bound $\tilde{\mathcal{O}}\big(N^{\frac{1}{3}}T^{\frac{2}{3}}/K^{\frac{4}{3}}\big)$ within a set communication budget $K$. Empirical studies indicate that K-Vib doubles the speed compared to baseline algorithms, demonstrating significant potential in federated optimization.
- Abstract（参考訳）: Federated Learning(FL)は、ローカルデータを収集することなく、複数のデバイスでグローバルモデルをトレーニングする分散学習パラダイムである。
FLでは、サーバは通常、トレーニングラウンド毎にクライアントのサブセットを選択し、リソース使用を最適化します。
このプロセスの中心は、クライアントの代表的な選択を確実にする非バイアスのクライアントサンプリングのテクニックである。
現在の手法は主にランダムサンプリング法を利用しており、その有効性にもかかわらずサンプリング分散に起因するゆるい上界による最適下界効率を実現する。
本研究では,独立サンプリング手法を採用することにより,適応的アンバイアスクライアントサンプリングに着目したフェデレーション最適化フレームワークを提案する。
特に,独立したサンプリング手法を用いて,最初の適応型クライアントサンプリング器K-Vibを提案する。
K-Vib は、ある通信予算$K$内で、後悔境界 $\tilde{\mathcal{O}}\big(N^{\frac{1}{3}}T^{\frac{2}{3}}/K^{\frac{4}{3}}\big)$ 上の線形スピードアップを達成する。
経験的研究により、K-Vibはベースラインアルゴリズムに比べて速度が2倍になり、フェデレート最適化において有意なポテンシャルを示すことが示されている。
関連論文リスト
- Client-Centric Federated Adaptive Optimization [78.30827455292827]
Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。
本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
論文 参考訳（メタデータ） (2025-01-17T04:00:50Z) - Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。
OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
論文 参考訳（メタデータ） (2025-01-06T21:16:51Z) - Adaptive Heterogeneous Client Sampling for Federated Learning over Wireless Networks [27.545199007002577]
フェデレートラーニング(FL)アルゴリズムは、参加者数が大きい場合、各ラウンド(部分的な参加)に少数のクライアントをサンプリングする。
FLの最近の収束解析は、クライアントの不均一性によるスロークロック収束に焦点を当てている。
任意の確率サンプリングによるFLのための新しいトラクタブル収束システムを提案する。
論文 参考訳（メタデータ） (2024-04-22T00:16:18Z) - Adaptive Federated Learning in Heterogeneous Wireless Networks with Independent Sampling [15.027267764009052]
Federated Learning (FL)アルゴリズムは、ストラグラー問題に対処し、通信効率を向上させるために、クライアントのランダムなサブセットをサンプリングする。
近年、様々なクライアントサンプリング手法が提案されているが、結合系やデータの不均一性には制限がある。
本稿では,FLのウォールクロック時間を最小限に抑えるため,新たなクライアントサンプリング手法を提案する。
論文 参考訳（メタデータ） (2024-02-15T16:51:38Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated
Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。
半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文 参考訳（メタデータ） (2022-12-03T03:27:51Z) - Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。
我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。
特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文 参考訳（メタデータ） (2022-09-30T05:42:56Z) - Adaptive Client Sampling in Federated Learning via Online Learning with Bandit Feedback [31.826205004616227]
クライアントサンプリングは、最適化アルゴリズムの収束率に影響を与えるため、連邦学習(FL)システムにおいて重要な役割を果たす。
サンプリング分散の最小化を目的としたオンラインミラー降下(OSMD)アルゴリズムを提案する。
本手法は, 広く使用されている一様サンプリングよりも, フェデレーション最適化アルゴリズムの収束速度を向上できることを示す。
論文 参考訳（メタデータ） (2021-12-28T23:50:52Z) - Clustered Sampling: Low-Variance and Improved Representativity for
Clients Selection in Federated Learning [4.530678016396477]
本研究は,フェデレートラーニング(FL)におけるサーバとクライアント間の通信を最適化する問題に対処する。
FLの現在のサンプリングアプローチは、サーバクライアントの通信とトレーニングの安定性の観点から、偏見または不最適のいずれかです。
クラスタ化サンプリングがクライアントの表現性の向上とFLにおけるクライアント集約重みの分散の低減につながることを証明した。
論文 参考訳（メタデータ） (2021-05-12T18:19:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。