論文の概要: Enhanced Federated Optimization: Adaptive Unbiased Sampling with Reduced
Variance
- arxiv url: http://arxiv.org/abs/2310.02698v2
- Date: Sun, 4 Feb 2024 18:18:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 04:55:19.071675
- Title: Enhanced Federated Optimization: Adaptive Unbiased Sampling with Reduced
Variance
- Title(参考訳): フェデレーション最適化の強化:分散を低減した適応的不偏サンプリング
- Authors: Dun Zeng, Zenglin Xu, Yu Pan, Xu Luo, Qifan Wang, Xiaoying Tang
- Abstract要約: Federated Learning(FL)は、ローカルデータを収集することなく、複数のデバイスでグローバルモデルをトレーニングする分散学習パラダイムである。
独立サンプリング手法を用いて,最初の適応型クライアントサンプリング器K-Vibを提案する。
K-Vibは、一連の通信予算の中で、後悔すべき$tildemathcalObig(Nfrac13Tfrac23/Kfrac43big)$の線形スピードアップを達成する。
- 参考スコア(独自算出の注目度): 39.89099181979736
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Federated Learning (FL) is a distributed learning paradigm to train a global
model across multiple devices without collecting local data. In FL, a server
typically selects a subset of clients for each training round to optimize
resource usage. Central to this process is the technique of unbiased client
sampling, which ensures a representative selection of clients. Current methods
primarily utilize a random sampling procedure which, despite its effectiveness,
achieves suboptimal efficiency owing to the loose upper bound caused by the
sampling variance. In this work, by adopting an independent sampling procedure,
we propose a federated optimization framework focused on adaptive unbiased
client sampling, improving the convergence rate via an online variance
reduction strategy. In particular, we present the first adaptive client
sampler, K-Vib, employing an independent sampling procedure. K-Vib achieves a
linear speed-up on the regret bound
$\tilde{\mathcal{O}}\big(N^{\frac{1}{3}}T^{\frac{2}{3}}/K^{\frac{4}{3}}\big)$
within a set communication budget $K$. Empirical studies indicate that K-Vib
doubles the speed compared to baseline algorithms, demonstrating significant
potential in federated optimization.
- Abstract(参考訳): Federated Learning(FL)は、ローカルデータを収集することなく、複数のデバイスでグローバルモデルをトレーニングする分散学習パラダイムである。
FLでは、サーバは通常、トレーニングラウンド毎にクライアントのサブセットを選択し、リソース使用を最適化します。
このプロセスの中心は、クライアントの代表的な選択を確実にする非バイアスのクライアントサンプリング技術である。
現在の手法は主にランダムサンプリング法を利用しており、その効果にもかかわらずサンプリング分散に起因するゆるい上界による最適下界効率を実現する。
そこで本研究では,個別サンプリング手法を採用することで,適応型非バイアスクライアントサンプリングに着目し,オンライン分散削減戦略による収束率の向上を目的とした統合最適化フレームワークを提案する。
特に,独立サンプリング手法を用いた最初の適応型クライアントサンプリング器K-Vibを提案する。
k-vib は、セットされた通信予算 $k$ 内で、後悔に縛られた $\tilde{\mathcal{o}}\big(n^{\frac{1}{3}}t^{\frac{2}{3}}/k^{\frac{4}{3}}\big)$ の線形速度アップを達成する。
経験的研究により、K-Vibはベースラインアルゴリズムに比べて速度が2倍になり、フェデレート最適化において有意な可能性を示すことが示されている。
関連論文リスト
- Adaptive Federated Learning in Heterogeneous Wireless Networks with
Independent Sampling [16.121943421997557]
Federated Learning (FL)アルゴリズムは、ストラグラー問題に対処し、通信効率を向上させるために、クライアントのランダムなサブセットをサンプリングする。
近年、様々なクライアントサンプリング手法が提案されているが、結合系やデータの不均一性には制限がある。
本稿では,FLのウォールクロック時間を最小限に抑えるため,新たなクライアントサンプリング手法を提案する。
論文 参考訳(メタデータ) (2024-02-15T16:51:38Z) - LEFL: Low Entropy Client Sampling in Federated Learning [6.436397118145477]
Federated Learning(FL)は、複数のクライアントが協力して、プライベートデータを使用して単一のグローバルモデルを最適化する、機械学習パラダイムである。
本稿では,モデルが学習した高レベルの特徴に基づいて,クライアントのクラスタリングを1回行うことで,新たなサンプリング手法LEFLを提案する。
提案手法で選択したサンプルクライアントは,グローバルなデータ分布に対して,相対エントロピーが低いことを示す。
論文 参考訳(メタデータ) (2023-12-29T01:44:20Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated
Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。
半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文 参考訳(メタデータ) (2022-12-03T03:27:51Z) - Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。
我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。
特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文 参考訳(メタデータ) (2022-09-30T05:42:56Z) - Server-Side Stepsizes and Sampling Without Replacement Provably Help in
Federated Optimization [6.935471115003109]
本稿では,クライアント更新のフェデレーション学習に関する理論的研究を行う。
特に、ローカライズが小さくなると、すべてのクライアントに対してアップデートを行うことができることを証明しています。
また,サーバ側ステップサイズを小さくすることで,クライアントサンプリングのノイズを制御できることも証明した。
論文 参考訳(メタデータ) (2022-01-26T17:26:25Z) - Adaptive Client Sampling in Federated Learning via Online Learning with
Bandit Feedback [36.05851452151107]
統合学習(FL)システムは、トレーニングの各ラウンドに関与するクライアントのサブセットをサンプリングする必要があります。
その重要性にもかかわらず、クライアントを効果的にサンプリングする方法には制限がある。
提案手法は,最適化アルゴリズムの収束速度をいかに向上させるかを示す。
論文 参考訳(メタデータ) (2021-12-28T23:50:52Z) - Fast Variational AutoEncoder with Inverted Multi-Index for Collaborative
Filtering [59.349057602266]
変分オートエンコーダ (VAE) は, 協調フィルタリングの非線形手法として拡張されている。
内積に基づくソフトマックス確率を逆多重インデックスに基づいて分解する。
FastVAEはサンプリング品質と効率の両面で最先端のベースラインを上回っます。
論文 参考訳(メタデータ) (2021-09-13T08:31:59Z) - Clustered Sampling: Low-Variance and Improved Representativity for
Clients Selection in Federated Learning [4.530678016396477]
本研究は,フェデレートラーニング(FL)におけるサーバとクライアント間の通信を最適化する問題に対処する。
FLの現在のサンプリングアプローチは、サーバクライアントの通信とトレーニングの安定性の観点から、偏見または不最適のいずれかです。
クラスタ化サンプリングがクライアントの表現性の向上とFLにおけるクライアント集約重みの分散の低減につながることを証明した。
論文 参考訳(メタデータ) (2021-05-12T18:19:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。