論文の概要: FedPop: Federated Population-based Hyperparameter Tuning
- arxiv url: http://arxiv.org/abs/2308.08634v3
- Date: Tue, 23 Jul 2024 09:42:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-24 23:33:02.460296
- Title: FedPop: Federated Population-based Hyperparameter Tuning
- Title（参考訳）: FedPop:Federated Populationベースのハイパーパラメータチューニング
- Authors: Haokun Chen, Denis Krompass, Jindong Gu, Volker Tresp,
- Abstract要約: Federated Learning(FL)は、分散機械学習(ML)パラダイムであり、複数のクライアントがローカルデータを集中することなく、協調的にMLモデルをトレーニングする。
集中型MLのためのHPのチューニングに関する広範な研究にもかかわらず、これらの手法はFLでの使用時に準最適結果が得られる。
これは主に、その"トレーニング後チューニング"フレームワークが、限られたクライアントパワーを持つFLには適さないためです。
- 参考スコア（独自算出の注目度）: 30.45354486897489
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) is a distributed machine learning (ML) paradigm, in which multiple clients collaboratively train ML models without centralizing their local data. Similar to conventional ML pipelines, the client local optimization and server aggregation procedure in FL are sensitive to the hyperparameter (HP) selection. Despite extensive research on tuning HPs for centralized ML, these methods yield suboptimal results when employed in FL. This is mainly because their "training-after-tuning" framework is unsuitable for FL with limited client computation power. While some approaches have been proposed for HP-Tuning in FL, they are limited to the HPs for client local updates. In this work, we propose a novel HP-tuning algorithm, called Federated Population-based Hyperparameter Tuning (FedPop), to address this vital yet challenging problem. FedPop employs population-based evolutionary algorithms to optimize the HPs, which accommodates various HP types at both the client and server sides. Compared with prior tuning methods, FedPop employs an online "tuning-while-training" framework, offering computational efficiency and enabling the exploration of a broader HP search space. Our empirical validation on the common FL benchmarks and complex real-world FL datasets, including full-sized Non-IID ImageNet-1K, demonstrates the effectiveness of the proposed method, which substantially outperforms the concurrent state-of-the-art HP-tuning methods in FL.
- Abstract（参考訳）: Federated Learning(FL)は、分散機械学習(ML)パラダイムであり、複数のクライアントがローカルデータを集中することなく、協調的にMLモデルをトレーニングする。
従来のMLパイプラインと同様に、FLのクライアントローカル最適化とサーバ集約手順は、ハイパーパラメータ(HP)の選択に敏感である。
集中型MLのためのHPのチューニングに関する広範な研究にもかかわらず、これらの手法はFLでの使用時に準最適結果が得られる。
フレームワークは、クライアントの計算能力に制限があるFLには適さないためである。
FLのHP-Tuningではいくつかのアプローチが提案されているが、クライアントローカルアップデートではHPに限られている。
本稿では,この課題に対処するため,FedPop(Federated Population-based Hyperparameter Tuning)と呼ばれるHPチューニングアルゴリズムを提案する。
FedPopは人口ベースの進化アルゴリズムを使ってHPを最適化し、クライアント側とサーバ側の両方で様々なHPタイプに対応している。
従来のチューニング手法と比較して、FedPopはオンラインの「チューニング時トレーニング」フレームワークを採用しており、計算効率を提供し、より広範なHP検索空間の探索を可能にする。
FLベンチマークと,フルサイズの非IID ImageNet-1Kを含む複雑な実世界のFLデータセットに対する実証的検証により,FLにおけるHPチューニング手法の並列性を大幅に向上させる提案手法の有効性が実証された。
関連論文リスト
- SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。
実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
論文 参考訳（メタデータ） (2024-06-01T13:10:35Z) - How to Privately Tune Hyperparameters in Federated Learning? Insights from a Benchmark Study [1.4968312514344115]
PrivTunaを使って、プライバシを保存するフェデレーション平均化と密度ベースのクラスタリングを実装しています。
PrivTunaは、多党同型暗号を用いたプライバシー保護HPチューニングのための新しいフレームワークである。
論文 参考訳（メタデータ） (2024-02-25T13:25:51Z) - Federated Learning of Large Language Models with Parameter-Efficient
Prompt Tuning and Adaptive Optimization [71.87335804334616]
フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。
LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。
本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
論文 参考訳（メタデータ） (2023-10-23T16:37:59Z) - FedAVO: Improving Communication Efficiency in Federated Learning with
African Vultures Optimizer [0.0]
Federated Learning (FL) は分散機械学習技術である。
本稿では,通信効率を向上させる新しいFLアルゴリズムであるFedAVOを紹介する。
我々はFedAVOがモデル精度と通信ラウンドにおいて大幅な改善を達成していることを示す。
論文 参考訳（メタデータ） (2023-05-02T02:04:19Z) - Federated Learning with Flexible Control [30.65854375019346]
フェデレートラーニング(FL)は、ユーザが収集したローカルデータから分散モデルトレーニングを可能にする。
制約のあるリソースと潜在的に高いダイナミクスを持つ分散システムでは、例えばモバイルエッジネットワークでは、FLの効率が重要な問題である。
フレキシブルに調整可能な複数のオプションを持つFLアルゴリズムであるFlexFLを提案する。
論文 参考訳（メタデータ） (2022-12-16T14:21:29Z) - Performance Optimization for Variable Bitwidth Federated Learning in
Wireless Networks [103.22651843174471]
本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。
提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。
FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
論文 参考訳（メタデータ） (2022-09-21T08:52:51Z) - FedHPO-B: A Benchmark Suite for Federated Hyperparameter Optimization [50.12374973760274]
本稿では,包括的FLタスクを組み込んだベンチマークスイートFedHPO-Bを提案する。
我々はまた、FedHPO-Bに基づく広範な実験を行い、いくつかのHPO法をベンチマークする。
論文 参考訳（メタデータ） (2022-06-08T15:29:10Z) - Single-shot Hyper-parameter Optimization for Federated Learning: A
General Algorithm & Analysis [20.98323380319439]
本稿では一般のFL-HPOソリューションフレームワークであるFederated Loss SuRface Aggregation (FLoRA)を紹介する。
FLoRAはシングルショットFL-HPOを可能にし、単一のFLトレーニングで使用される優れたハイパーパラメータのセットを識別する。
7つのOpenMLデータセット上での複数MLアルゴリズムに対するFLoRAの実証評価により,検討したベースラインに対するモデル精度の大幅な向上が示された。
論文 参考訳（メタデータ） (2022-02-16T21:14:34Z) - FLoRA: Single-shot Hyper-parameter Optimization for Federated Learning [19.854596038293277]
最初のFL-HPOソリューションフレームワークであるFederated Loss suRface Aggregation (FLoRA)を紹介する。
このフレームワークは、追加の通信オーバーヘッドを最小限に抑えた単発FL-HPOソリューションを可能にする。
7つのOpenMLデータセット上での勾配ブースト決定木に対するFLoRAの実証評価により,モデル精度の大幅な向上が示された。
論文 参考訳（メタデータ） (2021-12-15T23:18:32Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。
クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文 参考訳（メタデータ） (2020-12-07T21:05:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。