論文の概要: Single-shot Hyper-parameter Optimization for Federated Learning: A General Algorithm & Analysis

• arxiv url: http://arxiv.org/abs/2202.08338v1
• Date: Wed, 16 Feb 2022 21:14:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-19 05:59:59.049001
• Title: Single-shot Hyper-parameter Optimization for Federated Learning: A General Algorithm & Analysis
• Title（参考訳）: フェデレーション学習のためのシングルショットハイパーパラメータ最適化:一般アルゴリズムと解析
• Authors: Yi Zhou, Parikshit Ram, Theodoros Salonidis, Nathalie Baracaldo, Horst Samulowitz, Heiko Ludwig
• Abstract要約: 本稿では一般のFL-HPOソリューションフレームワークであるFederated Loss SuRface Aggregation (FLoRA)を紹介する。 FLoRAはシングルショットFL-HPOを可能にし、単一のFLトレーニングで使用される優れたハイパーパラメータのセットを識別する。 7つのOpenMLデータセット上での複数MLアルゴリズムに対するFLoRAの実証評価により,検討したベースラインに対するモデル精度の大幅な向上が示された。
• 参考スコア（独自算出の注目度）: 20.98323380319439
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We address the relatively unexplored problem of hyper-parameter optimization (HPO) for federated learning (FL-HPO). We introduce Federated Loss SuRface Aggregation (FLoRA), a general FL-HPO solution framework that can address use cases of tabular data and any Machine Learning (ML) model including gradient boosting training algorithms and therefore further expands the scope of FL-HPO. FLoRA enables single-shot FL-HPO: identifying a single set of good hyper-parameters that are subsequently used in a single FL training. Thus, it enables FL-HPO solutions with minimal additional communication overhead compared to FL training without HPO. We theoretically characterize the optimality gap of FL-HPO, which explicitly accounts for the heterogeneous non-IID nature of the parties' local data distributions, a dominant characteristic of FL systems. Our empirical evaluation of FLoRA for multiple ML algorithms on seven OpenML datasets demonstrates significant model accuracy improvements over the considered baseline, and robustness to increasing number of parties involved in FL-HPO training.
• Abstract（参考訳）: フェデレートラーニング(FL-HPO)におけるハイパーパラメータ最適化(HPO)の未探索問題に対処する。 FLoRA(Federated Loss SuRface Aggregation)は、表形式のデータと、勾配促進学習アルゴリズムを含む機械学習(ML)モデルに対処し、FL-HPOの範囲をさらに拡大する一般的なFL-HPOソリューションフレームワークである。 FLoRAは単発FL-HPOを可能にし、単一のFLトレーニングで使用される優れたハイパーパラメータのセットを識別する。 これにより、HPOなしのFLトレーニングと比較して、FL-HPOソリューションを最小限の通信オーバーヘッドで実現できる。 我々は, fl-hpoの最適性ギャップを理論的に特徴付け, flシステムの支配的特性である当事者の局所データ分布の不均一性を考慮した。 7つのOpenMLデータセット上での複数のMLアルゴリズムに対するFLoRAの実証的評価は,ベースラインに対するモデル精度の大幅な向上,FL-HPOトレーニングに関わる参加者の増加に対する堅牢性を示す。

関連論文リスト

• Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
  フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。 局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
  論文  参考訳（メタデータ） (2024-09-05T19:00:18Z)
• Learner Referral for Cost-Effective Federated Learning Over Hierarchical IoT Networks [21.76836812021954]
  本稿では,連合選択(LRef-FedCS),通信資源,局所モデル精度(LMAO)手法を支援する。 提案したLRef-FedCSアプローチは,高いグローバル精度とコスト削減のバランスをとることができる。
  論文  参考訳（メタデータ） (2023-07-19T13:33:43Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• FLAGS Framework for Comparative Analysis of Federated Learning Algorithms [0.0]
  この研究は、フェデレートラーニングのランドスケープを統合し、主要なFLアルゴリズムの客観的分析を提供する。 FLAGS: Federated Learning AlGorithms Simulationを開発した。 実験の結果,完全分散FLアルゴリズムは複数の動作条件下で同等の精度が得られることがわかった。
  論文  参考訳（メタデータ） (2022-12-14T12:08:30Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• FedHPO-B: A Benchmark Suite for Federated Hyperparameter Optimization [50.12374973760274]
  本稿では,包括的FLタスクを組み込んだベンチマークスイートFedHPO-Bを提案する。 我々はまた、FedHPO-Bに基づく広範な実験を行い、いくつかのHPO法をベンチマークする。
  論文  参考訳（メタデータ） (2022-06-08T15:29:10Z)
• FLoRA: Single-shot Hyper-parameter Optimization for Federated Learning [19.854596038293277]
  最初のFL-HPOソリューションフレームワークであるFederated Loss suRface Aggregation (FLoRA)を紹介する。 このフレームワークは、追加の通信オーバーヘッドを最小限に抑えた単発FL-HPOソリューションを可能にする。 7つのOpenMLデータセット上での勾配ブースト決定木に対するFLoRAの実証評価により,モデル精度の大幅な向上が示された。
  論文  参考訳（メタデータ） (2021-12-15T23:18:32Z)
• Joint Optimization of Communications and Federated Learning Over the Air [32.14738452396869]
  Federated Learning(FL)は、データプライバシーを保護しながら、リッチな分散データを利用するための魅力的なパラダイムです。 本稿では,リアル無線ネットワークにおけるアナログアグリゲーション伝送に基づく通信とFLの協調最適化について検討する。
  論文  参考訳（メタデータ） (2021-04-08T03:38:31Z)
• Hybrid Federated Learning: Algorithms and Implementation [61.0640216394349]
  Federated Learning(FL)は、分散データセットとプライベートデータセットを扱う分散機械学習パラダイムである。 ハイブリッドFLのためのモデルマッチングに基づく新しい問題定式化を提案する。 次に,グローバルモデルとローカルモデルを協調して学習し,完全かつ部分的な特徴量を扱う効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-22T23:56:03Z)
• Delay Minimization for Federated Learning Over Wireless Communication Networks [172.42768672943365]
  無線通信ネットワーク上でのフェデレーション学習(FL)における遅延計算の問題について検討した。 最適解を得るために,二項探索アルゴリズムを提案する。 シミュレーションの結果,提案アルゴリズムは従来のFL法と比較して最大27.3%遅延を低減できることがわかった。
  論文  参考訳（メタデータ） (2020-07-05T19:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。