論文の概要: FLoRA: Single-shot Hyper-parameter Optimization for Federated Learning

• arxiv url: http://arxiv.org/abs/2112.08524v1
• Date: Wed, 15 Dec 2021 23:18:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-17 16:25:33.548992
• Title: FLoRA: Single-shot Hyper-parameter Optimization for Federated Learning
• Title（参考訳）: FLoRA:フェデレートラーニングのためのシングルショットハイパーパラメータ最適化
• Authors: Yi Zhou, Parikshit Ram, Theodoros Salonidis, Nathalie Baracaldo, Horst Samulowitz, Heiko Ludwig
• Abstract要約: 最初のFL-HPOソリューションフレームワークであるFederated Loss suRface Aggregation (FLoRA)を紹介する。 このフレームワークは、追加の通信オーバーヘッドを最小限に抑えた単発FL-HPOソリューションを可能にする。 7つのOpenMLデータセット上での勾配ブースト決定木に対するFLoRAの実証評価により,モデル精度の大幅な向上が示された。
• 参考スコア（独自算出の注目度）: 19.854596038293277
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We address the relatively unexplored problem of hyper-parameter optimization (HPO) for federated learning (FL-HPO). We introduce Federated Loss suRface Aggregation (FLoRA), the first FL-HPO solution framework that can address use cases of tabular data and gradient boosting training algorithms in addition to stochastic gradient descent/neural networks commonly addressed in the FL literature. The framework enables single-shot FL-HPO, by first identifying a good set of hyper-parameters that are used in a **single** FL training. Thus, it enables FL-HPO solutions with minimal additional communication overhead compared to FL training without HPO. Our empirical evaluation of FLoRA for Gradient Boosted Decision Trees on seven OpenML data sets demonstrates significant model accuracy improvements over the considered baseline, and robustness to increasing number of parties involved in FL-HPO training.
• Abstract（参考訳）: フェデレートラーニング(FL-HPO)におけるハイパーパラメータ最適化(HPO)の未探索問題に対処する。 本稿では,FL文献でよく取り上げられる確率的勾配降下/神経ネットワークに加えて,表型データや勾配促進訓練アルゴリズムのユースケースに対処できるFL-HPOソリューションフレームワークであるFederated Loss suRface Aggregation (FLoRA)を紹介する。 このフレームワークは、まず***single** FLトレーニングで使用される優れたハイパーパラメータのセットを特定することで、単発FL-HPOを可能にする。 これにより、HPOなしのFLトレーニングと比較して、FL-HPOソリューションを最小限の通信オーバーヘッドで実現できる。 我々は7つのopenmlデータセット上の勾配強化決定木に対するフローラの実証評価を行い, fl-hpoトレーニングに関わる参加者数の増加に対するロバスト性について検討した。

関連論文リスト

• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• Importance of Smoothness Induced by Optimizers in FL4ASR: Towards Understanding Federated Learning for End-to-End ASR [12.108696564200052]
  フェデレートラーニング(FL)を用いたエンドツーエンド自動音声認識(ASR)モデルの訓練から始める。 FLを用いて訓練したモデルと,その集中型モデルとの単語誤り率の観点から,性能ギャップを最小化する上で重要な基本的考察について検討する。
  論文  参考訳（メタデータ） (2023-09-22T17:23:01Z)
• Learner Referral for Cost-Effective Federated Learning Over Hierarchical IoT Networks [21.76836812021954]
  本稿では,連合選択(LRef-FedCS),通信資源,局所モデル精度(LMAO)手法を支援する。 提案したLRef-FedCSアプローチは,高いグローバル精度とコスト削減のバランスをとることができる。
  論文  参考訳（メタデータ） (2023-07-19T13:33:43Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• FLAGS Framework for Comparative Analysis of Federated Learning Algorithms [0.0]
  この研究は、フェデレートラーニングのランドスケープを統合し、主要なFLアルゴリズムの客観的分析を提供する。 FLAGS: Federated Learning AlGorithms Simulationを開発した。 実験の結果,完全分散FLアルゴリズムは複数の動作条件下で同等の精度が得られることがわかった。
  論文  参考訳（メタデータ） (2022-12-14T12:08:30Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• FedHPO-B: A Benchmark Suite for Federated Hyperparameter Optimization [50.12374973760274]
  本稿では,包括的FLタスクを組み込んだベンチマークスイートFedHPO-Bを提案する。 我々はまた、FedHPO-Bに基づく広範な実験を行い、いくつかのHPO法をベンチマークする。
  論文  参考訳（メタデータ） (2022-06-08T15:29:10Z)
• Single-shot Hyper-parameter Optimization for Federated Learning: A General Algorithm & Analysis [20.98323380319439]
  本稿では一般のFL-HPOソリューションフレームワークであるFederated Loss SuRface Aggregation (FLoRA)を紹介する。 FLoRAはシングルショットFL-HPOを可能にし、単一のFLトレーニングで使用される優れたハイパーパラメータのセットを識別する。 7つのOpenMLデータセット上での複数MLアルゴリズムに対するFLoRAの実証評価により,検討したベースラインに対するモデル精度の大幅な向上が示された。
  論文  参考訳（メタデータ） (2022-02-16T21:14:34Z)
• Hybrid Federated Learning: Algorithms and Implementation [61.0640216394349]
  Federated Learning(FL)は、分散データセットとプライベートデータセットを扱う分散機械学習パラダイムである。 ハイブリッドFLのためのモデルマッチングに基づく新しい問題定式化を提案する。 次に,グローバルモデルとローカルモデルを協調して学習し,完全かつ部分的な特徴量を扱う効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-22T23:56:03Z)
• Delay Minimization for Federated Learning Over Wireless Communication Networks [172.42768672943365]
  無線通信ネットワーク上でのフェデレーション学習(FL)における遅延計算の問題について検討した。 最適解を得るために,二項探索アルゴリズムを提案する。 シミュレーションの結果,提案アルゴリズムは従来のFL法と比較して最大27.3%遅延を低減できることがわかった。
  論文  参考訳（メタデータ） (2020-07-05T19:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。