論文の概要: FedHPO-B: A Benchmark Suite for Federated Hyperparameter Optimization

• arxiv url: http://arxiv.org/abs/2206.03966v1
• Date: Wed, 8 Jun 2022 15:29:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-09 14:11:50.219997
• Title: FedHPO-B: A Benchmark Suite for Federated Hyperparameter Optimization
• Title（参考訳）: FedHPO-B:フェデレーションハイパーパラメータ最適化のためのベンチマークスイート
• Authors: Zhen Wang, Weirui Kuang, Ce Zhang, Bolin Ding, Yaliang Li
• Abstract要約: 本稿では,包括的FLタスクを組み込んだベンチマークスイートFedHPO-Bを提案する。 我々はまた、FedHPO-Bに基づく広範な実験を行い、いくつかのHPO法をベンチマークする。
• 参考スコア（独自算出の注目度）: 50.12374973760274
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperparameter optimization (HPO) is crucial for machine learning algorithms to achieve satisfactory performance, whose progress has been boosted by related benchmarks. Nonetheless, existing efforts in benchmarking all focus on HPO for traditional centralized learning while ignoring federated learning (FL), a promising paradigm for collaboratively learning models from dispersed data. In this paper, we first identify some uniqueness of HPO for FL algorithms from various aspects. Due to this uniqueness, existing HPO benchmarks no longer satisfy the need to compare HPO methods in the FL setting. To facilitate the research of HPO in the FL setting, we propose and implement a benchmark suite FedHPO-B that incorporates comprehensive FL tasks, enables efficient function evaluations, and eases continuing extensions. We also conduct extensive experiments based on FedHPO-B to benchmark a few HPO methods. We open-source FedHPO-B at https://github.com/alibaba/FederatedScope/tree/master/benchmark/FedHPOB and will maintain it actively.
• Abstract（参考訳）: ハイパーパラメータ最適化(HPO)は、関連するベンチマークによって進歩が加速されている良好なパフォーマンスを達成するために、機械学習アルゴリズムにとって不可欠である。 それにもかかわらず、既存のベンチマークの取り組みは、分散データからモデルを協調学習するための有望なパラダイムであるフェデレートラーニング(FL)を無視しながら、従来の集中学習のためのHPOに焦点を当てている。 本稿ではまず,FLアルゴリズムにおけるHPOの特異性について,様々な側面から同定する。 この特異性のため、既存のHPOベンチマークはFL設定でHPOメソッドを比較する必要性をもはや満たしていない。 FL設定におけるHPOの研究を容易にするために,包括的FLタスクを組み込んだベンチマークスイートであるFedHPO-Bを提案し,その実装を行った。 我々はまた、FedHPO-Bに基づく広範な実験を行い、いくつかのHPO法をベンチマークする。 我々は、FedHPO-Bをhttps://github.com/alibaba/FederatedScope/tree/master/benchmark/FedHPOBでオープンソース化し、積極的に維持します。

関連論文リスト

• Hierarchical Preference Optimization: Learning to achieve goals via feasible subgoals prediction [71.81851971324187]
  本研究は階層型強化学習(HRL)の新しいアプローチである階層型優先度最適化(HPO)を導入する。 HPOは、複雑なロボット制御タスクを解く際に、非定常性と非実用的なサブゴール生成の問題に対処する。 挑戦的なロボットナビゲーションと操作タスクの実験はHPOの素晴らしいパフォーマンスを示しており、ベースラインよりも最大35%改善されている。
  論文  参考訳（メタデータ） (2024-11-01T04:58:40Z)
• From $r$ to $Q^*$: Your Language Model is Secretly a Q-Function [50.812404038684505]
  我々は,ベルマン方程式を満たす一般逆Q-ラーニングアルゴリズムとして,トークンレベルMDPのDPOを導出できることを示す。 本稿では,マルチターン対話における情報活用,推論,エージェント応用,マルチモデルシステムのエンドツーエンドトレーニングなど,我々の研究の応用について論じる。
  論文  参考訳（メタデータ） (2024-04-18T17:37:02Z)
• PriorBand: Practical Hyperparameter Optimization in the Age of Deep Learning [49.92394599459274]
  我々は,Deep Learning(DL)パイプラインに適したHPOアルゴリズムであるPresideBandを提案する。 各種のDLベンチマークでその堅牢性を示し、情報的専門家のインプットと、専門家の信条の低さに対してその利得を示す。
  論文  参考訳（メタデータ） (2023-06-21T16:26:14Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Single-shot Hyper-parameter Optimization for Federated Learning: A General Algorithm & Analysis [20.98323380319439]
  本稿では一般のFL-HPOソリューションフレームワークであるFederated Loss SuRface Aggregation (FLoRA)を紹介する。 FLoRAはシングルショットFL-HPOを可能にし、単一のFLトレーニングで使用される優れたハイパーパラメータのセットを識別する。 7つのOpenMLデータセット上での複数MLアルゴリズムに対するFLoRAの実証評価により,検討したベースラインに対するモデル精度の大幅な向上が示された。
  論文  参考訳（メタデータ） (2022-02-16T21:14:34Z)
• FLoRA: Single-shot Hyper-parameter Optimization for Federated Learning [19.854596038293277]
  最初のFL-HPOソリューションフレームワークであるFederated Loss suRface Aggregation (FLoRA)を紹介する。 このフレームワークは、追加の通信オーバーヘッドを最小限に抑えた単発FL-HPOソリューションを可能にする。 7つのOpenMLデータセット上での勾配ブースト決定木に対するFLoRAの実証評価により,モデル精度の大幅な向上が示された。
  論文  参考訳（メタデータ） (2021-12-15T23:18:32Z)
• HPOBench: A Collection of Reproducible Multi-Fidelity Benchmark Problems for HPO [30.89560505052524]
  我々は,既存の7つのベンチマークファミリと5つの新しいベンチマークファミリを含むHPOBenchを提案する。 HPOBenchは、個々のベンチマークをコンテナに分離してパッケージ化することで、再現可能な方法で、この拡張可能なマルチフィデリティHPOベンチマークを実行することができる。
  論文  参考訳（メタデータ） (2021-09-14T14:28:51Z)
• DHA: End-to-End Joint Optimization of Data Augmentation Policy, Hyper-parameter and Architecture [81.82173855071312]
  本稿では,AutoMLコンポーネントを統合したエンドツーエンドソリューションを提案する。 Dhaは、様々なデータセット、特にセルベースの検索空間を持つImageNetの77.4%の精度で、最先端(SOTA)結果を達成する。
  論文  参考訳（メタデータ） (2021-09-13T08:12:50Z)
• YAHPO Gym -- Design Criteria and a new Multifidelity Benchmark for Hyperparameter Optimization [1.0718353079920009]
  我々は,700以上の多相HPO問題を構成する9つのベンチマークコレクションからなる,多相HPOメソッドのためのサロゲートベースのベンチマークスイートを提案する。 すべてのベンチマークでは、複数の最適化ターゲットのクエリも可能で、多目的HPOのベンチマークを可能にします。
  論文  参考訳（メタデータ） (2021-09-08T14:16:31Z)
• HPO-B: A Large-Scale Reproducible Benchmark for Black-Box HPO based on OpenML [5.735035463793008]
  我々はHPOアルゴリズムを比較するための大規模ベンチマークであるHPO-Bを提案する。 ベンチマークはOpenMLリポジトリから収集され、事前処理されています。 我々は,非伝達学習および伝達学習HPOの手法の比較のための,明示的な実験的プロトコル,分割,評価方法について詳述する。
  論文  参考訳（メタデータ） (2021-06-11T09:18:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。