論文の概要: Hyper-Tune: Towards Efficient Hyper-parameter Tuning at Scale

• arxiv url: http://arxiv.org/abs/2201.06834v1
• Date: Tue, 18 Jan 2022 09:12:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-19 17:12:58.377465
• Title: Hyper-Tune: Towards Efficient Hyper-parameter Tuning at Scale
• Title（参考訳）: Hyper-Tune: スケールでの効率的なハイパーパラメータチューニングを目指して
• Authors: Yang Li, Yu Shen, Huaijun Jiang, Wentao Zhang, Jixiang Li, Ji Liu, Ce Zhang and Bin Cui
• Abstract要約: Hyper-Tuneは、効率的で堅牢な分散ハイパーパラメータチューニングフレームワークである。 最先端のBOHBとA-BOHBを比較し、それぞれ1.2倍と5.1倍のスピードアップを達成している。
• 参考スコア（独自算出の注目度）: 40.43508897763752
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ever-growing demand and complexity of machine learning are putting pressure on hyper-parameter tuning systems: while the evaluation cost of models continues to increase, the scalability of state-of-the-arts starts to become a crucial bottleneck. In this paper, inspired by our experience when deploying hyper-parameter tuning in a real-world application in production and the limitations of existing systems, we propose Hyper-Tune, an efficient and robust distributed hyper-parameter tuning framework. Compared with existing systems, Hyper-Tune highlights multiple system optimizations, including (1) automatic resource allocation, (2) asynchronous scheduling, and (3) multi-fidelity optimizer. We conduct extensive evaluations on benchmark datasets and a large-scale real-world dataset in production. Empirically, with the aid of these optimizations, Hyper-Tune outperforms competitive hyper-parameter tuning systems on a wide range of scenarios, including XGBoost, CNN, RNN, and some architectural hyper-parameters for neural networks. Compared with the state-of-the-art BOHB and A-BOHB, Hyper-Tune achieves up to 11.2x and 5.1x speedups, respectively.
• Abstract（参考訳）: 機械学習の需要と複雑さは、ハイパーパラメータチューニングシステムにプレッシャーをかけている。モデルの評価コストは増え続けているが、最先端のスケーラビリティは重要なボトルネックになりつつある。 本稿では,実運用環境におけるハイパーパラメータチューニングの運用経験と既存システムの限界に触発されて,高効率で堅牢な分散ハイパーパラメータチューニングフレームワークであるHyper-Tuneを提案する。 既存のシステムと比較して、hyper-tuneは(1)自動リソース割り当て、(2)非同期スケジューリング、(3)マルチフィデリティオプティマイザなど、複数のシステム最適化を強調する。 ベンチマークデータセットと大規模実世界のデータセットを大規模に評価する。 これらの最適化の助けを借りて、Hyper-Tuneは、XGBoost、CNN、RNN、およびニューラルネットワークのためのいくつかのアーキテクチャハイパーパラメータを含む幅広いシナリオにおいて、競争力のあるハイパーパラメータチューニングシステムより優れています。 最先端のBOHBとA-BOHBと比較すると、Hyper-Tuneは最大11.2倍と5.1倍のスピードアップを達成した。

関連論文リスト

• Efficient Hyperparameter Importance Assessment for CNNs [1.7778609937758323]
  本稿では,畳み込みニューラルネットワーク(CNN)におけるハイパーパラメータの重み付けを,N-RReliefFというアルゴリズムを用いて定量化する。 我々は10の人気のある画像分類データセットから1万以上のCNNモデルをトレーニングし、広範囲にわたる研究を行う。
  論文  参考訳（メタデータ） (2024-10-11T15:47:46Z)
• SigOpt Mulch: An Intelligent System for AutoML of Gradient Boosted Trees [3.6449336503217786]
  グラディエント強化木(GBT)は、研究者、機械学習(ML)実践者、データサイエンティストが使用するユビキタスモデルである。 GBTの自動チューニングに特化して設計されたモデル対応ハイパーパラメータチューニングシステムであるSigOpt Mulchを提案する。
  論文  参考訳（メタデータ） (2023-07-10T18:40:25Z)
• HyperTuner: A Cross-Layer Multi-Objective Hyperparameter Auto-Tuning Framework for Data Analytic Services [25.889791254011794]
  クロス層多目的ハイパーパラメータ自動チューニングを実現するHyperTunerを提案する。 他の4つのベースラインアルゴリズムと比較して,HyperTunerは収束性と多様性の両面で優れていることを示す。 異なるトレーニングデータセット、異なる最適化目標、異なる機械学習プラットフォームによる実験は、HyperTunerがさまざまなデータ分析サービスシナリオに適切に適応できることを検証する。
  論文  参考訳（メタデータ） (2023-04-20T02:19:10Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• HyperNP: Interactive Visual Exploration of Multidimensional Projection Hyperparameters [61.354362652006834]
  HyperNPは、ニューラルネットワーク近似をトレーニングすることで、プロジェクションメソッドをリアルタイムにインタラクティブに探索できるスケーラブルな方法である。 我々は3つのデータセット間でのHyperNPの性能を,性能と速度の観点から評価した。
  論文  参考訳（メタデータ） (2021-06-25T17:28:14Z)
• Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for Hyperparameter Recommendation [83.85021205445662]
  本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。 マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
  論文  参考訳（メタデータ） (2021-06-17T00:01:18Z)
• A multi-objective perspective on jointly tuning hardware and hyperparameters [10.605719154114357]
  完全なAutoMLソリューションでは、適切なハードウェアを自動選択する必要がある。 ハードウェア構成を自動的に選択し適応する多目的アプローチを採用しています。 我々はNASとHPOの広範な実験において、両者が大きなスピードアップとコスト削減をもたらすことを示した。
  論文  参考訳（メタデータ） (2021-06-10T11:52:55Z)
• Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
  ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。 具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。 次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
  論文  参考訳（メタデータ） (2021-02-17T21:03:05Z)
• HyperSTAR: Task-Aware Hyperparameters for Deep Networks [52.50861379908611]
  HyperSTARは、ディープニューラルネットワークのためのHPOをウォームスタートするタスク認識方式である。 生の画像から直接、データセット(タスク)表現とパフォーマンス予測器を学習する。 既存のメソッドと比較して、最高のパフォーマンスを達成するために、構成を50%少なく評価する。
  論文  参考訳（メタデータ） (2020-05-21T08:56:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。