論文の概要: SigOpt Mulch: An Intelligent System for AutoML of Gradient Boosted Trees
- arxiv url: http://arxiv.org/abs/2307.04849v1
- Date: Mon, 10 Jul 2023 18:40:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-12 17:23:33.020617
- Title: SigOpt Mulch: An Intelligent System for AutoML of Gradient Boosted Trees
- Title（参考訳）: SigOpt Mulch: 勾配ブーストツリーの自動MLのためのインテリジェントシステム
- Authors: Aleksei Sorokin, Xinran Zhu, Eric Hans Lee, Bolong Cheng
- Abstract要約: グラディエント強化木(GBT)は、研究者、機械学習(ML)実践者、データサイエンティストが使用するユビキタスモデルである。
GBTの自動チューニングに特化して設計されたモデル対応ハイパーパラメータチューニングシステムであるSigOpt Mulchを提案する。
- 参考スコア（独自算出の注目度）: 3.6449336503217786
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gradient boosted trees (GBTs) are ubiquitous models used by researchers,
machine learning (ML) practitioners, and data scientists because of their
robust performance, interpretable behavior, and ease-of-use. One critical
challenge in training GBTs is the tuning of their hyperparameters. In practice,
selecting these hyperparameters is often done manually. Recently, the ML
community has advocated for tuning hyperparameters through black-box
optimization and developed state-of-the-art systems to do so. However, applying
such systems to tune GBTs suffers from two drawbacks. First, these systems are
not \textit{model-aware}, rather they are designed to apply to a
\textit{generic} model; this leaves significant optimization performance on the
table. Second, using these systems requires \textit{domain knowledge} such as
the choice of hyperparameter search space, which is an antithesis to the
automatic experimentation that black-box optimization aims to provide. In this
paper, we present SigOpt Mulch, a model-aware hyperparameter tuning system
specifically designed for automated tuning of GBTs that provides two
improvements over existing systems. First, Mulch leverages powerful techniques
in metalearning and multifidelity optimization to perform model-aware
hyperparameter optimization. Second, it automates the process of learning
performant hyperparameters by making intelligent decisions about the
optimization search space, thus reducing the need for user domain knowledge.
These innovations allow Mulch to identify good GBT hyperparameters far more
efficiently -- and in a more seamless and user-friendly way -- than existing
black-box hyperparameter tuning systems.
- Abstract（参考訳）: gradient boosted trees(gbts)は、研究者、機械学習(ml)実践者、データサイエンティストが使用するユビキタスなモデルである。
GBTのトレーニングにおける重要な課題の1つは、ハイパーパラメータのチューニングである。
実際には、これらのハイパーパラメータの選択はしばしば手動で行われる。
近年、MLコミュニティはブラックボックス最適化によるハイパーパラメータのチューニングを提唱し、最先端システムを開発した。
しかし、gbtをチューニングするためのシステムの適用には2つの欠点がある。
まず、これらのシステムは \textit{model-aware} ではなく、 \textit{generic} モデルに適用するように設計されている。
第二に、これらのシステムを使用するには、ブラックボックス最適化が提供しようとしている自動実験のアンチテーゼであるハイパーパラメータ検索空間の選択のような「textit{ domain knowledge」が必要である。
本稿では,GBTの自動チューニングに特化して設計されたモデル対応ハイパーパラメータチューニングシステムであるSigOpt Mulchについて述べる。
まず、mulchはメタラーニングとマルチフィデリティ最適化の強力な技術を活用して、モデル認識ハイパーパラメータの最適化を行う。
第2に,最適化探索空間に関するインテリジェントな決定を行うことで,高性能ハイパーパラメータの学習プロセスを自動化し,ユーザのドメイン知識の必要性を低減する。
これらの革新により、mulchは既存のブラックボックスハイパーパラメータチューニングシステムよりもはるかに効率的に、よりシームレスでユーザーフレンドリーな方法で、優れたgbtハイパーパラメータを識別できる。
関連論文リスト
- Improving Fast Minimum-Norm Attacks with Hyperparameter Optimization [12.526318578195724]
本稿では、損失関数、自動化、ステップサイズスケジューラの選択により、超パラメータ最適化が高速な最小ノルム攻撃を改善することを示す。
オープンソースコードはhttps://www.pralab.com/HO-FMN.comで公開しています。
論文 参考訳（メタデータ） (2023-10-12T10:03:25Z) - Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
私たちは新しいビジュアルを提案します。
Sensuous-Aware Fine-Tuning (SPT) スキーム。
SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。
ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
論文 参考訳（メタデータ） (2023-03-15T12:34:24Z) - Hyper-Parameter Auto-Tuning for Sparse Bayesian Learning [72.83293818245978]
我々は、疎ベイズ学習におけるハイパーパラメータチューニングのためのニューラルネットワーク(NN)ベースのオートチューニングを設計し、学習する。
コンバージェンス率とリカバリ性能の大幅な向上が達成できることを示す。
論文 参考訳（メタデータ） (2022-11-09T12:34:59Z) - BBTv2: Pure Black-Box Optimization Can Be Comparable to Gradient Descent
for Few-Shot Learning [83.26610968655815]
Black-Box Tuningは、言語モデルの入力に先立って、連続的なプロンプトトークンを最適化するためのデリバティブフリーなアプローチである。
BBTv2は、言語モデルをグラデーションベースの最適化に匹敵する結果を得るために駆動する、純粋なブラックボックス最適化手法である。
論文 参考訳（メタデータ） (2022-05-23T11:10:19Z) - AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient
Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。
ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-03-15T19:25:01Z) - A Comparative study of Hyper-Parameter Optimization Tools [2.6097538974670935]
我々は、4つのpythonライブラリ、すなわちOptuna、Hyperopt、Optunity、およびシーケンシャルモデルアルゴリズム構成(SMAC)の性能を比較した。
私たちは、OptunaがCASH問題とNeurIPSのブラックボックス最適化の課題に対してより良いパフォーマンスを持つことを発見した。
論文 参考訳（メタデータ） (2022-01-17T14:49:36Z) - Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for
Hyperparameter Recommendation [83.85021205445662]
本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。
マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
論文 参考訳（メタデータ） (2021-06-17T00:01:18Z) - Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。
具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。
次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
論文 参考訳（メタデータ） (2021-02-17T21:03:05Z) - Amazon SageMaker Automatic Model Tuning: Scalable Black-box Optimization [23.52446054521187]
Amazon SageMaker Automatic Model Tuning(AMT)は、大規模なブラックボックス最適化のためのフルマネージドシステムです。
AMTは、異なるハイパーパラメータ構成で繰り返しトレーニングすることで、機械学習モデルの最良のバージョンを見つける。
組み込みアルゴリズム、カスタムアルゴリズム、マシンラーニングフレームワーク用に構築されたAmazon SageMakerコンテナで使用することができる。
論文 参考訳（メタデータ） (2020-12-15T18:34:34Z) - Automatic Setting of DNN Hyper-Parameters by Mixing Bayesian
Optimization and Tuning Rules [0.6875312133832078]
トレーニングおよび検証セット上で,ネットワークの結果を評価し解析するための新しいアルゴリズムを構築した。
我々は、一連のチューニングルールを使用して、新しいハイパーパラメータと/またはハイパーパラメータ検索スペースを減らし、より良い組み合わせを選択する。
論文 参考訳（メタデータ） (2020-06-03T08:53:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。