論文の概要: Better Trees: An empirical study on hyperparameter tuning of
classification decision tree induction algorithms
- arxiv url: http://arxiv.org/abs/1812.02207v3
- Date: Thu, 21 Dec 2023 21:16:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-25 19:12:12.768352
- Title: Better Trees: An empirical study on hyperparameter tuning of
classification decision tree induction algorithms
- Title（参考訳）: Better Trees: 分類決定木誘導アルゴリズムのハイパーパラメータチューニングに関する実証的研究
- Authors: Rafael Gomes Mantovani, Tom\'a\v{s} Horv\'ath, Andr\'e L. D. Rossi,
Ricardo Cerri, Sylvio Barbon Junior, Joaquin Vanschoren, Andr\'e Carlos Ponce
de Leon Ferreira de Carvalho
- Abstract要約: 決定木誘導アルゴリズムは高い予測性能と解釈可能な分類モデルを示す。
本稿では,CARTとC4.5の2つのDT誘導アルゴリズムに対するハイパーパラメータチューニングの効果について検討する。
OpenMLから94の分類データセットを用いて,モデルを誘導し,HPの妥当性を評価するための異なるチューニング手法を用いて実験を行った。
- 参考スコア（独自算出の注目度）: 5.4611430411491115
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning algorithms often contain many hyperparameters (HPs) whose
values affect the predictive performance of the induced models in intricate
ways. Due to the high number of possibilities for these HP configurations and
their complex interactions, it is common to use optimization techniques to find
settings that lead to high predictive performance. However, insights into
efficiently exploring this vast space of configurations and dealing with the
trade-off between predictive and runtime performance remain challenging.
Furthermore, there are cases where the default HPs fit the suitable
configuration. Additionally, for many reasons, including model validation and
attendance to new legislation, there is an increasing interest in interpretable
models, such as those created by the Decision Tree (DT) induction algorithms.
This paper provides a comprehensive approach for investigating the effects of
hyperparameter tuning for the two DT induction algorithms most often used, CART
and C4.5. DT induction algorithms present high predictive performance and
interpretable classification models, though many HPs need to be adjusted.
Experiments were carried out with different tuning strategies to induce models
and to evaluate HPs' relevance using 94 classification datasets from OpenML.
The experimental results point out that different HP profiles for the tuning of
each algorithm provide statistically significant improvements in most of the
datasets for CART, but only in one-third for C4.5. Although different
algorithms may present different tuning scenarios, the tuning techniques
generally required few evaluations to find accurate solutions. Furthermore, the
best technique for all the algorithms was the IRACE. Finally, we found out that
tuning a specific small subset of HPs is a good alternative for achieving
optimal predictive performance.
- Abstract（参考訳）: 機械学習アルゴリズムは、複雑な方法で誘導されたモデルの予測性能に影響を与える多くのハイパーパラメータ(HP)を含むことが多い。
これらのhp構成とその複雑な相互作用の可能性があるため、最適化技術を使用して高い予測性能をもたらす設定を見つけるのが一般的である。
しかし、この広大な構成空間を効率的に探索し、予測と実行時のパフォーマンスのトレードオフを扱うための洞察は依然として難しい。
さらに、デフォルトのhpsが適切な構成に適合するケースもある。
さらに、モデル検証や新しい法律への出席を含む多くの理由から、決定木誘導アルゴリズム(DT)によって作成されたような解釈可能なモデルへの関心が高まっている。
本稿では,最もよく使用される2つのDT誘導アルゴリズムであるCARTとC4.5に対するハイパーパラメータチューニングの効果を総合的に検討する。
DT誘導アルゴリズムは高い予測性能と解釈可能な分類モデルを示すが、多くのHPを調整する必要がある。
モデル誘導と,openmlの94の分類データセットを用いたhpsの妥当性評価のために,異なるチューニング戦略を用いた実験を行った。
実験の結果,各アルゴリズムのチューニングにおけるhpプロファイルの違いは,cartのデータセットの大部分において統計的に有意な改善をもたらすが,c4.5では3分の1に過ぎなかった。
異なるアルゴリズムは異なるチューニングシナリオを示すかもしれないが、チューニング手法は通常、正確な解を見つけるために少数の評価を必要とした。
さらに、全てのアルゴリズムに最適な技術はIRACEである。
最後に,HPの特定のサブセットをチューニングすることは,最適な予測性能を達成するためのよい方法であることがわかった。
関連論文リスト
- A Comparative Study of Hyperparameter Tuning Methods [0.0]
木構造型Parzen Estimator (TPE)、遺伝的検索、ランダム検索は回帰および分類タスク間で評価される。
ランダム検索は回帰タスクに優れ、TPEは分類タスクに効果的であった。
論文 参考訳（メタデータ） (2024-08-29T10:35:07Z) - Tune As You Scale: Hyperparameter Optimization For Compute Efficient
Training [0.0]
そこで本研究では,大規模モデルのロバストなチューニング手法を提案する。
CarBSはパフォーマンスコストフロンティアの周辺でローカル検索を行う。
その結果、単純なベースラインをチューニングするだけで、ProcGenベンチマーク全体を効果的に解決できることがわかった。
論文 参考訳（メタデータ） (2023-06-13T18:22:24Z) - Behavior of Hyper-Parameters for Selected Machine Learning Algorithms:
An Empirical Investigation [3.441021278275805]
ハイパーパラメータ(HP)は機械学習(ML)モデル開発において重要な部分であり、性能に大きな影響を与える可能性がある。
本稿では,3つのアルゴリズム(XGB),ランダムフォレスト(RF),フィードフォワードニューラルネットワーク(FFNN))の振る舞いを構造化データを用いて検討する。
実験により,HPの変動に伴うモデル性能の質的挙動を検証し,各HPのMLアルゴリズムの重要性を定量化し,最適領域に近い性能の安定性を検証した。
論文 参考訳（メタデータ） (2022-11-15T22:14:52Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳（メタデータ） (2022-10-02T05:03:38Z) - Hyperparameter Sensitivity in Deep Outlier Detection: Analysis and a
Scalable Hyper-Ensemble Solution [21.130842136324528]
我々は,Deep OD法のHP感度に関する最初の大規模解析を行った。
我々は,HP 構成の異なるモデルを組み立てる ROBOD と呼ばれる HP-robust でスケーラブルな深層アンサンブルモデルを設計する。
論文 参考訳（メタデータ） (2022-06-15T16:46:00Z) - Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。
実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文 参考訳（メタデータ） (2022-05-26T12:51:32Z) - Large-scale Optimization of Partial AUC in a Range of False Positive
Rates [51.12047280149546]
ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。
近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。
提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
論文 参考訳（メタデータ） (2022-03-03T03:46:18Z) - Efficient and Differentiable Conformal Prediction with General Function
Classes [96.74055810115456]
本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。
本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。
実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
論文 参考訳（メタデータ） (2022-02-22T18:37:23Z) - Genealogical Population-Based Training for Hyperparameter Optimization [1.0514231683620516]
本研究では,計算コストの2倍から3倍に削減できることを実験的に実証した。
本手法は探索アルゴリズムであり,内部探索ルーチンをTPE,GP,CMA,ランダム探索などの任意の探索アルゴリズムにすることができる。
論文 参考訳（メタデータ） (2021-09-30T08:49:41Z) - Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。
問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。
本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-01-07T08:00:02Z) - Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。
我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。
すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
論文 参考訳（メタデータ） (2020-10-01T18:14:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。