論文の概要: Selecting Hyperparameters for Tree-Boosting

• arxiv url: http://arxiv.org/abs/2602.05786v1
• Date: Thu, 05 Feb 2026 15:44:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:09.013201
• Title: Selecting Hyperparameters for Tree-Boosting
• Title（参考訳）: 樹木発芽のためのハイパーパラメータの選択
• Authors: Floris Jan Koster, Fabio Sigrist,
• Abstract要約: Tree-boostingは、表データの機械学習技術として広く使われている。 木ボスティングにおけるハイパーパラメータ最適化のためのいくつかの一般的な手法を実証的に比較した。 SMAC法は,他の検討された手法よりも明らかに優れていることがわかった。
• 参考スコア（独自算出の注目度）: 6.789370732159177
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tree-boosting is a widely used machine learning technique for tabular data. However, its out-of-sample accuracy is critically dependent on multiple hyperparameters. In this article, we empirically compare several popular methods for hyperparameter optimization for tree-boosting including random grid search, the tree-structured Parzen estimator (TPE), Gaussian-process-based Bayesian optimization (GP-BO), Hyperband, the sequential model-based algorithm configuration (SMAC) method, and deterministic full grid search using $59$ regression and classification data sets. We find that the SMAC method clearly outperforms all the other considered methods. We further observe that (i) a relatively large number of trials larger than $100$ is required for accurate tuning, (ii) using default values for hyperparameters yields very inaccurate models, (iii) all considered hyperparameters can have a material effect on the accuracy of tree-boosting, i.e., there is no small set of hyperparameters that is more important than others, and (iv) choosing the number of boosting iterations using early stopping yields more accurate results compared to including it in the search space for regression tasks.
• Abstract（参考訳）: Tree-boostingは、表データの機械学習技術として広く使われている。 しかし、サンプル外精度は複数のハイパーパラメータに依存する。 本稿では、ランダムグリッド探索、木構造パーゼン推定器(TPE)、ガウス過程に基づくベイズ最適化(GP-BO)、ハイパーバンド、シーケンシャルモデルベースアルゴリズム構成(SMAC)、および599ドルの回帰と分類データセットを用いた決定論的全グリッド探索など、木構造推定のためのハイパーパラメータ最適化の一般的な手法を実証的に比較する。 SMAC法は,他の検討された手法よりも明らかに優れていることがわかった。 私たちはそれをさらに観察する。 (i)正確な調律には100ドル以上のトライアルが比較的多い。 (ii)ハイパーパラメータのデフォルト値を使用すると、非常に不正確なモデルが得られる。 三) すべて過度パラメータは、樹高の精度、すなわち、他のものよりも重要な小さな過度パラメータのセットが存在しないことに対する物質的効果を有することができる。 (4) 早期停止によるブースティング反復数を選択すると, 回帰タスクの探索空間に含めるよりも, より正確な結果が得られる。

関連論文リスト

• Predictable Scale: Part I, Step Law -- Optimal Hyperparameter Scaling Law in Large Language Model Pretraining [59.369484219304866]
  我々は100兆のトークンをスクラッチから3,700以上の大規模言語モデル(LLM)に対する前例のない経験的調査訓練を実施している。 ステップ法則(ステップ法)と呼ばれる,LLM事前学習におけるハイパーパラメータ最適化のための普遍的スケーリング法則を確立する。 我々の推定オプティマは, 排他的探索によって得られた世界最高の性能から, テストセットの0.094%しか逸脱しない。
  論文  参考訳（メタデータ） (2025-03-06T18:58:29Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• Towards Robust and Automatic Hyper-Parameter Tunning [39.04604349338802]
  我々は,新しいHPO法を導入し,畳み込みネットワークの中間層の低ランク因子分解を用いて解析応答面を定義する方法について検討する。 我々は,この表面がモデル性能の代理としてどのように振る舞うかを定量化し,オートHyperと呼ぶ信頼領域探索アルゴリズムを用いて解くことができる。
  論文  参考訳（メタデータ） (2021-11-28T05:27:34Z)
• Pre-trained Gaussian Processes for Bayesian Optimization [24.730678780782647]
  本稿では,HyperBO という事前学習型 BO フレームワークを提案する。 GPが既知の「地中真実」を仮定することなく, 後続の予測と, ほぼゼロの後悔をHyperBOに示す。
  論文  参考訳（メタデータ） (2021-09-16T20:46:26Z)
• HyP-ABC: A Novel Automated Hyper-Parameter Tuning Algorithm Using Evolutionary Optimization [1.6114012813668934]
  改良されたミツバチコロニーを用いたハイブリッドハイパーパラメータ最適化アルゴリズムHyP-ABCを提案する。 最先端技術と比較して、HyP-ABCは効率が良く、調整すべきパラメータが限られている。
  論文  参考訳（メタデータ） (2021-09-11T16:45:39Z)
• Reducing the Variance of Gaussian Process Hyperparameter Optimization with Preconditioning [54.01682318834995]
  プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。 プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。 基本的に無視可能なコストで、同時に分散を低減することができる。
  論文  参考訳（メタデータ） (2021-07-01T06:43:11Z)
• Light Gradient Boosting Machine as a Regression Method for Quantitative Structure-Activity Relationships [0.0]
  私たちは、Light Gradient Boosting Machine(LightGBM)とランダムフォレスト、シングルタスクディープニューラルネットワーク、および30の社内データセット上のExtreme Gradient Boosting(XGBoost)を比較します。 LightGBMは、シングルタスクのディープニューラルネットワークと同じくらい正確な予測を行いますが、ランダムフォレストよりも1000倍速く、XGBoostよりも4倍速い要因です。
  論文  参考訳（メタデータ） (2021-04-28T20:19:44Z)
• How to tune the RBF SVM hyperparameters?: An empirical evaluation of 18 search algorithms [4.394728504061753]
  本稿では,実生活115個のバイナリデータセットを対象とした18の探索アルゴリズムを提案する。 Parssは、グリッドに関して、同じツリーに関して、時間的にわずかにしか増加せずに、よりよく検索できることに気付きました。 また,検索アルゴリズムによって1つ以上のデータを見つけると,最適なデータ集合に対して異なる手順に有意な差はないことがわかった。
  論文  参考訳（メタデータ） (2020-08-26T16:28:48Z)
• Weighted Random Search for CNN Hyperparameter Optimization [0.0]
  本稿では、ランダム探索(RS)と確率的欲求を組み合わせた重み付きランダム探索(WRS)手法を提案する。 基準は、ハイパーパラメーター値の試験された組み合わせの同じ数内で達成される分類精度である。 我々の実験によると、WRSアルゴリズムは他の手法よりも優れています。
  論文  参考訳（メタデータ） (2020-03-30T09:40:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。