論文の概要: Regularized boosting with an increasing coefficient magnitude stop
criterion as meta-learner in hyperparameter optimization stacking ensemble
- arxiv url: http://arxiv.org/abs/2402.01379v1
- Date: Fri, 2 Feb 2024 13:03:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 15:41:45.063666
- Title: Regularized boosting with an increasing coefficient magnitude stop
criterion as meta-learner in hyperparameter optimization stacking ensemble
- Title（参考訳）: ハイパーパラメータ最適化重畳アンサンブルにおけるメタリアナとしての係数の増大による正規化ブースティング
- Authors: Laura Fdez-D\'iaz, Jos\'e Ram\'on Quevedo, Elena Monta\~n\'es
- Abstract要約: 本稿ではHPOにおけるアンサンブルを積み重ねるためのメタラーナーについて検討する。
マルチコリニアリティの効果を低減し,アンサンブル学習プロセスの一般化能力を考慮した。
また、古典的なブースティング法における暗黙の正規化と、HPO用に特別に設計されたブースティングにのみ適する新しい非パラメトリックストップ基準を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In Hyperparameter Optimization (HPO), only the hyperparameter configuration
with the best performance is chosen after performing several trials, then,
discarding the effort of training all the models with every hyperparameter
configuration trial and performing an ensemble of all them. This ensemble
consists of simply averaging the model predictions or weighting the models by a
certain probability. Recently, other more sophisticated ensemble strategies,
such as the Caruana method or the stacking strategy has been proposed. On the
one hand, the Caruana method performs well in HPO ensemble, since it is not
affected by the effects of multicollinearity, which is prevalent in HPO. It
just computes the average over a subset of predictions with replacement. But it
does not benefit from the generalization power of a learning process. On the
other hand, stacking methods include a learning procedure since a meta-learner
is required to perform the ensemble. Yet, one hardly finds advice about which
meta-learner is adequate. Besides, some meta-learners may suffer from the
effects of multicollinearity or need to be tuned to reduce them. This paper
explores meta-learners for stacking ensemble in HPO, free of hyperparameter
tuning, able to reduce the effects of multicollinearity and considering the
ensemble learning process generalization power. At this respect, the boosting
strategy seems promising as a stacking meta-learner. In fact, it completely
removes the effects of multicollinearity. This paper also proposes an implicit
regularization in the classical boosting method and a novel non-parametric stop
criterion suitable only for boosting and specifically designed for HPO. The
synergy between these two improvements over boosting exhibits competitive and
promising predictive power performance compared to other existing meta-learners
and ensemble approaches for HPO other than the stacking ensemble.
- Abstract（参考訳）: ハイパーパラメータ最適化(hpo)では、いくつかの試行を行った後、最高のパフォーマンスを持つハイパーパラメータ構成のみを選択し、ハイパーパラメータ構成試行毎にすべてのモデルをトレーニングし、それらすべてをアンサンブルする作業を破棄する。
このアンサンブルは、モデル予測を単に平均化し、ある確率でモデルを重み付けする。
近年,caruana法や積み重ね法など,より洗練されたアンサンブル戦略が提案されている。
一方、カラナ法はHPOのアンサンブルにおいて、HPOで広く見られる多重線型性の影響を受けないため、良好に機能する。
代わりに予測のサブセットよりも平均を計算するだけである。
しかし、これは学習プロセスの一般化の力の恩恵を受けない。
一方、積み重ね手法は、メタラーナーがアンサンブルを実行するために必要となるため、学習手順を含む。
しかし、どのメタラーナーが適切かというアドバイスはほとんど見つからない。
さらに、メタリアナーの中にはマルチコリニア性の影響に苦しむものもあれば、それらを減らすために調整する必要があるものもある。
本稿では,ハイパーパラメータチューニングのないHPOでアンサンブルを積み重ねるメタラーナーについて検討し,マルチコリニティの効果を低減し,アンサンブル学習プロセスの一般化能力を考慮した。
この点において、ブースティング戦略はスタックングメタラーナーとして有望なようだ。
実際、それは多重線型性の影響を完全に取り除きます。
また,従来のブースティング手法の暗黙的な正規化と,HPO用に特別に設計されたブースティングのみに適した新しい非パラメトリックストップ基準を提案する。
これら2つの改良の相乗効果は,積層アンサンブル以外の既存のメタラーナーやHPOのアンサンブルアプローチと比較して,競争力と期待できるパワー性能を示す。
関連論文リスト
- A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - Assessment of Reinforcement Learning Algorithms for Nuclear Power Plant
Fuel Optimization [0.0]
この研究は、深いRLを用いてロードパターンの問題を解決するための第一種アプローチを示し、任意のエンジニアリング設計最適化に利用することができる。
論文 参考訳（メタデータ） (2023-05-09T23:51:24Z) - Optimizing Hyperparameters with Conformal Quantile Regression [7.316604052864345]
本稿では,観測ノイズについて最小限の仮定を行う等化量子レグレッションを活用することを提案する。
これは経験的ベンチマークでのHPO収束を早くすることを意味する。
論文 参考訳（メタデータ） (2023-05-05T15:33:39Z) - Deep Negative Correlation Classification [82.45045814842595]
既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。
深部負相関分類(DNCC)を提案する。
DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
論文 参考訳（メタデータ） (2022-12-14T07:35:20Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳（メタデータ） (2022-09-16T19:15:50Z) - Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。
木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。
3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
論文 参考訳（メタデータ） (2022-09-09T14:58:43Z) - Enhancing Explainability of Hyperparameter Optimization via Bayesian
Algorithm Execution [13.037647287689438]
部分依存プロットのような解釈可能な機械学習(IML)手法とHPOの組み合わせについて検討する。
我々は,最適大域的予測性能を効率的に探索する改良HPO法を提案する。
提案手法は,最適化性能を損なうことなく,ブラックボックスの信頼性の高い説明を返す。
論文 参考訳（メタデータ） (2022-06-11T07:12:04Z) - Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。
実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文 参考訳（メタデータ） (2022-05-26T12:51:32Z) - Efficient and Differentiable Conformal Prediction with General Function
Classes [96.74055810115456]
本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。
本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。
実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
論文 参考訳（メタデータ） (2022-02-22T18:37:23Z) - Consolidated learning -- a domain-specific model-free optimization
strategy with examples for XGBoost and MIMIC-IV [4.370097023410272]
本稿では,統合学習と呼ばれるチューニング問題の新たな定式化を提案する。
このような設定では、単一のタスクをチューニングするよりも、全体の最適化時間に関心があります。
我々は,XGBoostアルゴリズムの実証研究とMIMIC-IV医療データベースから抽出した予測タスクの収集を通じて,このアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2022-01-27T21:38:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。