論文の概要: A Meta-Level Learning Algorithm for Sequential Hyper-Parameter Space Reduction in AutoML

• arxiv url: http://arxiv.org/abs/2312.06305v1
• Date: Mon, 11 Dec 2023 11:26:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 15:53:43.828682
• Title: A Meta-Level Learning Algorithm for Sequential Hyper-Parameter Space Reduction in AutoML
• Title（参考訳）: automlにおける逐次ハイパーパラメータ空間削減のためのメタレベル学習アルゴリズム
• Authors: Giorgos Borboudakis, Paulos Charonyktakis, Konstantinos Paraschakis, Ioannis Tsamardinos
• Abstract要約: 本稿では,AutoMLツールの予測性能を損なうことなく,AutoMLツールのスペースを削減するアルゴリズムを提案する。 SHSRは284の分類と375の回帰問題に基づいて評価され、約30%の実行時間を短縮し、性能低下は0.1%未満であった。
• 参考スコア（独自算出の注目度）: 2.06188179769701
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AutoML platforms have numerous options for the algorithms to try for each step of the analysis, i.e., different possible algorithms for imputation, transformations, feature selection, and modelling. Finding the optimal combination of algorithms and hyper-parameter values is computationally expensive, as the number of combinations to explore leads to an exponential explosion of the space. In this paper, we present the Sequential Hyper-parameter Space Reduction (SHSR) algorithm that reduces the space for an AutoML tool with negligible drop in its predictive performance. SHSR is a meta-level learning algorithm that analyzes past runs of an AutoML tool on several datasets and learns which hyper-parameter values to filter out from consideration on a new dataset to analyze. SHSR is evaluated on 284 classification and 375 regression problems, showing an approximate 30% reduction in execution time with a performance drop of less than 0.1%.
• Abstract（参考訳）: AutoMLプラットフォームには、解析の各ステップ、すなわち、計算、変換、特徴選択、モデリングのための異なる可能なアルゴリズムを試すための、多数のオプションがある。 アルゴリズムと超パラメータ値の最適な組み合わせを見つけるのは計算に費用がかかり、探索する組み合わせの数は空間の指数的な爆発に繋がる。 本稿では,予測性能を低下させることなく,自動学習ツールの空間を削減できる逐次ハイパーパラメータ空間縮小(shsr)アルゴリズムを提案する。 SHSRはメタレベルの学習アルゴリズムで、いくつかのデータセット上でAutoMLツールの過去の実行を分析し、分析する新しいデータセットからどのハイパーパラメータ値をフィルタリングするかを学ぶ。 SHSRは284の分類と375の回帰問題に基づいて評価され、約30%の実行時間を短縮し、性能低下は0.1%未満であった。

関連論文リスト

• Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL [106.82295532402335]
  既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。 所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。 我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
  論文  参考訳（メタデータ） (2023-04-12T14:51:47Z)
• Benchmarking AutoML algorithms on a collection of binary problems [3.3793659640122717]
  本稿では,Tree-based Pipeline Optimization Tool (TPOT), Auto-Sklearn, Auto-Sklearn 2, H2O AutoMLの4種類のAutoMLアルゴリズムの性能を比較した。 私たちはAutoMLがすべての含まれたデータセットでうまく機能するパイプラインを識別できることを確認します。
  論文  参考訳（メタデータ） (2022-12-06T01:53:50Z)
• Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
  本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。 木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。 3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
  論文  参考訳（メタデータ） (2022-09-09T14:58:43Z)
• Towards Automated Imbalanced Learning with Deep Hierarchical Reinforcement Learning [57.163525407022966]
  不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。 オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。 我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
  論文  参考訳（メタデータ） (2022-08-26T04:28:01Z)
• HyP-ABC: A Novel Automated Hyper-Parameter Tuning Algorithm Using Evolutionary Optimization [1.6114012813668934]
  改良されたミツバチコロニーを用いたハイブリッドハイパーパラメータ最適化アルゴリズムHyP-ABCを提案する。 最先端技術と比較して、HyP-ABCは効率が良く、調整すべきパラメータが限られている。
  論文  参考訳（メタデータ） (2021-09-11T16:45:39Z)
• Meta-Learning for Symbolic Hyperparameter Defaults [2.928016570228877]
  機械学習(ML)におけるハイパーパラメータ最適化は、データから最適なアルゴリズム構成を経験的に学習する問題を扱う。 本稿では,メタラーン記号のデフォルトパラメータ設定に対するゼロショット法を提案し,データセットの特性の観点から表現する。 これにより、MLアルゴリズムのより高速で、なおデータ依存的な構成が可能になる。
  論文  参考訳（メタデータ） (2021-06-10T14:20:28Z)
• Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and Personalized Federated Learning [56.17603785248675]
  モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。 既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。 本稿では,MAMLのメモリベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-09T08:47:58Z)
• Sublinear Least-Squares Value Iteration via Locality Sensitive Hashing [49.73889315176884]
  本稿では、実行時の複雑さをアクション数にサブリニアに持つ最初の証明可能なLeast-Squares Value Iteration(LSVI)アルゴリズムを提示する。 我々は, 近似最大内積探索理論と強化学習の後悔分析との関係を構築する。
  論文  参考訳（メタデータ） (2021-05-18T05:23:53Z)
• An Extensive Experimental Evaluation of Automated Machine Learning Methods for Recommending Classification Algorithms (Extended Version) [4.400989370979334]
  これら3つの手法は進化的アルゴリズム(EA)に基づいており、もう1つはAuto-WEKAである。 我々は,これらの4つのAutoMLメソッドに,この制限の異なる値に対して,同じランタイム制限を付与する制御実験を行った。 一般に,3つの最良のAutoML手法の予測精度の差は統計的に有意ではなかった。
  論文  参考訳（メタデータ） (2020-09-16T02:36:43Z)
• MLE-guided parameter search for task loss minimization in neural sequence modeling [83.83249536279239]
  ニューラル自己回帰シーケンスモデルは、さまざまな自然言語処理(NLP)タスクのシーケンスを生成するために使用される。 本稿では,現在のパラメータとその周辺における乱探索の混合である更新方向の分布から,最大至適勾配の分布をサンプリングする,最大至適誘導パラメータ探索(MGS)を提案する。 以上の結果から,MGS は,機械翻訳における最小リスクトレーニングに比べて,繰り返しや非終端の大幅な削減を図り,シーケンスレベルの損失を最適化できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-04T22:21:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。