論文の概要: Efficient Automatic CASH via Rising Bandits

• arxiv url: http://arxiv.org/abs/2012.04371v1
• Date: Tue, 8 Dec 2020 11:29:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-16 21:45:21.926291
• Title: Efficient Automatic CASH via Rising Bandits
• Title（参考訳）: ライジングバンドによる効率的な自動CASH
• Authors: Yang Li, Jiawei Jiang, Jinyang Gao, Yingxia Shao, Ce Zhang, Bin Cui
• Abstract要約: CASH問題に対する交互最適化フレームワークを提案する。 また、CASHのアルゴリズム選択をモデル化するために、CASH指向のマルチアーマドバンド(MAB)バリアントであるRising Banditsも紹介します。 このフレームワークは、HPO問題を解決するBOとアルゴリズムの選択を加速するMABの両方の利点を利用することができる。
• 参考スコア（独自算出の注目度）: 37.09843193057032
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Combined Algorithm Selection and Hyperparameter optimization (CASH) is one of the most fundamental problems in Automatic Machine Learning (AutoML). The existing Bayesian optimization (BO) based solutions turn the CASH problem into a Hyperparameter Optimization (HPO) problem by combining the hyperparameters of all machine learning (ML) algorithms, and use BO methods to solve it. As a result, these methods suffer from the low-efficiency problem due to the huge hyperparameter space in CASH. To alleviate this issue, we propose the alternating optimization framework, where the HPO problem for each ML algorithm and the algorithm selection problem are optimized alternately. In this framework, the BO methods are used to solve the HPO problem for each ML algorithm separately, incorporating a much smaller hyperparameter space for BO methods. Furthermore, we introduce Rising Bandits, a CASH-oriented Multi-Armed Bandits (MAB) variant, to model the algorithm selection in CASH. This framework can take the advantages of both BO in solving the HPO problem with a relatively small hyperparameter space and the MABs in accelerating the algorithm selection. Moreover, we further develop an efficient online algorithm to solve the Rising Bandits with provably theoretical guarantees. The extensive experiments on 30 OpenML datasets demonstrate the superiority of the proposed approach over the competitive baselines.
• Abstract（参考訳）: アルゴリズム選択とハイパーパラメータ最適化(CASH)は自動機械学習(AutoML)における最も基本的な問題の1つである。 既存のベイズ最適化(BO)ベースのソリューションは、すべての機械学習(ML)アルゴリズムのハイパーパラメータを組み合わせることで、CASH問題をハイパーパラメータ最適化(HPO)問題に変換し、その解決にBOメソッドを使用する。 その結果、これらの手法はCASHの巨大なハイパーパラメータ空間に起因する低効率な問題に悩まされる。 この問題を軽減するために,各MLアルゴリズムにおけるHPO問題とアルゴリズム選択問題とを交互に最適化する交互最適化フレームワークを提案する。 このフレームワークでは、BO法は各MLアルゴリズムのHPO問題を個別に解くために使用され、BO法に対してはるかに小さなハイパーパラメータ空間が組み込まれている。 さらに,キャッシュ指向マルチアームバンディット (mab) 変種であるライジング・バンディット (riseing bandits) を導入し,アルゴリズム選択をキャッシュでモデル化する。 このフレームワークは,HPO問題を比較的小さなハイパーパラメータ空間で解く際のBOと,アルゴリズムの選択を高速化するMABの両方の利点を生かすことができる。 さらに,提案手法を理論的に保証できる効率的なオンラインアルゴリズムを開発した。 30個のopenmlデータセットに関する広範な実験は、提案されたアプローチが競合ベースラインよりも優れていることを示している。

関連論文リスト

• Bayesian Optimization for Simultaneous Selection of Machine Learning Algorithms and Hyperparameters on Shared Latent Space [16.257223975129513]
  機械学習(ML)アルゴリズムとそのハイパーパラメータは、高性能なMLシステムの開発に不可欠である。 多くの既存研究では、探索を加速するためにベイズ最適化(BO)を使用している。 提案手法は,BOの代用マルチタスクモデルを推定し,異なるハイパーパラメータ空間を共有潜在空間に埋め込む。 このアプローチは、より少ない総観測数で効率的な最適化が期待できる、異なるMLアルゴリズムからの観測情報を共有することができる。
  論文  参考訳（メタデータ） (2025-02-13T13:43:52Z)
• Reinforced In-Context Black-Box Optimization [64.25546325063272]
  RIBBOは、オフラインデータからエンドツーエンドでBBOアルゴリズムを強化学習する手法である。 RIBBOは、複数の動作アルゴリズムとタスクによって生成される最適化履歴を学習するために、表現的なシーケンスモデルを使用している。 提案手法の中心となるのは,テキストレグレット・ツー・ゴートークンによる最適化履歴の増大である。
  論文  参考訳（メタデータ） (2024-02-27T11:32:14Z)
• Accelerating Cutting-Plane Algorithms via Reinforcement Learning Surrogates [49.84541884653309]
  凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。 多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。 そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-17T20:11:56Z)
• A survey on multi-objective hyperparameter optimization algorithms for Machine Learning [62.997667081978825]
  本稿では,多目的HPOアルゴリズムに関する2014年から2020年にかけての文献を体系的に調査する。 メタヒューリスティック・ベース・アルゴリズムとメタモデル・ベース・アルゴリズム,および両者を混合したアプローチを区別する。 また,多目的HPO法と今後の研究方向性を比較するための品質指標についても論じる。
  論文  参考訳（メタデータ） (2021-11-23T10:22:30Z)
• HyP-ABC: A Novel Automated Hyper-Parameter Tuning Algorithm Using Evolutionary Optimization [1.6114012813668934]
  改良されたミツバチコロニーを用いたハイブリッドハイパーパラメータ最適化アルゴリズムHyP-ABCを提案する。 最先端技術と比較して、HyP-ABCは効率が良く、調整すべきパラメータが限られている。
  論文  参考訳（メタデータ） (2021-09-11T16:45:39Z)
• Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
  ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。 具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。 次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
  論文  参考訳（メタデータ） (2021-02-17T21:03:05Z)
• A Hybrid Framework Using a QUBO Solver For Permutation-Based Combinatorial Optimization [5.460573052311485]
  本稿では,高性能な2次非制約バイナリ最適化器を用いて,大規模な置換に基づく問題を解くためのハイブリッドフレームワークを提案する。 通常はビット数に制限があるQUBOソルバを使用する際の課題を克服する手法を提案する。
  論文  参考訳（メタデータ） (2020-09-27T07:15:25Z)
• Combining Deep Learning and Optimization for Security-Constrained Optimal Power Flow [94.24763814458686]
  セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。 SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。 本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T12:38:21Z)
• Frugal Optimization for Cost-related Hyperparameters [43.599155206275306]
  我々は機械学習アルゴリズムのための新しいコストフルーガーHPOソリューションを開発した。 我々は総コストに対して$O(fracsqrtdsqrtK)$と$O(depsilon-2)$-approximationの収束率を証明する。 我々は、大規模なAutoMLベンチマークにおける最先端HPO法と比較して、強力な実験結果を提供する。
  論文  参考訳（メタデータ） (2020-05-04T15:40:44Z)
• Reinforcement Learning Enhanced Quantum-inspired Algorithm for Combinatorial Optimization [0.0]
  我々は、Isingエネルギー最小化問題を解くために、量子インスパイアされたアルゴリズムと共に強化学習エージェントを使用する。 本稿では,自己演奏訓練の安定したシングルプレイヤー版を実現するためのR3手法を提案する。
  論文  参考訳（メタデータ） (2020-02-11T20:55:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。