論文の概要: Bayesian Optimization for Simultaneous Selection of Machine Learning Algorithms and Hyperparameters on Shared Latent Space

• arxiv url: http://arxiv.org/abs/2502.09329v1
• Date: Thu, 13 Feb 2025 13:43:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:47:35.760957
• Title: Bayesian Optimization for Simultaneous Selection of Machine Learning Algorithms and Hyperparameters on Shared Latent Space
• Title（参考訳）: 共有潜在空間上での機械学習アルゴリズムとハイパーパラメータの同時選択のためのベイズ最適化
• Authors: Kazuki Ishikawa, Ryota Ozaki, Yohei Kanzaki, Ichiro Takeuchi, Masayuki Karasuyama,
• Abstract要約: 機械学習(ML)アルゴリズムとそのハイパーパラメータは、高性能なMLシステムの開発に不可欠である。 多くの既存研究では、探索を加速するためにベイズ最適化(BO)を使用している。 提案手法は,BOの代用マルチタスクモデルを推定し,異なるハイパーパラメータ空間を共有潜在空間に埋め込む。 このアプローチは、より少ない総観測数で効率的な最適化が期待できる、異なるMLアルゴリズムからの観測情報を共有することができる。
• 参考スコア（独自算出の注目度）: 16.257223975129513
• License:
• Abstract: Selecting the optimal combination of a machine learning (ML) algorithm and its hyper-parameters is crucial for the development of high-performance ML systems. However, since the combination of ML algorithms and hyper-parameters is enormous, the exhaustive validation requires a significant amount of time. Many existing studies use Bayesian optimization (BO) for accelerating the search. On the other hand, a significant difficulty is that, in general, there exists a different hyper-parameter space for each one of candidate ML algorithms. BO-based approaches typically build a surrogate model independently for each hyper-parameter space, by which sufficient observations are required for all candidate ML algorithms. In this study, our proposed method embeds different hyper-parameter spaces into a shared latent space, in which a surrogate multi-task model for BO is estimated. This approach can share information of observations from different ML algorithms by which efficient optimization is expected with a smaller number of total observations. We further propose the pre-training of the latent space embedding with an adversarial regularization, and a ranking model for selecting an effective pre-trained embedding for a given target dataset. Our empirical study demonstrates effectiveness of the proposed method through datasets from OpenML.
• Abstract（参考訳）: 機械学習(ML)アルゴリズムとハイパーパラメータの最適な組み合わせを選択することは、高性能なMLシステムの開発に不可欠である。 しかし、MLアルゴリズムとハイパーパラメータの組み合わせは巨大であるため、徹底的な検証にはかなりの時間を要する。 多くの既存研究では、探索を加速するためにベイズ最適化(BO)を使用している。 一方、大きな難しさは、一般に、候補となるMLアルゴリズムのそれぞれに対して異なるハイパーパラメータ空間が存在することである。 BOベースのアプローチは、通常、各ハイパーパラメータ空間に対して独立して代理モデルを構築し、全ての候補MLアルゴリズムに対して十分な観測を必要とする。 本研究では,BOの代用マルチタスクモデルを推定し,異なるハイパーパラメータ空間を共有潜在空間に埋め込む手法を提案する。 このアプローチは、より少ない総観測数で効率的な最適化が期待できる、異なるMLアルゴリズムからの観測情報を共有することができる。 さらに、逆正則化による潜在空間埋め込みの事前学習と、与えられたターゲットデータセットに対する効果的な事前学習埋め込みを選択するためのランキングモデルを提案する。 実験により,OpenMLのデータセットを用いて提案手法の有効性を実証した。

関連論文リスト

• Efficient Multi-agent Reinforcement Learning by Planning [33.51282615335009]
  マルチエージェント強化学習(MARL)アルゴリズムは、大規模意思決定タスクの解決において、目覚ましいブレークスルーを達成している。 既存のMARLアルゴリズムの多くはモデルフリーであり、サンプル効率を制限し、より困難なシナリオでの適用を妨げている。 政策探索のための集中型モデルとモンテカルロ木探索(MCTS)を組み合わせたMAZeroアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-20T04:36:02Z)
• Sample-Efficient Multi-Agent RL: An Optimization Perspective [103.35353196535544]
  一般関数近似に基づく汎用マルコフゲーム(MG)のためのマルチエージェント強化学習(MARL)について検討した。 汎用MGに対するマルチエージェントデカップリング係数(MADC)と呼ばれる新しい複雑性尺度を導入する。 我々のアルゴリズムは既存の研究に匹敵するサブリニアな後悔を与えることを示す。
  論文  参考訳（メタデータ） (2023-10-10T01:39:04Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Sparsity-Aware Distributed Learning for Gaussian Processes with Linear Multiple Kernel [20.98449975854329]
  本稿では,新しいGP線形多重カーネル (LMK) と,ハイパーパラメータを最適化する汎用空間認識分散学習フレームワークを提案する。 新たに提案されたグリッドスペクトル混合製品(GSMP)カーネルは,多次元データ用に調整されている。 そこで本研究では,Sparse LInear Multiple Kernel Learning (SLIM-KL) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-15T07:05:33Z)
• Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL [106.82295532402335]
  既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。 所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。 我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
  論文  参考訳（メタデータ） (2023-04-12T14:51:47Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
  本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。 木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。 3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
  論文  参考訳（メタデータ） (2022-09-09T14:58:43Z)
• A model aggregation approach for high-dimensional large-scale optimization [2.1104930506758275]
  本研究では,高次元大規模最適化問題を効率的に解くため,ベイズ最適化(MamBO)アルゴリズムにおけるモデル集約手法を提案する。 MamBOはサブサンプリングとサブスペース埋め込みを組み合わせることで、高次元と大規模問題に一括して対処する。 提案手法は,これらの低次元サロゲートモデルリスクを低減し,BOアルゴリズムのロバスト性を向上させる。
  論文  参考訳（メタデータ） (2022-05-16T08:58:42Z)
• Automatic tuning of hyper-parameters of reinforcement learning algorithms using Bayesian optimization with behavioral cloning [0.0]
  強化学習(RL)では、学習エージェントが収集したデータの情報内容は多くのハイパーパラメータの設定に依存する。 本研究では,ベイズ最適化を用いた自律的ハイパーパラメータ設定手法を提案する。 実験は、他の手作業による調整や最適化ベースのアプローチと比較して、有望な結果を示している。
  論文  参考訳（メタデータ） (2021-12-15T13:10:44Z)
• A survey on multi-objective hyperparameter optimization algorithms for Machine Learning [62.997667081978825]
  本稿では,多目的HPOアルゴリズムに関する2014年から2020年にかけての文献を体系的に調査する。 メタヒューリスティック・ベース・アルゴリズムとメタモデル・ベース・アルゴリズム,および両者を混合したアプローチを区別する。 また,多目的HPO法と今後の研究方向性を比較するための品質指標についても論じる。
  論文  参考訳（メタデータ） (2021-11-23T10:22:30Z)
• HyP-ABC: A Novel Automated Hyper-Parameter Tuning Algorithm Using Evolutionary Optimization [1.6114012813668934]
  改良されたミツバチコロニーを用いたハイブリッドハイパーパラメータ最適化アルゴリズムHyP-ABCを提案する。 最先端技術と比較して、HyP-ABCは効率が良く、調整すべきパラメータが限られている。
  論文  参考訳（メタデータ） (2021-09-11T16:45:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。