論文の概要: Warm Starting CMA-ES for Hyperparameter Optimization

• arxiv url: http://arxiv.org/abs/2012.06932v1
• Date: Sun, 13 Dec 2020 00:50:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-09 12:41:31.980753
• Title: Warm Starting CMA-ES for Hyperparameter Optimization
• Title（参考訳）: ハイパーパラメータ最適化のためのウォームスタートCMA-ES
• Authors: Masahiro Nomura, Shuhei Watanabe, Youhei Akimoto, Yoshihiko Ozaki, Masaki Onishi
• Abstract要約: ブラックボックス最適化(HPO)は、機械学習アプローチの自動化と高性能化に不可欠であると認識されている。 CMA-ESは高い並列性を持つ有望なBBOアプローチであり、HPOタスクに適用されている。 CMA-ESは、長期適応フェーズのため、性能を向上することなく予算を浪費する。
• 参考スコア（独自算出の注目度）: 5.477297165738714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperparameter optimization (HPO), formulated as black-box optimization (BBO), is recognized as essential for automation and high performance of machine learning approaches. The CMA-ES is a promising BBO approach with a high degree of parallelism, and has been applied to HPO tasks, often under parallel implementation, and shown superior performance to other approaches including Bayesian optimization (BO). However, if the budget of hyperparameter evaluations is severely limited, which is often the case for end users who do not deserve parallel computing, the CMA-ES exhausts the budget without improving the performance due to its long adaptation phase, resulting in being outperformed by BO approaches. To address this issue, we propose to transfer prior knowledge on similar HPO tasks through the initialization of the CMA-ES, leading to significantly shortening the adaptation time. The knowledge transfer is designed based on the novel definition of task similarity, with which the correlation of the performance of the proposed approach is confirmed on synthetic problems. The proposed warm starting CMA-ES, called WS-CMA-ES, is applied to different HPO tasks where some prior knowledge is available, showing its superior performance over the original CMA-ES as well as BO approaches with or without using the prior knowledge.
• Abstract（参考訳）: ブラックボックス最適化(BBO)として定式化されたハイパーパラメータ最適化(HPO)は、機械学習アプローチの自動化と高性能化に不可欠であると認識されている。 CMA-ESは高い並列性を持つ有望なBBOアプローチであり、HPOタスクに適用され、しばしば並列実装され、ベイズ最適化(BO)を含む他の手法よりも優れた性能を示している。 しかし、ハイパーパラメータ評価の予算が著しく制限されている場合、しばしば並列コンピューティングにふさわしくないエンドユーザーの場合、CMA-ESは長い適応フェーズのために性能を向上することなく予算を浪費し、BOアプローチにより性能が向上する。 そこで本研究では,CMA-ESの初期化によるHPOタスクの事前知識の伝達を提案し,適応時間を大幅に短縮する。 知識伝達はタスク類似性の新たな定義に基づいて設計され,提案手法の性能の相関性は合成問題に基づいて確認される。 提案手法はWS-CMA-ESとよばれる温暖化開始型CMA-ESを,いくつかの事前知識が利用可能な異なるHPOタスクに適用し,従来のCMA-ESよりも優れた性能を示すとともに,事前知識を使わずにBOアプローチを採用する。

関連論文リスト

• Adaptive Knowledge-based Multi-Objective Evolutionary Algorithm for Hybrid Flow Shop Scheduling Problems with Multiple Parallel Batch Processing Stages [5.851739146497829]
  本研究では,ユーザが任意の段階を並列バッチ処理段階として任意に設定できる問題モデルを一般化する。 Adaptive Knowledge-based Multi-Objective Evolutionary Algorithm (AMOEA/D) は、makepanとTotal Energy Consumptionの両方を同時に最適化するように設計されている。 実験の結果, AMOEA/D は PBHFSP の解法において比較アルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-09-27T08:05:56Z)
• Cost-Sensitive Multi-Fidelity Bayesian Optimization with Transfer of Learning Curve Extrapolation [55.75188191403343]
  各ユーザが事前に定義した機能であるユーティリティを導入し,BOのコストと性能のトレードオフについて述べる。 このアルゴリズムをLCデータセット上で検証した結果,従来のマルチファイルBOや転送BOベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2024-05-28T07:38:39Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Benchmarking hybrid digitized-counterdiabatic quantum optimization [2.983864486954652]
  ハイブリッドデジタルカウンテルダイバティック量子コンピューティング(DCQC)は、短期量子コンピュータの能力を活用するための有望なアプローチである。 本研究では,デジタル・カウンテル・ダイアバティック・アプローチと組み合わせて,様々な古典の収束挙動と解の質を解析する。
  論文  参考訳（メタデータ） (2024-01-18T10:05:07Z)
• Applying Autonomous Hybrid Agent-based Computing to Difficult Optimization Problems [56.821213236215634]
  本稿では,EMASのハイブリッドバージョンを提案する。 これには、複数のハイブリッド演算子の選択と導入、およびメインアルゴリズムのハイブリッドステップを開始するためのルールの定義が含まれる。 これらのハイブリッドステップは、既存の、よく知られた、そして証明された、効率的なメタヒューリスティックスを活用し、その結果をメインのアルゴリズムに統合する。
  論文  参考訳（メタデータ） (2022-10-24T13:28:35Z)
• Enhancing Explainability of Hyperparameter Optimization via Bayesian Algorithm Execution [13.037647287689438]
  部分依存プロットのような解釈可能な機械学習(IML)手法とHPOの組み合わせについて検討する。 我々は,最適大域的予測性能を効率的に探索する改良HPO法を提案する。 提案手法は,最適化性能を損なうことなく,ブラックボックスの信頼性の高い説明を返す。
  論文  参考訳（メタデータ） (2022-06-11T07:12:04Z)
• Collaborative Intelligent Reflecting Surface Networks with Multi-Agent Reinforcement Learning [63.83425382922157]
  インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。 本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
  論文  参考訳（メタデータ） (2022-03-26T20:37:14Z)
• A survey on multi-objective hyperparameter optimization algorithms for Machine Learning [62.997667081978825]
  本稿では,多目的HPOアルゴリズムに関する2014年から2020年にかけての文献を体系的に調査する。 メタヒューリスティック・ベース・アルゴリズムとメタモデル・ベース・アルゴリズム,および両者を混合したアプローチを区別する。 また,多目的HPO法と今後の研究方向性を比較するための品質指標についても論じる。
  論文  参考訳（メタデータ） (2021-11-23T10:22:30Z)
• Hyperparameter Optimization: Foundations, Algorithms, Best Practices and Open Challenges [5.139260825952818]
  本稿では,グリッドやランダム検索,進化アルゴリズム,ベイズ最適化,ハイパーバンド,レースなどの重要なHPO手法について述べる。 HPOアルゴリズム自体、パフォーマンス評価、HPOとMLパイプラインの結合方法、ランタイムの改善、並列化など、HPOの実行時に行うべき重要な選択について、実用的なレコメンデーションを提供する。
  論文  参考訳（メタデータ） (2021-07-13T04:55:47Z)
• Cost-Efficient Online Hyperparameter Optimization [94.60924644778558]
  実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。 提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
  論文  参考訳（メタデータ） (2021-01-17T04:55:30Z)
• High Dimensional Bayesian Optimization Assisted by Principal Component Analysis [4.030481609048958]
  高次元数値最適化問題に対する新しいPCA支援BO(PCA-BO)アルゴリズムを提案する。 我々は,PCA-BOが高次元問題におけるCPU時間を効果的に削減し,適切なグローバル構造を持つ問題に対する収束率を維持することを示す。
  論文  参考訳（メタデータ） (2020-07-02T07:03:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。