論文の概要: IEO: Intelligent Evolutionary Optimisation for Hyperparameter Tuning

• arxiv url: http://arxiv.org/abs/2009.06390v1
• Date: Thu, 10 Sep 2020 18:47:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 02:33:05.366138
• Title: IEO: Intelligent Evolutionary Optimisation for Hyperparameter Tuning
• Title（参考訳）: ieo:ハイパーパラメータチューニングのためのインテリジェント進化最適化
• Authors: Yuxi Huan, Fan Wu, Michail Basios, Leslie Kanthan, Lingbo Li, Baowen Xu
• Abstract要約: 本稿では,従来の進化アルゴリズムに機械学習技術を適用した知的進化最適化アルゴリズムを提案する。 我々の手法は、最適化速度を平均で30.40%、最高のシナリオで77.06%まで加速させる。
• 参考スコア（独自算出の注目度）: 9.082096472600751
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperparameter optimisation is a crucial process in searching the optimal machine learning model. The efficiency of finding the optimal hyperparameter settings has been a big concern in recent researches since the optimisation process could be time-consuming, especially when the objective functions are highly expensive to evaluate. In this paper, we introduce an intelligent evolutionary optimisation algorithm which applies machine learning technique to the traditional evolutionary algorithm to accelerate the overall optimisation process of tuning machine learning models in classification problems. We demonstrate our Intelligent Evolutionary Optimisation (IEO)in a series of controlled experiments, comparing with traditional evolutionary optimisation in hyperparameter tuning. The empirical study shows that our approach accelerates the optimisation speed by 30.40% on average and up to 77.06% in the best scenarios.
• Abstract（参考訳）: ハイパーパラメータ最適化は最適な機械学習モデルを探す上で重要なプロセスである。 最適パラメータ設定の効率は、特に目的関数の評価に高いコストがかかる場合、最適化プロセスが時間がかかる可能性があるため、最近の研究において大きな関心事となっている。 本稿では,従来の進化アルゴリズムに機械学習手法を適用し,分類問題における機械学習モデルのチューニングの全体的な最適化プロセスを高速化する知的進化最適化アルゴリズムを提案する。 我々の知的進化最適化(ieo)を一連の制御実験で実証し、ハイパーパラメータチューニングにおける従来の進化最適化と比較した。 実験の結果,提案手法は最適化速度を平均で30.40%,最良シナリオでは77.06%向上させることがわかった。

関連論文リスト

• An investigation on the use of Large Language Models for hyperparameter tuning in Evolutionary Algorithms [4.0998481751764]
  最適化ログをオンラインで分析するために,オープンソースのLarge Language Models (LLM) を2つ採用している。 本研究では, (1+1)-ESのステップサイズ適応の文脈におけるアプローチについて検討する。
  論文  参考訳（メタデータ） (2024-08-05T13:20:41Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)
• A Data-Driven Evolutionary Transfer Optimization for Expensive Problems in Dynamic Environments [9.098403098464704]
  データ駆動、つまりサロゲート支援、進化的最適化は、高価なブラックボックス最適化問題に対処するための効果的なアプローチとして認識されている。 本稿では,データ駆動型進化的最適化により動的最適化問題を解くための,シンプルだが効果的な伝達学習フレームワークを提案する。 提案手法の有効性を実世界のケーススタディで実証した。
  論文  参考訳（メタデータ） (2022-11-05T11:19:50Z)
• Improving Multi-fidelity Optimization with a Recurring Learning Rate for Hyperparameter Tuning [7.591442522626255]
  再帰学習率(MORL)を考慮した多相最適化を提案する。 MORLはCNNの最適化プロセスを多要素最適化に組み込んでいる。 スロースタートの問題を緩和し、より正確な低忠実度近似を実現する。
  論文  参考訳（メタデータ） (2022-09-26T08:16:31Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Adaptive Optimizer for Automated Hyperparameter Optimization Problem [0.0]
  本稿では,最適化プロセスにおいて適切なパラメータを自動的に調整する適応型フレームワークを構築可能な汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-01-28T13:58:10Z)
• Hyper-parameter optimization based on soft actor critic and hierarchical mixture regularization [5.063728016437489]
  我々はマルコフ決定プロセスとしてハイパーパラメータ最適化プロセスをモデル化し、強化学習でそれに取り組む。 ソフトアクター評論家と階層混合正規化に基づく新しいハイパーパラメータ最適化法が提案されている。
  論文  参考訳（メタデータ） (2021-12-08T02:34:43Z)
• Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
  ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。 具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。 次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
  論文  参考訳（メタデータ） (2021-02-17T21:03:05Z)
• Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
  ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。 この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
  論文  参考訳（メタデータ） (2021-02-15T19:36:18Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Bayesian Optimization for Selecting Efficient Machine Learning Models [53.202224677485525]
  本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。 レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
  論文  参考訳（メタデータ） (2020-08-02T02:56:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。