論文の概要: HomOpt: A Homotopy-Based Hyperparameter Optimization Method

• arxiv url: http://arxiv.org/abs/2308.03317v1
• Date: Mon, 7 Aug 2023 06:01:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-08 15:01:42.669343
• Title: HomOpt: A Homotopy-Based Hyperparameter Optimization Method
• Title（参考訳）: HomOpt: ホモトピーに基づくハイパーパラメータ最適化手法
• Authors: Sophia J. Abraham, Kehelwala D. G. Maduranga, Jeffery Kinnison, Zachariah Carmichael, Jonathan D. Hauenstein, Walter J. Scheirer
• Abstract要約: 一般化加法モデル(GAM)とホモトピー最適化を組み合わせたデータ駆動型手法であるHomOptを提案する。 本稿では,HomOptが任意のメソッドの性能と有効性を向上し,連続離散およびカテゴリー領域空間上での最適収束を高速化する方法について述べる。
• 参考スコア（独自算出の注目度）: 10.11271414863925
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning has achieved remarkable success over the past couple of decades, often attributed to a combination of algorithmic innovations and the availability of high-quality data available at scale. However, a third critical component is the fine-tuning of hyperparameters, which plays a pivotal role in achieving optimal model performance. Despite its significance, hyperparameter optimization (HPO) remains a challenging task for several reasons. Many HPO techniques rely on naive search methods or assume that the loss function is smooth and continuous, which may not always be the case. Traditional methods, like grid search and Bayesian optimization, often struggle to quickly adapt and efficiently search the loss landscape. Grid search is computationally expensive, while Bayesian optimization can be slow to prime. Since the search space for HPO is frequently high-dimensional and non-convex, it is often challenging to efficiently find a global minimum. Moreover, optimal hyperparameters can be sensitive to the specific dataset or task, further complicating the search process. To address these issues, we propose a new hyperparameter optimization method, HomOpt, using a data-driven approach based on a generalized additive model (GAM) surrogate combined with homotopy optimization. This strategy augments established optimization methodologies to boost the performance and effectiveness of any given method with faster convergence to the optimum on continuous, discrete, and categorical domain spaces. We compare the effectiveness of HomOpt applied to multiple optimization techniques (e.g., Random Search, TPE, Bayes, and SMAC) showing improved objective performance on many standardized machine learning benchmarks and challenging open-set recognition tasks.
• Abstract（参考訳）: 機械学習は、アルゴリズムのイノベーションと、大規模に利用可能な高品質なデータの組み合わせによって、過去数十年で驚くべき成功を収めてきた。 しかし、第3の重要な要素はハイパーパラメータの微調整であり、最適なモデル性能を達成する上で重要な役割を果たす。 その重要性にもかかわらず、ハイパーパラメータ最適化(HPO)はいくつかの理由から難しい課題である。 多くのHPO手法は単純探索法に依存し、損失関数が滑らかで連続であると仮定するが、必ずしもそうではないかもしれない。 グリッド探索やベイズ最適化のような伝統的な手法は、しばしば損失の風景を素早く適応し効率的に探索するのに苦労する。 グリッド探索は計算コストが高く、ベイズ最適化は素数に遅くなる。 HPOの探索空間はしばしば高次元かつ非凸であるため、大域的な最小値を見つけることはしばしば困難である。 さらに、最適なハイパーパラメータは特定のデータセットやタスクに敏感になり、検索プロセスはさらに複雑になる。 これらの問題に対処するために,一般化加法モデル(GAM)とホモトピー最適化を組み合わせたデータ駆動型アプローチを用いて,新しいハイパーパラメータ最適化法であるHomOptを提案する。 この戦略は、連続的、離散的、カテゴリー的領域空間における最適値へのより高速な収束で、任意のメソッドの性能と有効性を高める最適化手法を確立した。 複数の最適化手法(ランダムサーチ、TPE、ベイズ、SMACなど)に適用されたHomOptの有効性を比較し、多くの標準化された機械学習ベンチマークにおける客観的パフォーマンスの改善とオープンセット認識タスクへの挑戦を示す。

関連論文リスト

• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)
• Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
  興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。 基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。 我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
  論文  参考訳（メタデータ） (2022-09-27T17:51:31Z)
• A Globally Convergent Gradient-based Bilevel Hyperparameter Optimization Method [0.0]
  ハイパーパラメータ最適化問題の解法として,勾配に基づく双レベル法を提案する。 提案手法は, より低い計算量に収束し, テストセットをより良く一般化するモデルに導かれることを示す。
  論文  参考訳（メタデータ） (2022-08-25T14:25:16Z)
• Pre-training helps Bayesian optimization too [49.28382118032923]
  機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-07-07T04:42:54Z)
• A Comparative study of Hyper-Parameter Optimization Tools [2.6097538974670935]
  我々は、4つのpythonライブラリ、すなわちOptuna、Hyperopt、Optunity、およびシーケンシャルモデルアルゴリズム構成(SMAC)の性能を比較した。 私たちは、OptunaがCASH問題とNeurIPSのブラックボックス最適化の課題に対してより良いパフォーマンスを持つことを発見した。
  論文  参考訳（メタデータ） (2022-01-17T14:49:36Z)
• Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
  ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。 具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。 次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
  論文  参考訳（メタデータ） (2021-02-17T21:03:05Z)
• Efficient hyperparameter optimization by way of PAC-Bayes bound minimization [4.191847852775072]
  本稿では,期待外誤差に縛られた確率的近似ベイズ(PAC-Bayes)と等価な別の目的について述べる。 そして、この目的を最小化するために、効率的な勾配に基づくアルゴリズムを考案する。
  論文  参考訳（メタデータ） (2020-08-14T15:54:51Z)
• A Gradient-based Bilevel Optimization Approach for Tuning Hyperparameters in Machine Learning [0.0]
  本稿では,ハイパーパラメータ最適化問題の解法として,二段階解法を提案する。 提案手法は汎用的で,任意の種類の機械学習アルゴリズムに容易に適用可能である。 提案アルゴリズムの背景にある理論を議論し、2つのデータセットについて広範な計算研究を行う。
  論文  参考訳（メタデータ） (2020-07-21T18:15:08Z)
• Cross Entropy Hyperparameter Optimization for Constrained Problem Hamiltonians Applied to QAOA [68.11912614360878]
  QAOA(Quantum Approximate Optimization Algorithm)のようなハイブリッド量子古典アルゴリズムは、短期量子コンピュータを実用的に活用するための最も奨励的なアプローチの1つである。 このようなアルゴリズムは通常変分形式で実装され、古典的な最適化法と量子機械を組み合わせて最適化問題の優れた解を求める。 本研究では,クロスエントロピー法を用いてランドスケープを形作り,古典的パラメータがより容易により良いパラメータを発見でき,その結果,性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-03-11T13:52:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。