論文の概要: Hyperparameter Adaptive Search for Surrogate Optimization: A Self-Adjusting Approach

• arxiv url: http://arxiv.org/abs/2310.07970v1
• Date: Thu, 12 Oct 2023 01:26:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-14 13:24:02.545165
• Title: Hyperparameter Adaptive Search for Surrogate Optimization: A Self-Adjusting Approach
• Title（参考訳）: 代理最適化のためのハイパーパラメータ適応探索:自己調整手法
• Authors: Nazanin Nezami and Hadis Anahideh
• Abstract要約: サーロゲート最適化(SO)アルゴリズムは高価なブラックボックス関数の最適化を約束している。 提案手法は,各問題とSOアプローチに特有の最も影響力のあるハイパーパラメータを同定し,修正する。 実験により,様々なSOアルゴリズムの性能向上におけるHASSOの有効性が示された。
• 参考スコア（独自算出の注目度）: 1.6317061277457001
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Surrogate Optimization (SO) algorithms have shown promise for optimizing expensive black-box functions. However, their performance is heavily influenced by hyperparameters related to sampling and surrogate fitting, which poses a challenge to their widespread adoption. We investigate the impact of hyperparameters on various SO algorithms and propose a Hyperparameter Adaptive Search for SO (HASSO) approach. HASSO is not a hyperparameter tuning algorithm, but a generic self-adjusting SO algorithm that dynamically tunes its own hyperparameters while concurrently optimizing the primary objective function, without requiring additional evaluations. The aim is to improve the accessibility, effectiveness, and convergence speed of SO algorithms for practitioners. Our approach identifies and modifies the most influential hyperparameters specific to each problem and SO approach, reducing the need for manual tuning without significantly increasing the computational burden. Experimental results demonstrate the effectiveness of HASSO in enhancing the performance of various SO algorithms across different global optimization test problems.
• Abstract（参考訳）: surrogate optimization (so)アルゴリズムは高価なブラックボックス関数を最適化することを約束している。 しかし、それらの性能はサンプリングやサロゲートフィッティングに関連するハイパーパラメータの影響を強く受けており、広く採用される上で課題となっている。 本稿では,様々なSOアルゴリズムに対するハイパーパラメータの影響を調査し,HASSO(Hyperparameter Adaptive Search for SO)アプローチを提案する。 HASSOはハイパーパラメータチューニングアルゴリズムではなく、自分自身のハイパーパラメータを動的に調整し、同時に主目的関数を最適化する汎用自己調整SOアルゴリズムである。 本研究の目的は,SOアルゴリズムのアクセシビリティ,有効性,収束速度を改善することである。 提案手法は,各問題に固有の最も影響力のあるハイパーパラメータを特定し,修正することで,計算負荷を大幅に増加させることなく,手動チューニングの必要性を低減できる。 実験の結果,グローバル最適化テストにおける様々なsoアルゴリズムの性能向上にhassoの有効性が示された。

関連論文リスト

• MADA: Meta-Adaptive Optimizers through hyper-gradient Descent [73.1383658672682]
  メタ適応(MADA)は、複数の既知の収束を一般化し、トレーニング中に最も適した収束を動的に学習できる統合フレームワークである。 私たちは、MADAを視覚や言語タスクに関する他の人気と経験的に比較し、MADAがAdamや他の人気を一貫して上回っていることに気付きました。 AVGradは最大演算子を平均演算子に置き換えたもので、高次最適化に適している。
  論文  参考訳（メタデータ） (2024-01-17T00:16:46Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Performance comparison of optimization methods on variational quantum algorithms [2.690135599539986]
  変分量子アルゴリズム(VQA)は、学術・工業研究への応用に短期的な量子ハードウェアを使用するための有望な道を提供する。 SLSQP, COBYLA, CMA-ES, SPSAの4つの最適化手法の性能について検討した。
  論文  参考訳（メタデータ） (2021-11-26T12:13:20Z)
• HyP-ABC: A Novel Automated Hyper-Parameter Tuning Algorithm Using Evolutionary Optimization [1.6114012813668934]
  改良されたミツバチコロニーを用いたハイブリッドハイパーパラメータ最適化アルゴリズムHyP-ABCを提案する。 最先端技術と比較して、HyP-ABCは効率が良く、調整すべきパラメータが限られている。
  論文  参考訳（メタデータ） (2021-09-11T16:45:39Z)
• Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
  ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。 具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。 次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
  論文  参考訳（メタデータ） (2021-02-17T21:03:05Z)
• Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
  ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。 この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
  論文  参考訳（メタデータ） (2021-02-15T19:36:18Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)
• An Asymptotically Optimal Multi-Armed Bandit Algorithm and Hyperparameter Optimization [48.5614138038673]
  本稿では,高パラメータ探索評価のシナリオにおいて,SS (Sub-Sampling) と呼ばれる効率的で堅牢な帯域幅に基づくアルゴリズムを提案する。 また,BOSSと呼ばれる新しいパラメータ最適化アルゴリズムを開発した。 実験的な研究は、SSの理論的議論を検証し、多くのアプリケーションにおけるBOSSの優れた性能を実証する。
  論文  参考訳（メタデータ） (2020-07-11T03:15:21Z)
• Automatic Setting of DNN Hyper-Parameters by Mixing Bayesian Optimization and Tuning Rules [0.6875312133832078]
  トレーニングおよび検証セット上で,ネットワークの結果を評価し解析するための新しいアルゴリズムを構築した。 我々は、一連のチューニングルールを使用して、新しいハイパーパラメータと/またはハイパーパラメータ検索スペースを減らし、より良い組み合わせを選択する。
  論文  参考訳（メタデータ） (2020-06-03T08:53:48Z)
• On Hyper-parameter Tuning for Stochastic Optimization Algorithms [28.88646928299302]
  本稿では,強化学習に基づく最適化アルゴリズムのハイパーパラメータをチューニングするための,最初のアルゴリズムフレームワークを提案する。 提案フレームワークはアルゴリズムにおけるハイパーパラメータチューニングの標準ツールとして利用できる。
  論文  参考訳（メタデータ） (2020-03-04T12:29:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。