論文の概要: Learning How to Optimize Black-Box Functions With Extreme Limits on the
Number of Function Evaluations
- arxiv url: http://arxiv.org/abs/2103.10321v1
- Date: Thu, 18 Mar 2021 15:30:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-19 14:10:29.064881
- Title: Learning How to Optimize Black-Box Functions With Extreme Limits on the
Number of Function Evaluations
- Title（参考訳）: 機能評価回数を極端に制限したブラックボックス関数の最適化方法の学習
- Authors: Carlos Ansotegui, Meinolf Sellmann, Tapan Shah, Kevin Tierney
- Abstract要約: ブラックボックス最適化では,約100桁の関数評価が極めて限られた数しか手頃な価格で行われない。
本稿では,確立された手法を用いて各バッチの点集合を提案し,これらの候補点から,並列に実行できる試行回数をダウンセレクトする手法を提案する。
我々は、正規化コストの平均50%の削減を達成し、これは非常に大きな性能改善である。
- 参考スコア（独自算出の注目度）: 3.0969191504482243
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider black-box optimization in which only an extremely limited number
of function evaluations, on the order of around 100, are affordable and the
function evaluations must be performed in even fewer batches of a limited
number of parallel trials. This is a typical scenario when optimizing variable
settings that are very costly to evaluate, for example in the context of
simulation-based optimization or machine learning hyperparameterization. We
propose an original method that uses established approaches to propose a set of
points for each batch and then down-selects from these candidate points to the
number of trials that can be run in parallel. The key novelty of our approach
lies in the introduction of a hyperparameterized method for down-selecting the
number of candidates to the allowed batch-size, which is optimized offline
using automated algorithm configuration. We tune this method for black box
optimization and then evaluate on classical black box optimization benchmarks.
Our results show that it is possible to learn how to combine evaluation points
suggested by highly diverse black box optimization methods conditioned on the
progress of the optimization. Compared with the state of the art in black box
minimization and various other methods specifically geared towards few-shot
minimization, we achieve an average reduction of 50\% of normalized cost, which
is a highly significant improvement in performance.
- Abstract（参考訳）: 我々は,ごく限られた数の関数評価が約100の順番で安価で,限られた数の並列試行のバッチでも機能評価を行なわなければならないブラックボックス最適化を考える。
これは、例えばシミュレーションベースの最適化や機械学習のハイパーパラメータ化といった、非常にコストのかかる変数設定を最適化する場合の典型的なシナリオである。
本稿では,確立された手法を用いて各バッチの点集合を提案し,これらの候補点から,並列に実行できる試行回数をダウンセレクトする手法を提案する。
提案手法の主な特徴は,自動アルゴリズム構成を用いてオフラインで最適化されたバッチサイズに対する候補数をダウンセレクトするハイパーパラメータ化手法の導入である。
この手法をブラックボックス最適化に最適化し,従来のブラックボックス最適化ベンチマークで評価する。
その結果,最適化の進展を条件とした多彩なブラックボックス最適化手法によって提案される評価点を組み合わせる方法が学習可能であることがわかった。
ブラックボックスの最小化技術や、特に少数ショットの最小化を意図した様々な方法と比較すると、正規化コストの平均50%の削減を実現しており、これは非常に重要な性能改善である。
関連論文リスト
- Batch Bayesian Optimization via Expected Subspace Improvement [0.0]
本稿では,ベイズ最適化をバッチ評価に拡張するためのシンプルで効率的な手法を提案する。
提案手法は,逐次ベイズ最適化アルゴリズムと比較した場合,ニア線形高速化を実現することができる。
論文 参考訳（メタデータ） (2024-11-25T09:14:09Z) - Multi-fidelity Constrained Optimization for Stochastic Black Box
Simulators [1.6385815610837167]
上記の問題に対処するために、Scout-Nd (Stochastic Constrained Optimization for N dimensions) アルゴリズムを導入する。
Scout-Ndは効率よく勾配を推定し、推定器勾配のノイズを低減し、計算労力をさらに削減するために多重忠実性スキームを適用する。
提案手法を標準ベンチマークで検証し,既存の手法よりも優れた性能を示すパラメータの最適化の有効性を示す。
論文 参考訳（メタデータ） (2023-11-25T23:36:38Z) - Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
統計的決定論の研究からシャノンエントロピーの一般化を考える。
まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。
次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
論文 参考訳（メタデータ） (2022-10-04T04:43:58Z) - Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。
基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。
我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
論文 参考訳（メタデータ） (2022-09-27T17:51:31Z) - A unified surrogate-based scheme for black-box and preference-based
optimization [2.561649173827544]
ブラックボックスと嗜好に基づく最適化問題は密接に関連しており、同じアプローチのファミリを用いて解決可能であることを示す。
一般的なMSRSフレームワークを一般化した最適化手法である一般化されたメトリック応答面(gMRS)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-02-03T08:47:54Z) - Bayesian Algorithm Execution: Estimating Computable Properties of
Black-box Functions Using Mutual Information [78.78486761923855]
多くの現実世界では、T関数の評価の予算を考えると、高価なブラックボックス関数 f の性質を推測したい。
本稿では,アルゴリズムの出力に対して相互情報を最大化するクエリを逐次選択する手法InfoBAXを提案する。
これらの問題に対してInfoBAXは、元のアルゴリズムで要求されるより500倍少ないクエリをfに使用する。
論文 参考訳（メタデータ） (2021-04-19T17:22:11Z) - Divide and Learn: A Divide and Conquer Approach for Predict+Optimize [50.03608569227359]
予測+最適化問題は、予測係数を使用する最適化プロブレムと、確率係数の機械学習を組み合わせる。
本稿では, 予測係数を1次線形関数として, 最適化問題の損失を直接表現する方法を示す。
本稿では,この制約を伴わずに最適化問題に対処し,最適化損失を用いてその係数を予測する新しい分割アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-12-04T00:26:56Z) - Upper Trust Bound Feasibility Criterion for Mixed Constrained Bayesian
Optimization with Application to Aircraft Design [41.74498230885008]
我々は、より正確に混合された制約問題を解決するために、いわゆる超効率的なグローバル最適化アルゴリズムを適用する。
本研究は, 数値実験におけるアプローチの可能性を示すものである。
論文 参考訳（メタデータ） (2020-05-11T12:59:09Z) - Parallel Predictive Entropy Search for Multi-objective Bayesian
Optimization with Constraints [0.0]
実世界の問題は、しばしば複数の制約の下で複数の目的を最適化する。
本稿では,ブラックボックス関数の同時最適化のための情報ベースバッチ手法であるPESMOCを紹介する。
繰り返して、PESMOCはブラックボックスを評価するための入力場所のバッチを選択する。
論文 参考訳（メタデータ） (2020-04-01T17:37:58Z) - Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。
このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。
本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。
先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
論文 参考訳（メタデータ） (2020-03-27T06:18:49Z) - Time-varying Gaussian Process Bandit Optimization with Non-constant
Evaluation Time [93.6788993843846]
非定常評価時間を効果的に処理できる新しい時間変化ベイズ最適化アルゴリズムを提案する。
我々の限界は、評価時間列のパターンが問題の難易度に大きな影響を与えることを決定づける。
論文 参考訳（メタデータ） (2020-03-10T13:28:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。