論文の概要、ライセンス

# (参考訳) EXPObench: 高価なブラックボックス関数のサロゲートに基づく最適化アルゴリズムのベンチマーク [全文訳有]

EXPObench: Benchmarking Surrogate-based Optimisation Algorithms on Expensive Black-box Functions ( http://arxiv.org/abs/2106.04618v1 )

ライセンス: CC BY 4.0
Laurens Bliek, Arthur Guijt, Rickard Karlsson, Sicco Verwer, Mathijs de Weerdt(参考訳) ベイズ最適化のようなサーロゲートアルゴリズムは、ハイパーパラメータチューニングやシミュレーションに基づく最適化のような高価な目的を持つブラックボックス最適化問題のために特に設計されている。 文献では、これらのアルゴリズムはよく確立されているが、高価な目的を持たない合成ベンチマークで評価され、論文間で大きく異なる1つまたは2つの実生活アプリケーションでのみ評価される。 実生活、高価、ブラックボックスの目的関数に対するサロゲートアルゴリズムのベンチマークに関して、明らかに標準化の欠如がある。 これにより、アルゴリズム的な貢献の効果に関する結論を引き出すのは非常に困難である。 新しいベンチマークライブラリであるEXPObenchは、このような標準化に向けた第一歩を提供する。 このライブラリは、異なる実生活アプリケーションから4つの高価な最適化問題に対して、6つの異なる代理アルゴリズムを広範囲に比較するために使用される。 これにより、探査の相対的重要性、目的物の評価時間、使用済みモデルに関する新たな洞察がもたらされた。 さらに、我々はアルゴリズムとベンチマーク問題インスタンスを公開し、サロゲートアルゴリズムのより均一な分析に寄与している。 最も重要なのは、評価されたすべての問題インスタンスにおける6つのアルゴリズムのパフォーマンスです。 これにより、比較に必要な高価な評価の数が大幅に削減されるため、新しい手法を研究するためのバーを小さくするユニークな新しいデータセットが得られる。

Surrogate algorithms such as Bayesian optimisation are especially designed for black-box optimisation problems with expensive objectives, such as hyperparameter tuning or simulation-based optimisation. In the literature, these algorithms are usually evaluated with synthetic benchmarks which are well established but have no expensive objective, and only on one or two real-life applications which vary wildly between papers. There is a clear lack of standardisation when it comes to benchmarking surrogate algorithms on real-life, expensive, black-box objective functions. This makes it very difficult to draw conclusions on the effect of algorithmic contributions. A new benchmark library, EXPObench, provides first steps towards such a standardisation. The library is used to provide an extensive comparison of six different surrogate algorithms on four expensive optimisation problems from different real-life applications. This has led to new insights regarding the relative importance of exploration, the evaluation time of the objective, and the used model. A further contribution is that we make the algorithms and benchmark problem instances publicly available, contributing to more uniform analysis of surrogate algorithms. Most importantly, we include the performance of the six algorithms on all evaluated problem instances. This results in a unique new dataset that lowers the bar for researching new methods as the number of expensive evaluations required for comparison is significantly reduced.
公開日: Tue, 8 Jun 2021 18:17:42 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
1 EXPObench: Benchmarking Surrogate-based 1 EXPObench: サーロゲートベースのベンチマーク 0.72
Optimisation Algorithms on Expensive Black-box 余剰ブラックボックスの最適化アルゴリズム 0.73
Functions Laurens Bliek, Arthur Guijt, Rickard Karlsson, Sicco Verwer, Mathijs de Weerdt 機能 Laurens Bliek, Arthur Guijt, Rickard Karlsson, Sicco Verwer, Mathijs de Weerdt 0.82
1 2 0 2 n u J 1 2 0 2 n u J 0.85
8 ] G L . 8 ] G L。 0.81
s c [ 1 v 8 1 6 4 0 sc [ 1 v 8 1 6 4 0 0.68
. 6 0 1 2 : v i X r a . 6 0 1 2 : v i X r a 0.85
Abstract—Surrogate algorithms such as Bayesian optimisation are especially designed for black-box optimisation problems with expensive objectives, such as hyperparameter tuning or simulation-based optimisation. 抽象-ベイズ最適化のようなサーロゲートアルゴリズムは、ハイパーパラメータチューニングやシミュレーションに基づく最適化のような高価な目的を持つブラックボックス最適化問題のために特に設計されている。 0.60
In the literature, these algorithms are usually evaluated with synthetic benchmarks which are well established but have no expensive objective, and only on one or two real-life applications which vary wildly between papers. 文献では、これらのアルゴリズムはよく確立されているが、高価な目的を持たない合成ベンチマークで評価され、論文間で大きく異なる1つまたは2つの実生活アプリケーションでのみ評価される。 0.67
There is a clear lack of standardisation when it comes to benchmarking surrogate algorithms on real-life, expensive, black-box objective functions. 実生活、高価、ブラックボックスの目的関数に対するサロゲートアルゴリズムのベンチマークに関して、明らかに標準化の欠如がある。 0.62
This makes it very difficult to draw conclusions on the effect of algorithmic contributions. これにより、アルゴリズム的な貢献の効果に関する結論を引き出すのは非常に困難である。 0.65
A new benchmark library, EXPObench, provides first steps towards such a standardisation. 新しいベンチマークライブラリであるEXPObenchは、このような標準化に向けた第一歩を提供する。 0.53
The library is used to provide an extensive comparison of six different surrogate algorithms on four expensive optimisation problems from different reallife applications. このライブラリは、異なる現実のアプリケーションから4つの高価な最適化問題に対して、6つの異なる代理アルゴリズムを広範囲に比較するために使用される。 0.62
This has led to new insights regarding the relative importance of exploration, the evaluation time of the objective, and the used model. これにより、探査の相対的重要性、目的物の評価時間、使用済みモデルに関する新たな洞察がもたらされた。 0.74
A further contribution is that we make the algorithms and benchmark problem instances publicly available, contributing to more uniform analysis of surrogate algorithms. さらに、我々はアルゴリズムとベンチマーク問題インスタンスを公開し、サロゲートアルゴリズムのより均一な分析に寄与している。
訳抜け防止モード: さらなる貢献は 我々は、アルゴリズムとベンチマーク問題のインスタンスを一般に公開し、サーロゲートアルゴリズムのより統一的な分析に寄与する。
0.76
Most importantly, we include the performance of the six algorithms on all evaluated problem instances. 最も重要なのは、評価されたすべての問題インスタンスにおける6つのアルゴリズムのパフォーマンスです。 0.62
This results in a unique new dataset that lowers the bar for researching new methods as the number of expensive evaluations required for comparison is significantly reduced. これにより、比較に必要な高価な評価の数が大幅に削減されるため、新しい手法を研究するためのバーを小さくするユニークな新しいデータセットが得られる。 0.67
I. INTRODUCTION Unlike other black-box optimisation algorithms, surrogatebased optimisation algorithms such as Bayesian optimisation [1] are designed specifically to solve problems with expensive objective functions. I 導入 他のブラックボックス最適化アルゴリズムとは異なり、ベイズ最適化 [1] のようなサロゲートベースの最適化アルゴリズムは、高価な目的関数で問題を解決するために特別に設計されている。 0.51
Examples are music generation [2], materials science [3], temperature control [4], optics [5], and computer vision [6]. music generation [2], materials science [3], temperature control [4], optics [5], computer vision [6] などがある。 0.67
By making use of a surrogate model that approximates the objective function, these algorithms achieve good results even with a low number of function evaluations. 目的関数を近似した代理モデルを用いることで,低数の関数評価でも良好な結果が得られる。
訳抜け防止モード: 目的関数を近似した代理モデルを利用する。 これらのアルゴリズムは,機能評価の少ない場合でも良好な結果が得られる。
0.82
However, the training and usage of the surrogate model is more computationally intensive than the use of typical black-box optimisation heuristics such as local search or population-based methods. しかしながら、サロゲートモデルの訓練と使用は、局所探索や集団ベース手法のような典型的なブラックボックス最適化ヒューリスティックの使用よりも計算集約的である。 0.63
This complicates thorough benchmarking of surrogate algorithms. これは代理アルゴリズムの徹底的なベンチマークを複雑にする。 0.42
The current way of benchmarking surrogate algorithms does not give complete insight into the strengths and weaknesses of the different algorithms, for a variety of reasons. 現在のシュロゲートアルゴリズムのベンチマーク方法は、様々な理由で異なるアルゴリズムの長所と短所について完全な洞察を与えていない。 0.74
The most L. Bliek is at the School of Industrial Engineering, Eindhoven University 一番多いのは L・ブライクはアイントホーフェン大学工業工学部にいる 0.53
of Technology, Eindhoven, the Netherlands, l.bliek@tue.nl of Technology, Eindhoven, the Netherlands, l.bliek@tue.nl 0.88
R. Karlsson is at the Department of Mathematical Sciences, Chalmers R. Karlssonは数学科学科のCalmersだ。 0.73
University of Technology, rickard.karlaxel@icl oud.com University of Technology, rickard.karlaxel@icl oud.com 0.78
A. Guijt , S. Verwer and M. de Weerdt are at the Faculty of Electrical Engineering, Mathematics and Computer Science, Delft University of Technology, Delft, the Netherlands, {A.Guijt-1,S.E.Verwer ,M.M.deWeerdt}@tudelft.nl A. Guijt , S. Verwer と M. de Weerdt はオランダのデルフト工科大学電気工学・数学・計算機科学学部(Delft University of Technology, Delft, Delft, Netherlands, {A.Guijt-1,S.E.Verwer ,M.M.deWeerdt}@tudelft.nl)に在籍している。
訳抜け防止モード: A. Guijt、S. Verwer、M. de Weerdtは電気工学部にいる。 Delft, Delft, the Netherlands,{ A.Guijt-1,S.E.Verwer ,M.M.deWeerdt}@tudelft.nl
0.85
important reason is the lack of a standard benchmark set of problems that come from real-life applications and that also have expensive objective functions. 重要な理由は、実生活のアプリケーションから生じる標準ベンチマークセットの欠如と、高価な目的関数の欠如である。 0.68
Another reason is the lack of insight in the computational efficiency of surrogate algorithms. もう一つの理由は、代理アルゴリズムの計算効率に関する洞察の欠如である。 0.69
In this work, we compare several surrogate algorithms on the same set of expensive optimisation problems from reallife applications, resulting in a public benchmark library that can be easily extended both with new surrogate algorithms, as well as with new problems. 本研究では,実生活アプリケーションから発生する高コストの最適化問題に対して,複数のサロゲートアルゴリズムを比較検討した結果,新たなサロゲートアルゴリズムと新たな問題の両方で容易に拡張可能な公開ベンチマークライブラリが得られた。 0.81
Our other contributions are: • insight その他の貢献は •洞察 0.69
• the creation of a meta-algorithmic dataset of surrogate algorithm performance on real-life expensive problems, into the strengths and weaknesses of existing surrogate algorithms and verifying existing knowledge from literature, •実生活の高価な問題に対するサロゲートアルゴリズム性能のメタアルゴリズムデータセットの作成、既存のサロゲートアルゴリズムの強みと弱み、文献からの既存の知識の検証
訳抜け防止モード: •実生活費問題に対するサロゲートアルゴリズム性能のメタ-アルゴリズムデータセットの作成 既存の代理アルゴリズムの強みと弱みに着目し、文献から既存の知識を検証する。
0.80
• investigating how algorithm performance depends on the available computational resources and the cost of the expensive objective, •アルゴリズムの性能調査は、利用可能な計算資源と高価な目的のコストに依存する。 0.85
• separating the effects of the choice of surrogate model •代理モデルの選択による影響の分離 0.72
and the acquisition step of the different algorithms. 異なるアルゴリズムによる 買収のステップです 0.59
We furthermore show that continuous models can be used on discrete problems and vice versa. さらに,連続モデルが離散問題に適用可能であり,逆もまた可能であることを示す。
訳抜け防止モード: さらに私たちは 連続モデルは離散問題に適用でき、逆もまた可能である。
0.75
The main insights that we obtained are that the accuracy of a surrogate model and the choice of using a continuous or discrete model, are less important than the evaluation time of the objective and the way the surrogate algorithm explores the search space. 得られた主な洞察は、サロゲートモデルの精度と連続的または離散的なモデルを使用する選択は、目的物の評価時間よりも重要ではなく、サロゲートアルゴリズムが探索空間を探索する方法である。 0.77
II. BACKGROUND AND RELATED WORK II。 バックグランドおよび関連作業 0.65
This section starts by giving a short explanation of surrogate-based optimisation algorithms, or surrogate algorithms for short. この節は、サロゲートに基づく最適化アルゴリズム、あるいは短いサロゲートアルゴリズムの簡単な説明から始まります。 0.71
We then describe some of the shortcomings in the way surrogate algorithms are currently benchmarked: the lack of standardised benchmarks and the lack of insight in computational efficiency. 次に、surrogateアルゴリズムが現在ベンチマークされている方法の欠点をいくつか説明する: 標準ベンチマークの欠如と計算効率に関する洞察の欠如。 0.71
Finally, we give an overview of related benchmark libraries and show how our library fills an important gap. 最後に、関連するベンチマークライブラリの概要を説明し、ライブラリが重要なギャップを埋める方法を示す。 0.64
A. Surrogate-based optimisation algorithms a.surrogateに基づく最適化アルゴリズム 0.55
In surrogate optimisation, the goal is to minimise an expen- surrogateオプティマイズでは、目標はexpenを最小化することである。 0.52
sive black-box objective function sive black-box 目的関数 0.77
(1) where X ⊆ Rd is the d-dimensional search space with d the number of decision variables. 1) X > Rd が d の d 次元探索空間であるとき、決定変数の数である。 0.81
The objective can be expensive 目的は高くつくことができます 0.60
min x∈X f (x), min x です。 f (x) 0.56
英語(論文から抽出)日本語訳スコア
for various reasons, but in this work we assume f is expensive in terms of computational resources, as it involves running a simulator or algorithm. 様々な理由で、しかしこの研究では、fはシミュレータやアルゴリズムの実行を伴うため、計算資源の面で高価であると考えています。
訳抜け防止モード: 様々な理由から、しかしこの研究で f は計算資源の面で高価であると仮定する。 シミュレータやアルゴリズムを 実行しているからです
0.82
Optimising f using standard blackbox optimisation algorithms such as local search methods or population-based techniques may require too many evaluations of the expensive objective. 局所探索法や人口ベースの手法のような標準的なブラックボックス最適化アルゴリズムを用いてfを最適化するには、高価な目的の多すぎる評価が必要である。
訳抜け防止モード: 局所探索法や人口ベース手法のような標準ブラックボックス最適化アルゴリズムを用いたfの最適化 高い目標に対する 評価が多すぎるかもしれません
0.73
Surrogate algorithms reduce the number of required objective evaluations by iterating over three steps at every iteration i: surrogateアルゴリズムは、イテレーションi毎に3つのステップを繰り返すことで、必要な客観的評価の数を減らす。 0.69
1) (Evaluation) Evaluate yi = f (xi) for a candidate solu2) (Training) Update the surrogate model g : X → R by 1) (評価) 候補 solu2 に対して yi = f (xi) を評価する (評価) (評価) 代理モデル g : X → R を更新する 0.87
tion xi. fitting the new data point (xi, yi). tion xi 新しいデータポイント(xi, yi)を適合させる。 0.68
3) (Acquisition) Use g to determine a new candidate solu- 3)(取得)gを用いて新しい候補のソルを決定する 0.82
tion xi+1. tion xi+1。 0.74
Usually, in the first R iterations xi is chosen randomly and therefore the acquisition step is skipped for these iterations. 通常、最初の R 反復 xi はランダムに選択されるので、これらの反復に対して取得ステップはスキップされる。
訳抜け防止モード: 通常、最初のR反復ではxiはランダムに選択される ですから 買収のステップは この繰り返しに欠かせないのです
0.72
The training step consists of machine learning techniques such as Gaussian processes or random forests, where the goal is to approximate the objective f with a surrogate model g. For the acquisition step, an acquisition function α is used that indicates which region of the search space is the most promising by trading off exploration and exploitation: 学習ステップはガウス過程やランダムフォレストなどの機械学習技術で構成されており、目的fを代理モデルgで近似することを目的としている。
訳抜け防止モード: トレーニングステップは、ガウスプロセスやランダムフォレストといった機械学習技術で構成されている。 目的のfをサロゲートモデルgで近似させることが目的である。 取得関数αは 探索と搾取を取引することで、検索空間のどの領域が最も有望かを示す。
0.70
xi+1 = argmax xi+1 = argmax 0.78
x∈X α(g(x)). xjavax α(g(x)) である。 0.68
(2) Example acquisition functions are Expected Improvement, Upper Confidence Bound, or Thompson sampling [1]. (2) 獲得関数の例としては、期待改善、高信頼境界、あるいはトンプソンサンプリング[1]がある。 0.75
By far the most common surrogate algorithm is Bayesian optimisation [1], [7], which typically uses a Gaussian process surrogate model. 最も一般的なサロゲートアルゴリズムはベイズ最適化 [1], [7] であり、これは典型的にはガウス過程サロゲートモデルを用いる。 0.76
Other common surrogate models are random forests, as used in the SMAC algorithm [8], and Parzen estimators, as used in HyperOpt [6]. 他の一般的な代理モデルとしては、SMACアルゴリズム [8] で用いられるランダムフォレストや、HyperOpt [6] で使われるパーゼン推定器がある。 0.74
Our own earlier work contains random Fourier features as surrogate models in the DONE algorithm [5] and piece-wise linear surrogate models in the IDONE and MVRSM algorithms [9], [10]. 我々の初期の研究は、idoneおよびmvrsmアルゴリズム [9], [10]における完了アルゴリズム [5] および分割線形サロゲートモデルにおけるサロゲートモデルとしてのランダムなフーリエ特徴を含んでいる。 0.75
An overview of different methods and their surrogate models is given in Table I. 異なる方法とそれらのサロゲートモデルの概要は、表 i で示される。 0.67
Details about which methods are included in the comparison are given in Section III-B. 比較方法の詳細は第III節-B節に記載されている。 0.81
Since the training and acquisition steps above are relatively expensive even if f would not be expensive to evaluate, surrogate algorithms are usually not compared on large numbers of synthetic benchmarks, as is common for other black-box optimisation methods that require less computational resources per iteration. 上記のトレーニングと取得のステップは、fが評価に値しない場合でも比較的高価であるため、サーロゲートアルゴリズムは通常、多くの合成ベンチマークでは比較されない。
訳抜け防止モード: f が評価に値しないとしても、上記の訓練と取得のステップは比較的高価である。 サーロゲートアルゴリズムは通常、大量の合成ベンチマークでは比較されない。 他のブラックボックス最適化法と同様に、反復毎に計算リソースを少なくする。
0.70
The most common way of benchmarking in surrogate-algorithm literature at this moment is to test a new or variant surrogate algorithm and compare it with similar algorithms on some synthetic functions, and then on one or two real-life applications, which vary wildly across papers. 現在、surrogate-algorithmの文献におけるベンチマークの最も一般的な方法は、新しいまたは変種サーロゲートアルゴリズムをテストし、いくつかの合成関数上の類似のアルゴリズムと比較し、論文によって大きく異なる1つか2つの実生活アプリケーション上でベンチマークを行うことである。 0.70
While this approach makes sense given the computational resources required to run surrogate algorithms, it does not give enough insight into which algorithm to use in practice. このアプローチは、サーロゲートアルゴリズムを実行するのに必要な計算リソースを考えると理にかなっているが、実際にどのアルゴリズムを使うべきかについての十分な洞察を与えていない。
訳抜け防止モード: 代理アルゴリズムを実行するのに必要な計算資源を考えると、このアプローチは理にかなっている。 実際にどのアルゴリズムを使うか 十分な洞察を与えていません
0.68
In this section we briefly describe two shortcomings in the current way of benchmarking surrogate algorithms. この節では、サロゲートアルゴリズムのベンチマークの現在の方法における2つの欠点を簡潔に説明する。 0.57
2 tionnaire on real-life optimisation problems [14] confirms that this type of objective function often appears in practice: “For example, we find that work specialising in handling expensive optimisation problems (such as e g surrogate-assisted optimisation) is highly relevant, as several responses to the questionnaire report objective/constraint evaluation times of more than one day.” 2 実生活の最適化問題 [14] では,このタイプの客観的関数が実際に現れることが多いことを確認している。例えば,1日以上にわたる客観的評価の目的報告に対するいくつかの回答として,高価な最適化問題(サロゲート支援最適化など)の処理を専門とする作業は,非常に関連性が高いことが分かる。
訳抜け防止モード: 2 リアル - 生活最適化問題 [14] がそれを裏付ける このような客観的機能は しばしば 例えば、私たちはそれを見つけます。 高価な最適化問題(例えば、補助最適化)を扱うことに特化した仕事 非常に関連性が高く 調査報告の客観的/制約評価時間に対する1日以上の回答」
0.84
Since most surrogate algorithms are developed with the goal of being applicable to many different problems, these algorithms should be tested on multiple benchmark functions. ほとんどのサロゲートアルゴリズムは様々な問題に適用できるよう開発されており、これらのアルゴリズムは複数のベンチマーク関数でテストされるべきである。 0.77
Preferably, these benchmarks are standardised, meaning that they are publicly available, easy to test on, and used by a variety of researchers. 好ましくは、これらのベンチマークは標準化されており、公開されており、簡単にテストでき、様々な研究者によって使用されている。 0.58
For synthetic benchmarks, standardised benchmark libraries such as COCO [15] have been around for several years now, and these types of benchmark functions are often used for the testing of surrogate algorithms as well. 合成ベンチマークでは、COCO[15]のような標準ベンチマークライブラリが数年前から使われており、このようなベンチマーク関数はサロゲートアルゴリズムのテストにもよく使われている。 0.67
However, benchmarks from real-life applications are much harder to find, even though they are common in practice. しかし、現実のアプリケーションのベンチマークは、実際には一般的であるにもかかわらず、見つけるのがずっと難しい。 0.55
As noted in [16], “unfortunately, despite its importance, studies to compare various optimisation algorithms on real-world problems are still limited, mainly because such problems are typically not publicly available. 残念なことに、現実世界の問題に対する様々な最適化アルゴリズムを比較する研究は、一般的には公開されていないため、まだ限られている。 0.57
” Simply taking the benchmarking results on synthetic functions and applying them to expensive real-life applications, or adding a delay to the synthetic function, is not enough [16]– [20]. ” 合成関数のベンチマーク結果を取得して高価な実物応用に適用したり、合成関数に遅延を加えるだけでは十分ではない [16]– [20]。 0.81
An example is the ESP benchmark discussed later in this paper. 例として、後ほど議論されたespベンチマークがある。 0.57
For this benchmark we have noticed that changing only one of the variables at a time leads to no change in the objective value at all, meaning that there are more ‘plateaus’ than in typical synthetic functions used in black-box optimisation. このベンチマークでは、一度に1つの変数だけを変更すると、目的値がまったく変化しないということに気付きました。
訳抜け防止モード: このベンチマークでは 一度に1つの変数だけを変更する 客観的な価値は、まったく変化しません。 つまり、ブラック-ボックス最適化で使われる典型的な合成関数よりも多くの‘高原’が存在することを意味する。
0.68
Another example is that of hyperparameter tuning, a problem that is known to sometimes contain properties that are not present in common synthetic benchmark functions [21]. もう一つの例はハイパーパラメータチューニング(英語版)であり、これは時として共通合成ベンチマーク関数 [21] に存在しない性質を含むことが知られている。
訳抜け防止モード: もう一つの例は ハイパーパラメータチューニングの問題です しばしば共通のベンチマーク関数[21]に存在しないプロパティを含むことが知られている。
0.78
In general, expensive objectives are often expensive because they are the result of some kind of complex simulation or algorithm, and the resulting fitness landscape is therefore much harder to analyse/model than that of a synthetic function. 一般に、高価な目的はしばしば複雑なシミュレーションやアルゴリズムの結果であり、結果として得られる適合性ランドスケープは合成関数よりも解析/モデル化がずっと難しいため、高価である。 0.79
In contrast, synthetic functions can simply be described with a mathematical function. 対照的に、合成関数は単に数学的関数で記述することができる。 0.77
It is clear that there is a need for a more standardised approach in benchmarking real-life optimisation problems, especially for surrogate algorithms. 現実の最適化問題、特にサロゲートアルゴリズムのベンチマークには、より標準化されたアプローチが必要であることは明らかである。 0.65
Even though this lack of expensive benchmarks already holds for the typical problems assumed in surrogate algorithms, namely that of continuous optimisation of expensive objectives, the need is particularly high for expensive discrete problems as noted in [22]: “While benchmarking is still not resolved for continuous modelbased optimisation, the situation is even less settled in the discrete domain. この高価なベンチマークの欠如は、サロゲートアルゴリズムで想定される典型的な問題、すなわち高価な目的の継続的な最適化に対してすでに存在するが、[22] で述べられているような高価な離散的問題に対して、特に要求は高い。 0.54
Of the few published, real-world, expensive, combinatorial problems, most are not openly accessible. 出版され、現実の、高価な、組み合わせの問題のうち、ほとんどはオープンアクセスできない。 0.67
Even in case of availability, the benchmark set would be rather small and the expense of computation would hinder broader experimental studies.” 利用可能な場合であっても、ベンチマークセットはかなり小さくなり、計算のコストがより広範な実験研究を妨げるだろう。 0.67
B. Shortcoming 1: lack of standardised real-life benchmarks As mentioned, surrogate models have been applied to expensive objective functions in many different areas. b. 欠点 1: 標準化された実生活ベンチマークの欠如 前述のように、代理モデルは様々な分野の高価な客観的関数に適用されてきた。 0.58
A ques- C. Shortcoming 2: lack of insight in computational efficiency In many works on surrogate algorithms, computation times of the algorithms are not taken into consideration, and are A ques- C. 欠点 2: 計算効率に関する洞察の欠如 代理アルゴリズムに関する多くの研究において、アルゴリズムの計算時間は考慮されていない。 0.87
英語(論文から抽出)日本語訳スコア
SURROGATE-BASED APPROACHES IN THIS BENCHMARK ENVIRONMENT. このベンチマーク環境でのsurrogateベースのアプローチ。 0.30
TABLE I Name SMAC [8], [11] HyperOpt [6] Bayesian Opt. テーブルI SMAC [8], [11] HyperOpt [6] Bayesian Opt. 0.58
[1], [12] CoCaBO [13] DONE [5] IDONE [9] MVRSM [10] [1], [12] CoCaBO [13] DONE [5] IDONE [9] MVRSM [10] 0.81
Surrogate model Random forest Parzen estimator Gaussian process (GP) GP+multi-armed bandit Random Fourier Piece-wise linear Piece-wise linear surrogate model random forest parzen estimator gaussian process (gp) gp+multi-armed bandit random fourier piece-wise linear-wise linear 0.80
Continuous (cid:88) (cid:88) (cid:88) (cid:88) (cid:88) 連続 (cid:88) (cid:88) (cid:88) (cid:88) (cid:88) 0.73
(cid:88) Integer (cid:88) (cid:88) (cid:88) Integer (cid:88) (cid:88) 0.78
Categorical (cid:88) (cid:88) カテゴリー(cid:88)(cid:88) 0.66
Conditional (cid:88) (cid:88) Conditional (cid:88) (cid:88) 0.78
(cid:88) (cid:88) (cid:88) (cid:88) (cid:88)(cid:88) 0.76
3 often not even reported. 3 しばしば報告されません 0.82
This is because of the underlying assumption that the expensive objective is the bottleneck. これは、コストのかかる目標がボトルネックである、という前提が原因です。 0.59
However, completely disregarding the computation time of the surrogate algorithm leads to the development of algorithms that are too time-consuming to be used in practice. しかし、サロゲートアルゴリズムの計算時間を完全に無視することは、実際に使用するには時間がかかりすぎるアルゴリズムの開発につながる。 0.77
In some cases, the algorithms are even slower than the objective function of the real-life application, shifting the bottleneck from the expensive objective to the algorithm. 場合によっては、アルゴリズムは実際のアプリケーションの目的関数よりも遅く、ボトルネックを高価な目的からアルゴリズムに移行する。 0.60
Computation times should be reported, preferably for problems of different dimensions so that the scalability of the algorithms can be investigated. 好ましくは、異なる次元の問題に対して、アルゴリズムのスケーラビリティを調べるために、計算時間を報告すべきである。 0.69
This also helps answering the open question posed in [18]: “One central question to answer is at what point an optimisation problem is expensive “enough” to warrant the application of surrogate-assisted methods.” Since many surrogate algorithms have a computational complexity that increases with every new function evaluation [10], even more preferable is to report the computation time used by the surrogate algorithm at every iteration to gain more insight into the time it takes to run surrogate algorithms for different numbers of iterations. This also helps answering the open question posed in [18]: “One central question to answer is at what point an optimisation problem is expensive “enough” to warrant the application of surrogate-assisted methods.” Since many surrogate algorithms have a computational complexity that increases with every new function evaluation [10], even more preferable is to report the computation time used by the surrogate algorithm at every iteration to gain more insight into the time it takes to run surrogate algorithms for different numbers of iterations. 0.86
Besides the computation time used by the algorithms, different real-life applications have different budgets available that put a limit on the number of function evaluations or total computation time. アルゴリズムが使用する計算時間に加えて、様々なリアルタイムアプリケーションには、関数の評価数や総計算時間に制限を課す異なる予算がある。 0.78
Taking this computational budget into account is a key issue when tackling real-world problems using surrogate models [16]. この計算予算を考慮に入れることは、サロゲートモデルを使って現実世界の問題に取り組む際の重要な問題である [16]。
訳抜け防止モード: この計算予算を考慮に入れる 重要な問題です 代理モデルを使って現実の問題に取り組む [16 ]
0.75
Yet for most surrogate algorithms, it is not clear how they would perform for different computational budgets. しかし、ほとんどのサロゲートアルゴリズムでは、異なる計算予算でどのように実行されるかは明らかではない。 0.66
D. Related benchmark environments D.関連ベンチマーク環境 0.69
From the way surrogate algorithms are currently benchmarked and the shortcomings that come with it, we conclude that we do not sufficiently understand the performance regarding both quality and run-time on realistic expensive blackbox optimisation problems. surrogateアルゴリズムのベンチマークとそれに伴う欠点から、私たちは現実的な高価なブラックボックス最適化問題における品質と実行時間の両方のパフォーマンスを十分に理解していないと結論づけた。 0.74
A benchmark library can help in gaining more insight as algorithms are compared on the same set of test functions. ベンチマークライブラリは、アルゴリズムが同じテスト関数セットで比較されるにつれて、より多くの洞察を得るのに役立つ。 0.66
In the context of black-box optimisation, such a library consists of multiple objective functions and their details (such as the search space and problem dimension, whether variables are continuous or integer, etc.) ブラックボックス最適化の文脈では、そのようなライブラリは複数の目的関数とその詳細(探索空間や問題次元、変数が連続か整数かなど)で構成されている。 0.78
and possibly of baseline algorithms that can be applied to the problems. 問題に適用できる ベースラインアルゴリズムの可能性を秘めています 0.72
For non-expensive problems, many such libraries exist [15], [23], [24], particularly with synthetic functions. 非拡張的な問題に対しては、[15], [23], [24]、特に合成関数に多くのライブラリが存在する。 0.81
Some of these libraries also contain real-life functions that are not expensive [25]–[27]. これらのライブラリの中には、高価な[25]–[27]でない実数関数も含んでいるものもある。 0.71
See Table II for an overview of related benchmark environments. 関連するベンチマーク環境の概要については、Table IIを参照してください。 0.53
The real-life problems to which surrogate algorithms are usually applied can roughly be divided into computer science problems and engineering problems, or digital and physical problems. サーロゲートアルゴリズムが一般的に適用される現実の問題は、大まかにコンピュータサイエンスの問題と工学の問題、あるいはデジタル問題と物理問題に分けられる。 0.76
Examples of the former are automated algorithm configuration [8] and hyperparameter tuning for machine learning [28], while the latter deal with (simulators of) a physical problem such as aerodynamic optimisation [29]. 前者の例としては,機械学習のための自動アルゴリズム構成[8]とハイパーパラメータチューニング[28]があり,後者は空力最適化[29]のような物理問題を扱う(シミュレーション)。 0.87
Even though surrogate models are used in both problem domains, these two communities often stay separate: most benchmark libraries that contain expensive real-life optimisation problems only deal with one of the two types, for example in automated machine learning [30]–[34] or computational fluid dynamics [35]. 高価な実生活最適化問題を含むほとんどのベンチマークライブラリは、自動化機械学習[30]–[34]または計算流体力学[35]のような2つのタイプのうちの1つしか扱っていない。
訳抜け防止モード: サロゲートモデルは両方の問題領域で使われているが。 この2つのコミュニティは : 高価な実生活の最適化問題を含むほとんどのベンチマークライブラリは、2つのタイプのうちの1つしか扱わない。 例えば、自動機械学習 [30]–[34 ] や計算流体力学 [35 ] などです。
0.70
A notable exception is Nevergrad [36], which contains a wide variety of problems varying from power plant simulation to neural control of robots. 特筆すべき例外はNevergrad[36]で、これは発電所のシミュレーションからロボットの神経制御まで幅広い問題を含んでいる。 0.75
The problem with focusing on only one of the two domains is that domain-specific techniques such as early stopping of machine learning algorithms [37] or adding gradient information from differential equations [38], [39] are exploited when designing new surrogate algorithms, making it difficult to transfer the domain-independent scientific progress in surrogate algorithms from one domain to the other. 2つの領域のうちの1つだけに焦点を当てる問題は、新しい代理アルゴリズムを設計する際に、機械学習アルゴリズム[37]の早期停止や微分方程式[38],[39]からの勾配情報の追加のようなドメイン固有の技術を利用するため、一方の領域からもう一方の領域に代理アルゴリズムのドメインに依存しない科学的進歩を移すことが難しいことである。 0.75
Most of the benchmark libraries do not contain any benchmark solutions in the form of surrogate algorithms, and often not even any type of solution at all. ほとんどのベンチマークライブラリは、サロゲートアルゴリズムの形でベンチマークソリューションを一切含んでおらず、多くの場合、いかなるタイプのソリューションも含まない。 0.70
Besides Nevergrad, benchmark libraries that contain more than one surrogate algorithm and more than one expensive problem are computer science libraries such as HPOlib, BayesMark, AMLB, and AClib, which do not contain any engineering or physical problems. Nevergrad以外にも、複数のサロゲートアルゴリズムと1つ以上の高価な問題を含むベンチマークライブラリは、HPOlib、BayesMark、AMLB、AClibなどのコンピュータサイエンスライブラリであり、工学的な問題や物理的な問題を一切含まない。 0.74
One exception is SUMO [40], a commercial toolbox that contains many surrogate models, and a wide variety of applications. 例外としてSUMO[40]は、多くの代理モデルと多様なアプリケーションを含む商用ツールボックスです。 0.68
Unfortunately, this Matlab tool is over 10 years old, and only a restricted version is available for researchers, making it less suitable for benchmarking. 残念なことに、このMatilabツールは10年以上前のもので、研究者には限定的なバージョンしか利用できないため、ベンチマークには適さない。
訳抜け防止モード: 残念ながら、このMatlabツールは10年以上経っている。 限定版のみが研究者に提供されており、ベンチマークには適さない。
0.74
It only supports low-dimensional continuous problems, and newer surrogate algorithms that were developed in the last decade are not implemented. 低次元連続問題のみをサポートし、過去10年間に開発された新しいサロゲートアルゴリズムは実装されていない。 0.75
What is currently missing is a modern benchmark library that is aimed at real-life expensive benchmark functions not just from computer science but also from engineering, and that also contains baseline surrogate algorithms that can easily be applied to these benchmarks such as SMAC, HyperOpt, and Bayesian optimisation with Gaussian processses. 現在欠けているのは、コンピュータサイエンスだけでなくエンジニアリングからも、現実の高価なベンチマーク機能をターゲットにした最新のベンチマークライブラリであり、SMAC、HyperOpt、Bayesianのプロセスによる最適化など、これらのベンチマークに容易に適用可能なベースラインサロゲートアルゴリズムを含んでいる。 0.65
III. PROPOSED BENCHMARK LIBRARY: EXPOBENCH In this section we introduce EXPObench: an EXPensive Optimisation benchmark library. III。 提案されたBENCHMARKライブラリ: EXPOBENCH このセクションでは、Expobench: ExPensive Optimisationベンチマークライブラリを紹介します。 0.72
We propose a benchmark ベンチマークを提案する 0.64
英語(論文から抽出)日本語訳スコア
RELATED BENCHMARK ENVIRONMENTS 関連ベンチマーク環境 0.55
TABLE II Name Contains expensive problems テーブルII 名称 高価な問題を含む 0.66
Contains engineering problems エンジニアリングの問題を含む 0.69
Contains computer science problems コンピュータ科学の問題を含む 0.75
Implemented surrogate algorithms Implemented surrogate algorithm 0.84
CoCo [15] Heuristiclab [23] ParadisEO [24] HyFlex [25] SOS [26] IOHprofiler [27] (cid:88) GBEA [34] (cid:88) CFD [35] CompModels [41] (cid:88) (cid:88) NAS-Bench [31]– [33] DAC-Bench [42] (cid:88) RBFopt [43] (cid:88) HPObench [44] (cid:88) AMLB [30] (cid:88) Nevergrad [36] BayesMark [45] (cid:88) MATSuMoTo [46] (cid:88) AClib2 [47] PySOT [48] EXPObench1 SUMO [40] SMT [39] CoCo[15] Heuristiclab [23] HedisEO [24] HyFlex [25] SOS [26] IOHknownr [27] (cid:88) GBEA [34] (cid:88) CFD [35] CompModels [41] (cid:88) (cid:88) NAS-Bench [31] - [33] DAC-Bench [42] (cid:88) RBFopt [43] (cid:88) HPObench [44] (cid:88) AMLB [30] (cid:88) Nevergrad [36] BayesMark [45] (cid:88) MATSuMoTo [46] (cid:88) AClib2[47] POT [48] EXMOMO[48] SUMOMO[39] [39] (cid:88] RBFopt [43] (cid:88) HPObench [44] (cid:88) AMLB [30] (cid:88) AMLB [36] (cid:88) 0.70
(cid:88) (cid:88) (cid:88)(cid:88) 0.74
(cid:88) (cid:88) (cid:88)(cid:88) 0.74
(cid:88) (cid:88) (cid:88)(cid:88) 0.74
(cid:88) (cid:88) (cid:88) (cid:88) 0.78
(cid:88) (cid:88) (cid:88) (cid:88)(cid:88) 0.91
(cid:88) (cid:88) (cid:88) (cid:88) (cid:88)(cid:88) 0.76
(cid:88) (cid:88) (cid:88) (cid:88) 0.78
(cid:88) (cid:88) (cid:88) (cid:88) (cid:88) (cid:88) (cid:88) (cid:88) 0.73
(cid:88) (cid:88) (cid:88) (cid:88) (cid:88)(cid:88) 0.76
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.85
0 1 2 2 2 3 4 4 5 7 9 11 0 1 2 2 2 3 4 4 5 7 9 11 0.85
suite focusing on single-objective, expensive, real-world problems, consisting of many integer, categorical, and continuous variables or mixtures thereof. 単目的で高価で現実的な問題に焦点を合わせ、多くの整数、カテゴリー、連続変数またはそれらの混合からなるスイート。 0.65
The problems come from different engineering and computer science applications, and we include seven baseline surrogate algorithms to solve them. 問題は、異なるエンジニアリングとコンピュータサイエンスの応用から来ており、それを解決するための7つのベースラインサロゲートアルゴリズムを含んでいる。 0.67
See Table II for details on how EXPObench compares to related benchmark environments. EXPObenchが関連するベンチマーク環境と比較する方法については、テーブルIIを参照してください。 0.57
The simple framework of this benchmark library makes it possible for researchers in surrogate models to compare their algorithms on a standardised set of real-life problems, while researchers with expensive optimisation problems can easily try a standard set of surrogate algorithms on their problems. このベンチマークライブラリのシンプルなフレームワークにより、サロゲートモデルの研究者たちは、アルゴリズムを現実の問題の標準セットで比較することができるが、高価な最適化問題を持つ研究者は、問題に対してサーロゲートの標準のアルゴリズムを簡単に試すことができる。 0.72
This way, our benchmark library advances the field of surrogate-based optimisation. このように、ベンチマークライブラリはsurrogateベースの最適化の分野を前進させます。 0.55
It should be noted that synthetic benchmark functions are still useful, as they are less time-consuming and have known properties. 合成ベンチマーク関数は、時間消費が少なく、既知の特性を持つため、まだ有用である点に注意が必要だ。 0.64
We therefore still include synthetic benchmarks in our library, though we do not discuss them in this work. したがって、私たちはライブラリに合成ベンチマークをまだ含んでいますが、この作業ではそれらを議論していません。 0.55
We encourage researchers in surrogate models to use synthetic benchmarks when designing and investigating their algorithm, and then use the real-life benchmarks presented in this work as a stress test to see how their algorithms hold up against more complex and time-consuming problems. シュロゲートモデルの研究者は、アルゴリズムを設計および調査する際に合成ベンチマークを使用することを推奨し、この研究で提示された実生活ベンチマークをストレステストとして使用して、アルゴリズムがより複雑で時間を要する問題に対してどのように耐えられるかを確認する。 0.63
In the remainder of this section, we describe the problems and the approaches to solve these problems that we have added to EXPObench. この節の残りでは、expobenchに追加したこれらの問題を解決するための問題とアプローチを説明します。 0.68
A. Included Expensive Benchmark Problems A。 高価なベンチマークの問題 0.68
The problems that were included in EXPObench were selected in such a way that they contain a variety of applications, expobenchに含まれていた問題は、様々なアプリケーションを含むように選択された。 0.66
1Our available publicly at https://github.com/A lgTUDelft/ 1時間 https://github.com/A lgTUDelft/ 0.46
code is ExpensiveOptimBenchm ark コード は ExpensiveOptimBenchm ark 0.79
4 dimensions, and search spaces. 4 次元と探索空間です 0.70
To encourage the development of surrogate algorithms for applications other than computer science, we included several engineering problems, one of which was first introduced in the CFD benchmark library [35]. 計算機科学以外のアプリケーションのためのサロゲートアルゴリズムの開発を促進するため,CFDベンチマークライブラリ[35]で最初に紹介されたいくつかの工学的問題を含む。 0.80
The problem dimensions were chosen to be difficult for standard surrogate algorithms: Bayesian optimisation is typically applied to problems with less than 10 variables. 問題次元は標準的なサロゲートアルゴリズムでは難しいと選択され、ベイズ最適化は通常10変数未満の問題に適用される。 0.79
Two of our problems have 10 variables, is posible to scale them up, while the other problems contain tens or even over 100 variables. 我々の問題のうち2つは10変数を持ち、それらをスケールアップすることは可能であり、他の問題には数十または100以上の変数が含まれる。 0.64
This is in line with our view of designing surrogate algorithms using easy, synthetic functions, and then testing them on more complicated real-life applications. これは、簡単な合成関数を使ってサーロゲートアルゴリズムを設計し、より複雑な現実のアプリケーションでそれらをテストするという私たちの見解と一致しています。 0.63
Since discrete expensive problems are also an active research area, we included one discrete problem and even a problem with a mix of discrete and continuous variables. 離散的高価な問題もまた活発な研究領域であるため、離散的問題と、離散的変数と連続的な変数を混合した問題を含む。 0.66
though it The problems were carefully selected to have expensive objectives that take longer to evaluate than synthetic functions, but not so long that benchmarking becomes impossible. だけど 問題は、合成関数よりも評価に時間がかかる高価な目的を持つように慎重に選択されたが、ベンチマークが不可能になるほど長くは続かなかった。 0.57
On our hardware (see Section IV-A), the time it takes to evaluate the objective function varies between 2 and 60 seconds depending on the problem. 私たちのハードウェア(iv-a節参照)では、目的関数を評価するのに要する時間は問題によって2秒から60秒の間で異なります。 0.72
We now give a short description of the four real-life expen- では,4つの実生活エクステンの簡単な説明を述べる。 0.58
sive optimisation problems that are present in EXPObench. EXPObenchに存在する5つの最適化問題。 0.55
1) Wind Farm Layout Optimisation (Windwake): This benchmark utilises a wake simulator called FLORIS [49] to determine the amount of power a given wind farm layout produces. 1)ウィンドファームレイアウト最適化(Windwake):このベンチマークでは、FLORIS[49]と呼ばれるウェイクシミュレータを使用して、所定のウィンドファームレイアウトが生成する電力量を決定する。 0.66
The wake effect of wind turbines can cause other turbines on a wind farm to produce less power due to turbulence. 風力タービンのウェイク効果は、風力農場の他のタービンが乱流による出力を低下させる可能性がある。 0.78
Compared to other simulators, FLORIS does not model complex effects and is therefore computationally cheaper to run. 他のシミュレータと比較すると、FLORISは複雑な効果をモデル化せず、計算コストも安い。 0.75
The original simulator calculates the power of the wind farm for a given layout and randomly generated wind rose data. 元のシミュレータは、所定のレイアウトとランダムに生成されたウインドローズデータに対するウインドファームの電力を計算する。
訳抜け防止モード: 元々のシミュレーターは、所定のレイアウトに対する風力発電所の電力を計算する ランダムに生成された ウィンドローズデータです
0.71
To make the layout more robust to different wind conditions, we decided to use as output instead the power averaged over multiple scenarios, where each scenario uses randomly generated wind rose data, generated with the same distribution. 異なる風条件に対してレイアウトをより堅牢にするため,各シナリオが同じ分布で生成したランダムに生成された風速データを使用する複数のシナリオで平均化された電力の代わりに,出力として使用することにした。 0.72
That is, we look at a Monte Carlo simulation to compute the average power, in line with applications in for example logistics [9], [50], [51]. つまり、平均電力を計算するモンテカルロシミュレーションを、例えばロジスティクス [9], [50], [51]のようなアプリケーションと組み合わせて検討する。
訳抜け防止モード: つまり モンテカルロのシミュレーションを見て 平均的なパワーを計算します 例えばロジスティクス[9 ]のようなアプリケーションと一致します。 [ 50 ] , [ 51 ] .
0.73
This causes the objective to be stochastic, something that many traditional optimisation algorithms struggle with. これにより、従来の最適化アルゴリズムが抱えるような、確率的目標が生まれます。 0.64
The computational cost of the objective is dependent on the number of wind turbines w, as well as the number of generated scenarios s. A solution is represented by a sequence of w pairs of continuous (x, y) coordinates for each wind turbine, which can take on continuous values. この目的の計算コストは、風力タービンwの数と生成されたシナリオ数に依存する。 解は、各風力タービンのw対の連続 (x, y) 座標の列で表され、連続的な値を取ることができる。 0.72
The output is −1 times the power averaged over multiple scenarios, which takes about 15 seconds to compute on our hardware for w = 5, s = 5. 出力は複数のシナリオで平均された電力の−1倍であり、ハードウェア上でw = 5, s = 5の計算に約15秒かかる。 0.88
It should be noted that this particular problem has constraints besides upper and lower bounds for the position of each wind turbine: turbines are not allowed to be located within a factor of two of each others’ radius. この特定の問題は、各風力タービンの位置に対する上限と下限以外に制約があることに注意すべきである:タービンは互いの半径の2倍以内に位置することが許されない。 0.81
As the goal of this work is not to compare different ways to handle constraints, we use the naive approach of incorporating the constraint in the objective. この作業の目標は、制約を扱う異なる方法を比較することではなく、目的に制約を組み込むナイーブなアプローチを使う。
訳抜け防止モード: この作業の目標は、制約を処理するさまざまな方法を比較することではありません。 目的に制約を組み込むという ナイーブなアプローチを使います
0.72
The objective simply returns 0 when constraints are violated. 制約が破られたとき、目的は単に0を返す。 0.64
英語(論文から抽出)日本語訳スコア
2) Pipe Shape Optimisation (Pitzdaily): One of the engineering benchmark problems proposed in the CFD library [17], called PitzDaily, is pipe shape optimisation. 2) パイプ形状最適化 (Pitzdaily): CFDライブラリ[17]で提案されているエンジニアリングベンチマークの1つ(Pitzdaily)はパイプ形状最適化である。 0.87
This benchmark uses a computational fluid dynamics simulator to calculate the pressure loss for a given pipe shape. このベンチマークは、所定のパイプ形状の圧力損失を計算するために計算流体力学シミュレータを使用する。 0.75
The pipe shape can be specified using 5 control points, giving 10 continuous variables in total. パイプ形状は5つの制御点を用いて指定でき、合計で10の連続変数を与える。
訳抜け防止モード: パイプの形状を指定できる 5つの制御ポイントを使い 10個の連続変数を与えます
0.83
The time to compute the pressure loss varies from 2 to 60 seconds on our hardware. われわれのハードウェアでは、圧力損失を計算する時間は2秒から60秒である。 0.78
Although the search space is continuous, there are constraints to this problem: violating these constraints returns an objective value of 2, which is higher than the objective value of feasible solutions. 探索空間は連続であるが、この問題には制約がある: これらの制約に違反すると2の客観的値が返され、これは実現可能な解の客観的値よりも高くなる。
訳抜け防止モード: 探索空間は連続であるが、この問題には制約がある。 これらの制約に違反し 目的値 2 を返します 実現可能な解決策の客観的価値よりも高いのです
0.75
3) Electrostatic Precipitator engineering benchmark contains only discrete variables. 3)静電沈殿装置 エンジニアリングベンチマークには 独立した変数しかありません 0.66
The ESP is used in industrial gas filters to filter pollution. ESPは産業用ガスフィルターで汚染をフィルターするために使用される。 0.75
The spread of the gas is controlled by metal plates referred to as baffles. ガスの拡散はバッフルと呼ばれる金属板によって制御される。 0.77
Each of these baffles can be solid, porous, angled, or even missing entirely. それぞれのバッフルは、固体、多孔質、角度、あるいは完全に欠落することもある。 0.68
This categorical choice of configuration for each baffle constitutes the search space for this problem. 各バッフルの構成の分類的選択は、この問題の探索空間を構成する。 0.81
(ESP): This There are 49 baffle slots in total, that each have 8 categorical options. (ESP):これ 合計49個のバッフルスロットがあり、それぞれに8つのカテゴリーがある。 0.78
The output is calculated using a computational fluid dynamics simulator [52], which takes about 28 seconds to return the output value on our hardware. 出力は計算流体力学シミュレータ[52]を用いて計算され、ハードウェア上で出力値を返すのに約28秒かかる。 0.77
4) Hyperparameter Optimisation and Preprocessing for XGBoost (HPO): This automated machine learning benchmark is a hyperparameter optimisation problem: the approach, namely an XGBoost [53] classifier, has already been selected, but contains a significant number of configuration parameters of various types, including parameters on the pre-processing step. 4) ハイパーパラメータ最適化とXGBoost(HPO): この自動機械学習ベンチマークは、ハイパーパラメータ最適化の問題である。アプローチ、すなわち、XGBoost[53]分類器がすでに選択されているが、前処理ステップのパラメータを含む、さまざまなタイプの設定パラメータが多数含まれている。 0.88
Variables are not only continuous, integer or categorical, but also conditional: some of them remain unused depending on the value of other variables. 変数は連続的、整数的、あるいはカテゴリー的であるだけでなく、条件的でもある。
訳抜け防止モード: 変数は連続、整数、カテゴリー的だけでなく条件的でもある 他の変数の値によっては使われないものもある。
0.75
In total, there are 135 variables, most of which are categorical. 合計で135の変数があり、そのほとんどは分類的である。 0.75
The configuration is evaluated by 5-fold cross-validation on the Steel Plates Faults dataset2, and the output of the objective uses this value multiplied with −1. 鋼板断層データセット2上の5倍のクロスバリデーションにより構成を評価し、目的の出力はこの値に−1を乗じて使用する。 0.77
Since there can be a trade-off between accuracy and computation time for different configurations, we set a time limit of 8 seconds, as this was roughly equal to twice the time it takes to use a default configuration on our hardware. 異なる構成の精度と計算時間の間にトレードオフがあるため、ハードウェアのデフォルト設定を使用するのに要する時間の約2倍の時間であるので、時間制限を8秒に設定します。 0.76
Configurations for which the time limit is violated, return an objective value of 0. 時間制限に違反している設定は、目的値0を返します。 0.67
B. Approaches In this section we show the approaches that are considered in the benchmark library. B。 アプローチ 本稿では、ベンチマークライブラリで考慮されているアプローチを示す。 0.73
We limit ourselves to popular singleobjective surrogate algorithms that are easily implemented and open-source, and that do not focus on extensions of the expensive optimisation problem such as a batch setting, multifidelity setting, highly constrained problems, etc. 私たちは、実装が容易でオープンソースで、バッチ設定やマルチフィデリティ設定、高度に制約された問題など、高価な最適化問題の拡張に注目しない、人気のあるsingleobjective surrogateアルゴリズムに限定しています。 0.72
These include a Bayesian optimisation algorithm [1], [12], which uses Gaussian processes with a Mat´ern 5/2 kernel, SMAC [8], and HyperOpt [6]. これには、Mat ́ern 5/2 カーネルを持つガウス過程、SMAC [8] および HyperOpt [6] を使用するベイズ最適化アルゴリズム [1], [12] が含まれる。 0.87
We also include our own earlier work [5], [9], [10], with the DONE, IDONE and MVRSM algorithms. 私たちは、DONE、IDONE、MVRSMアルゴリズムを使った、独自の初期の[5]、[9]、[10]も含んでいます。 0.65
These make use of either random Fourier features or piece-wise linear functions as the surrogate model. これらは、ランダムなフーリエ特徴または部分的線形関数を代理モデルとして利用する。 0.74
A modern variant of Bayesian optimisation, namely CoCaBO [13], is also included in the benchmark library, but not presented in this work due 現代のベイズ最適化の変種、すなわち CoCaBO [13] もベンチマークライブラリに含まれているが、この作業には含まれていない。 0.71
5 to the required computation time. 5 必要な計算時間です 0.71
The baseline with which all algorithms are compared is random search [54], for which we use HyperOpt’s implementation. すべてのアルゴリズムを比較したベースラインはランダム検索[54]で、HyperOptの実装を使っています。
訳抜け防止モード: すべてのアルゴリズムを比較したベースラインはランダム検索[54 ]である。 そこではHyperOptの実装を使用します。
0.80
We also include several local and global search algorithms in our library (Nelder-Mead, Powell’s method and basin-hopping among others), but these failed to outperform random search on all of our benchmark problems, and are therefore not presented in this work. ライブラリにはいくつかのローカル検索アルゴリズムやグローバル検索アルゴリズム(Nelder-Mead、Powellのメソッド、流域ホッピングなど)が含まれていますが、これらのアルゴリズムはベンチマークのすべての問題に対してランダム検索を上回りませんでした。 0.69
Not all of these algorithms can deal with all これらのアルゴリズムがすべてに対処できるわけではない 0.71
types of variables, although often naive implementations are possible: discretisation to let discrete surrogates deal with continuous variables, rounding to let continuous surrogates deal with discrete variables, and/or ignoring the conditional aspect of a variable entirely. 離散的なサロゲートを連続変数に扱うための離散化、連続的なサロゲートを離散変数に扱う丸め、あるいは変数の条件的側面を完全に無視する。
訳抜け防止モード: 変数の種類は しばしばナイーブな実装が可能で let に対する離散化 離散サロゲートは連続変数を扱う。 連続的なサロゲートが離散変数を扱い、変数の条件的側面を完全に無視する丸め。
0.80
Table I shows the types of variables that are directly supported by the surrogate models used in each algorithm. 表1は、各アルゴリズムで使用されるサロゲートモデルによって直接サポートされる変数の種類を示しています。 0.68
IV. RESULTS The different surrogate algorithms are objectively compared on all four different real-life expensive benchmark problems of EXPObench. IV。 結果 異なるサロゲートアルゴリズムは、EXPObenchの4つの異なる実生活高価なベンチマーク問題に対して客観的に比較される。 0.63
The goals of the experiments are three-fold: • gain insight into the strengths and weaknesses of existing surrogate algorithms and verify existing knowledge from literature, 実験の目標は3つある: • 既存の代理アルゴリズムの強みと弱みについて洞察を得て、文献から既存の知識を検証する。 0.79
• investigate how algorithm performance depends on the available computational resources and the cost of the expensive objective, •アルゴリズムの性能が利用可能な計算資源と高価な目的のコストに依存するかを調べる。 0.87
• separate the effects of the choice of surrogate model and •代理モデルの選択の効果と効果を分離する 0.78
the acquisition step of the different algorithms. 異なるアルゴリズムの獲得段階です 0.54
The results of comparing the different surrogate algorithms on the problems of EXPObench provide a new dataset that we use for these three goals, and that we make available publicly.3 This dataset includes the points in the search space chosen for evaluation by each algorithm, the resulting value of the expensive objective, the computation time used to evaluate the objective, and the computation time used by the algorithm to suggest the candidate point. エクスポベンチの問題に関する異なるサーロゲートアルゴリズムを比較した結果、この3つの目標のために使用するデータセットが新たに提供され、公開されています。3 このデータセットには、各アルゴリズムによって評価のために選択された検索空間のポイント、高価な目的の値、目的を評価するのに使用される計算時間、候補ポイントを提案するのにアルゴリズムが使用する計算時間が含まれています。
訳抜け防止モード: EXPOベンチ問題における異なる代理アルゴリズムの比較結果 これら3つの目標のために使われる新しいデータセットを提供するのです このデータセットには、各アルゴリズムによる評価のために選択された検索空間のポイントが含まれている。 高価な目的の結果として得られる価値、目的を評価するのに使用される計算時間 アルゴリズムが使う計算時間は 候補を提示するのです
0.88
The latter includes both the training and acquisition steps of the algorithms, as it was not easy to separate these two for all algorithms. 後者は、アルゴリズムのトレーニングと取得のステップの両方を含み、これら2つをすべてのアルゴリズムで分離するのは容易ではなかった。 0.71
Although we perform some initial analysis on this meta-algorithmic dataset, it can also be used by future researchers in, for example, instance space analysis [55], meta-learning [56], or building new surrogate benchmarks from this tabular data [33]. このメタアルゴリズムデータセットについて初期分析を行うが、例えば、空間分析 [55]、メタラーニング [56]、または、この表データ [33] から新しいサロゲートベンチマークを構築するなど、将来の研究者によっても使用できる。 0.76
We start this section by giving the experimental details, followed by the results on the four benchmark problems. このセクションは、実験的な詳細と、4つのベンチマーク問題の結果から始めます。 0.67
We then investigate the influence of the computational budget and cost of the expensive objective, followed by a separate investigation of the choice of surrogate model. 次に,費用対効果の計算予算とコストの影響について検討し,サロゲートモデルの選択を別々に検討した。 0.74
A. Experiment details 1) Hardware: We use the same hardware when running the different surrogate algorithms on the different benchmark problems. A。 実験の詳細 1) ハードウェア: 異なるベンチマーク問題に対して異なるサロゲートアルゴリズムを実行する場合、同じハードウェアを使用する。 0.79
All these experiments are performed in Python, on a Intel(R) Xeon(R) Gold 6148 CPU @ 2.40GHz with 32 GB of RAM. これらの実験はすべてPythonで行われ、Intel(R) Xeon(R) Gold 6148 CPU @ 2.40GHz with 32 GB RAMである。 0.92
Each approach and evaluation was performed using only a single CPU core. それぞれのアプローチと評価は、単一のCPUコアのみを使用して行われた。 0.68
2http://archive.ics. uci.edu/ml/datasets/ Steel+Plates+Faults 2http://archive.ics. uci.edu/ml/datasets/ Steel+Plates+Faults 0.20
3The dataset can be found online at https://doi.org/10.4 121/14247179 3 データセットはhttps://doi.org/10.4 121/14247179にある。 0.44
英語(論文から抽出)日本語訳スコア
2) Hyperparameter settings: All methods use their default hyperparameters with the exception of SMAC, which we set to deterministic mode to avoid repeating the exact same function evaluations, which drastically decreased performance in our experience. 2) ハイパーパラメータ設定: SMACを除いて,すべてのメソッドがデフォルトのハイパーパラメータを使用する。
訳抜け防止モード: 2) ハイパーパラメータの設定: すべてのメソッドは、SMACを除いて、デフォルトのハイパーパラメータを使用する。 決定論的モードにしました 全く同じ機能評価を繰り返すのを避けるためです。
0.71
For the MVRSM method, we set the number of basis functions in purely continuous problems to 1000. MVRSM法では、純連続問題における基底関数の数を1000に設定する。 0.77
We have not adapted IDONE for continuous or mixed problems. 我々はidoneを連続的あるいは混合的な問題に適用していない。 0.56
3) Normalisation: To make comparison between benchmarks easier, we normalise the best objective value found by each algorithm at each iteration in the figures shown in this section. 3) 正規化: ベンチマークの比較を容易にするため,本節で示す各反復において,各アルゴリズムが求める最高の客観的値を正規化する。 0.83
This is done as follows: using the best objective value found by random search as a baseline, let r0 be the average of this baseline after 1 iteration, and let r1 be the average of this baseline after the number of random initial guesses R that each algorithm used. これは以下の通りである: ランダム探索によって見いだされる最も客観的な値をベースラインとし、r0 を1反復後のベースラインの平均とし、r1 を各アルゴリズムが使用したランダム初期推定数 R の後にこのベースラインの平均とする。 0.85
Then all objective values f are normalised as するとすべての目的値 f は正規化される。 0.60
fnorm = (f − r0)/(r1 − r0), fnorm = (f − r0)/(r1 − r0) 0.94
(3) meaning that r0 corresponds to a normalised objective of 0 and r1 corresponds to a normalised objective of 1, and a higher normalised objective is better. (3) r0 が 0 の正規化目標に対応し、r1 が 1 の正規化目標に対応し、より高い正規化目標が良いことを意味する。 0.75
Note that this is only used in Figure 1. これは図1でのみ使用されることに注意してください。 0.64
This normalisation is possible since all surrogate algorithms start with the same number of random evaluations R, which we omit from the figures. この正規化は、全ての代理アルゴリズムが同じ数のランダム評価Rから始まり、図から省略されるため可能である。 0.72
Other visualisation tools that are popular in black-box optimisation, such as ECDF curves, are less suitable for our results since the optimum is unknown for our benchmarks and we look at only one benchmark at a time. ecdf曲線のようなブラックボックス最適化で人気のある他の可視化ツールは、ベンチマークの最適性が不明であり、一度に1つのベンチマークしか見ることができないため、結果に適さない。
訳抜け防止モード: その他の可視化ツール ECDF曲線のようなボックス最適化は、ブラックで人気がある。 結果にふさわしくありません ベンチマークの最適値は不明です 一度に1つのベンチマークを見てみましょう
0.63
4) Software environment: EXPObench is available as a public github repository4 and is implemented in the Python programming language. 4) ソフトウェア環境: EXPObenchは公開のgithubリポジトリ4として利用可能で、Pythonプログラミング言語で実装されている。 0.80
To stimulate future users to add their own problems and approaches to this library, we have taken care to make this as easy as possible and provide documentation to achieve this. 将来ユーザが自身の問題やアプローチをこのライブラリに追加するように促すため、可能な限り簡単にし、これを達成するためのドキュメントを提供することに注意しています。 0.75
We also provide an interface that can easily run one or multiple approaches on a problem in the benchmark suite using the command line interface in run_experiment.py. また、run_experiment.pyのコマンドラインインターフェイスを使って、ベンチマークスイートで問題に対する1つまたは複数のアプローチを簡単に実行できるインターフェイスを提供する。 0.65
An example is the following code: 一例は以下のコードである。 0.80
python run_experiment.py --repetitions=7 --out-path=./results/esp --max-eval=1000 --rand-evals-all=24 esp randomsearch hyperopt bayesianoptimization python run_experiment.py --repetitions=7 --out-path=./results/esp --max-eval=1000 --rand-evals-all=24 esp randomsearch hyperopt bayesianoptimization 0.45
This runs random search, HyperOpt and Bayesian optimisation on the ESP problem for 1000 iterations, of which the first 24 iterations are random, repeated seven times, and outputs the results in a certain folder. これにより、1000回のイテレーションでesp問題のランダム検索、ハイパーオプト、ベイズ最適化を実行し、最初の24回のイテレーションはランダムに7回繰り返し、結果を特定のフォルダに出力する。 0.72
B. Benchmark results B。 ベンチマーク結果 0.74
We now share the results of applying all algorithms in EXPObench to the different benchmark problems. ベンチマーク問題に対してexpobenchですべてのアルゴリズムを適用する結果を共有します。 0.64
The IDONE algorithm is only applied to the ESP problem since it does not support continuous variables. IDONEアルゴリズムは連続変数をサポートしていないため、ESP問題にのみ適用される。 0.77
To investigate statistical significance of the results, we also report p-values of a pairwise Student’s T-test at the last iteration on unnormalised data. また, 結果の統計的意義を調査するため, 前回の反復で, ペアワイズ学生のTテストのp値についても非正規化データで報告する。 0.71
4https://github.com/ AlgTUDelft/Expensive OptimBenchmark 4https://github.com/ AlgTUDelft/Expensive OptimBenchmark 0.36
6 1) Wind Farm Layout: For the wind farm layout optimisation problem, Figure 1a shows the normalised best objective value found at each iteration by the different algorithms, as well as the computation time used by the algorithms at every iteration. 6 1) ウィンドファームレイアウト: ウィンドファームレイアウト最適化問題では、図1aは、異なるアルゴリズムによって各イテレーションで見つかった正規化された最高の客観的値と、各イテレーションでアルゴリズムが使用する計算時間を示しています。 0.82
All algorithms started with R = 20 random samples not shown in the figure. すべてのアルゴリズムは、図に示されていないR = 20のランダムサンプルから始まる。 0.76
None of the algorithms use more computation time than the expensive objective itself, which took about 15 seconds per function evaluation. いずれのアルゴリズムも、関数評価に約15秒を要した高価な目標よりも計算時間を消費しない。 0.78
While random search is the fastest method, it fails to provide good results, as is expected for a method that does not use any model or heuristic to guide the search. ランダム検索は最も高速な方法であるが、検索を導くのにモデルやヒューリスティックを使用しない方法が期待されているように、良い結果を提供することができない。 0.72
Interestingly, Bayesian optimisation (BO) does not outperform random search on this problem (p > 0.6) and is outperformed by all other methods (p < 0.01), even though it is designed for problems with continuous variables. 興味深いことに、ベイズ最適化 (BO) はこの問題のランダム探索 (p > 0.6) に勝らず、連続変数の問題のために設計されているにもかかわらず、他のすべての方法 (p < 0.01) に勝っている。
訳抜け防止モード: 興味深いことに、ベイズ最適化(BO)はこの問題に対するランダム探索を上回りません(p > 0.6 )。 他のメソッド (p < 0.01 ) よりも優れています 連続変数の問題のために設計されています
0.74
In contrast, MVRSM and SMAC both have quite a good performance on this problem while they are designed for problems with mixed variables, though they both do take up more computational resources. 対照的に、MVRSMとSMACはどちらも、混合変数の問題のために設計されているにもかかわらず、この問題に対して優れた性能を持っている。 0.70
DONE, another algorithm designed for continuous problems, performs similar to MVRSM and SMAC (p > 0.1). DONEは連続問題のために設計されたもう1つのアルゴリズムであり、MVRSMやSMAC(p > 0.1)と似ている。 0.57
2) Pitzdaily: Figure 1b shows the results of the Pitzdaily pipe shape optimisation problem with R = 20. 2) pitzdaily: 図1bは、r = 20のpitzdaily pipe shape optimizationization problemの結果を示す。 0.79
It can be seen that DONE fails to provide meaningful results. DONEは有意義な結果を出さないことが分かる。 0.65
Upon inspection of the proposed candidate solutions, it turns out that the algorithm gets stuck on parts of the search space that violate the constraints. 提案した候補解を検査すると,アルゴリズムが制約に反する探索空間の一部に留まることが判明した。 0.74
This happens even despite finding feasible solutions early on and despite the penalty for violating the constraints. これは、早くから実現可能なソリューションを見つけ、制約に違反したとして罰せられているにもかかわらず起こります。
訳抜け防止モード: これはたとえ起こるとしても 早期に実現可能な解決策を見つけ 制約を犯した罪にも拘わらず
0.60
SMAC, HyperOpt (HO) and MVRSM are the best performing methods on average, outperforming the other three methods (p < 0.05) but not each other (p > 0.6). SMAC, HyperOpt (HO) と MVRSM は、他の3つの手法 (p < 0.05) よりも優れているが、互いに比較しない (p > 0.6)。 0.80
3) ESP: In this discrete problem, algorithms that only deal with continuous variables resort to rounding when calling the expensive objective. 3) ESP: この離散的な問題では、連続変数のみを扱うアルゴリズムは、高価な目的を呼ぶ際に丸めます。 0.80
This is considered suboptimal in literature, however earlier work shows that this is not necessarily the case for the ESP problem [57]. これは文学において準最適と考えられるが、以前の研究はESP問題 [57] に必ずしも当てはまらないことを示している。 0.64
Indeed, we see in Figure 1c that Bayesian optimisation is the best performing method on this problem, outperforming all methods (p < 0.03) except MVRSM and SMAC (p > 0.2). 実際、図1cでは、ベイズ最適化は、MVRSM と SMAC (p > 0.2) を除いて全ての方法 (p < 0.03) より優れていることが示されている。 0.69
This counters the general belief that Bayesian optimisation with Gaussian processes is only adequate on low-dimensional problems with only continuous variables. これは、ガウス過程によるベイズ最適化は連続変数のみを持つ低次元問題にのみ十分であるという一般的な信念に反する。 0.60
Another observation is that MVRSM performs much better than IDONE (p < 0.01), which fails to significantly outperform random search (p > 0.9) even though IDONE is designed for discrete problems. MVRSM は IDONE (p < 0.01) よりもはるかに優れており、IDONE は離散的な問題に対して設計されているにもかかわらず、ランダム検索 (p > 0.9) を著しく上回っている。 0.73
The surrogate algorithms also use less computation time than the expensive objective which took about 28 seconds per iteration to evaluate. surrogateアルゴリズムは、評価に要する1イテレーションあたり約28秒の高価な目的よりも、計算時間が少ない。 0.75
4) XGBoost Hyperparameter Optimisation: Like in the previous benchmark, the algorithms that only deal with continuous variables use rounding for the discrete part of the search space in this problem. 4) XGBoost Hyperparameter Optimisation: 前回のベンチマークと同様に、連続変数のみを扱うアルゴリズムは、この問題における検索空間の離散部分に対してラウンドリングを使用する。 0.86
For dealing with conditional variables with algorithms that do not support them we use a naive approach: changing such a variable simply has no effect on the objective function when it disappears from the search space, resulting in a larger search space than necessary. このような変数の変更は、検索空間から消えるときに目的の関数に何の影響も与えないため、検索空間は必要以上に大きくなる。
訳抜け防止モード: 条件変数をそれをサポートしないアルゴリズムで扱うには、ナイーブなアプローチを使用します。 :そのような変数を変更する 検索空間から消えた場合、単に目的関数に影響を与えない。 その結果、必要以上に検索スペースが大きくなる。
0.77
Figure 1d shows the results for this benchmark. 図1dはこのベンチマークの結果を示しています。 0.56
This time, results are less surprising as SMAC and HyperOpt, two algorithms designed for hyperparameter optimisation with conditional variables, give the best performance. smacとhyperoptは条件変数によるハイパーパラメータ最適化のために設計された2つのアルゴリズムで、最高のパフォーマンスを提供する。 0.74
Though they perform similar to 似た働きをするが 0.56
英語(論文から抽出)日本語訳スコア
7 (a) (b) (c) 7 (a) (b) (c) 0.85
(d) Fig. (d) フィギュア。 0.64
1. Results on the different benchmark problems, averaged over T runs, after starting with R random samples. 1. 異なるベンチマーク問題の結果は、Rランダムサンプルから始めると、Tラン平均よりも平均される。 0.77
The shaded area indicates one standard deviation, the horizontal axis indicates the iteration of the algorithm, and all figures use the legend shown in the middle. シェード領域は1つの標準偏差を示し、水平軸はアルゴリズムの繰り返しを示し、すべての数字は中央に示す伝説を使用する。 0.67
The computation time on the right does not contain the time it takes to evaluate the objective. 右側の計算時間は、その目的を評価するのに要する時間を含まない。 0.73
The benchmark problems are: (a) wind farm layout optimisation, 10 continuous variables, T = 10, R = 20; (b) Pitzdaily, 10 continuous variables, T = 5, R = 20; (c) electrostatic precipitator, 49 discrete variables, T = 7, R = 24; (d) simultaneous hyperparameter tuning and preprocessing for XGBoost, 117 categorical, 7 integer, 11 continuous variables, T = 10, R = 300. a)wind farm layout optimization, 10 continuous variables, t = 10, r = 20; (b) pitzdaily, 10 continuous variables, t = 5, r = 20; (c) quiet precipitator, 49 discrete variables, t = 7, r = 24; (d) concurrent hyperparameter tuning and pre processing for xgboost, 117 categorical, 7 integer, 11 continuous variable, t = 10 r = 300。 0.71
020040060080010001.0 01.021.041.061.08Nor malised objective02004006008 00100010−310−210−1100101Computation time (s)02004006008001000 1.001.011.021.031.04 1.05Normalised objective02004006008 00100010−310−210−1100101Computation time (s)02004006008001000 1.01.52.02.5Normalis ed objective02004006008 00100010−210−1100101Computation time (s)RSHOSMACBODONEMVR SMIDONE0100200300400 5006007001.0001.0251 .0501.0751.1001.125N ormalised objective01002003004 0050060070010−310−210−1100101102Computatio n time (s) 0200400600600100010- 021.041.061.08 Normalized objective 0200400600600100010- 310−1100101 Computation Time (s)02004006006001000 10-310−1100101 Computation Time (s)02004006006001000 10-310−1100101 Computation Time (s)02004006006001000 10-210−1100101 Computation Time (s)RSHOSMACBODONEMVR SMIDONE0100200400200 2002001001.000100501 .0751.1001Normalized objective 02006006001001001000 10-310−1100101 Computation Time (s)02004006006006001 00010-2101 Computation Time (s)02006006006006001 0010010010010-21001 Computation Time (s) 0.28
英語(論文から抽出)日本語訳スコア
each other (p > 0.1), they outperform all other methods (p < 0.03). 互いに(p > 0.1)、他のすべての方法より優れている(p < 0.03)。 0.70
MVRSM is designed for mixed-variable search spaces like in this problem, but not for conditional variables, and outperforms random search (p < 0.03) but not BO and DONE (p > 0.05). MVRSMは、この問題のような混合変数の探索空間向けに設計されているが、条件変数のためのものではなく、BOやDONE(p > 0.05)よりも優れている(p < 0.03)。 0.65
BO and DONE both fail to outperform random search (p > 0.1). BOとDONEはどちらもランダム検索を上回りません(p > 0.1)。 0.66
If we also consider computation time, HyperOpt appears to be a better choice than SMAC, being faster by more than an order of magnitude. 計算時間についても考えると、HyperOptはSMACよりも適しており、桁違いに高速である。
訳抜け防止モード: 計算時間も考慮すれば、HyperOptが登場します SMACよりも優れた選択であり、桁違いに高速である。
0.65
C. Varying time budget and function evaluation time C.空き時間予算と機能評価時間 0.81
The observations are similar for the PitzDaily and ESP problems, except that DONE had a poor performance on the PitzDaily problem and SMAC gets outperformed by BO on the ESP problem. 観察はpitzdaily問題とesp問題と似ているが、dodはpitzdaily問題で性能が悪く、smacはboによってesp問題よりも優れていた。
訳抜け防止モード: 観測はピッツデイリー問題とESP問題に類似しているが、例外ではない。 DONEはPitzDaily問題でパフォーマンスが悪かった SMAC は ESP 問題において BO よりも優れています。
0.67
Lastly, for the hyperparameter optimisation problem, it can be seen that HyperOpt is favoured over SMAC due to its computational efficiency, though SMAC performs well with cheaper objective functions. 最後に、ハイパーパラメータ最適化問題に対して、ハイパーオプトはその計算効率のためにSMACよりも好まれるが、SMACはより安価な目的関数でうまく機能する。 0.71
Given a low enough time budget, random search gives the best results, even for expensive objective functions. 時間的予算が十分に低い場合、ランダム検索は、高価な目的関数であっても最高の結果を与える。 0.68
8 In real-life optimisation problems that have limitations on the time to solve the task, the computation time of the optimisation algorithms is important to take into consideration. 8 課題解決に要する時間制限のある実生活の最適化問題においては,最適化アルゴリズムの計算時間を考慮することが重要である。 0.86
Hence, we investigate how the algorithms perform with various time budgets and different objective evaluation times. そこで我々は,アルゴリズムが様々な時間予算と異なる客観的評価時間でどのように機能するかを検討する。
訳抜け防止モード: そこで我々は アルゴリズムは様々な時間予算と異なる客観的評価時間で実行される。
0.78
More specifically, instead of restricting the number of evaluations as done up until now, the algorithms are stopped if their runtime exceeds a fixed time budget. 具体的には、これまでどおりの評価数を制限するのではなく、ランタイムが固定時間予算を超えた場合、アルゴリズムは停止される。 0.70
The runtime includes both the total function evaluation time as well as the computation time required for the training and acquisition steps of the algorithm. ランタイムは、アルゴリズムのトレーニングおよび取得ステップに必要な合計関数評価時間と計算時間の両方を含む。 0.70
This experiment extends the results of the benchmark by also putting emphasis on the computation time of the algorithm in addition to their respective sample efficiency. この実験は,各サンプル効率に加えて,アルゴリズムの計算時間にも重点を置いて,ベンチマークの結果を拡張した。 0.85
On top of that, it provides information that can be used to decide which algorithm is suitable given a time budget and how expensive the objective function is. それに加えて、時間的予算と目的関数がどれくらい高価かに基づいて、どのアルゴリズムが適切なのかを決定するのに使用できる情報を提供する。 0.76
To investigate this in practice, we use the data gathered in the experiments shown in this section by artificially changing the time budget and evaluation time of the expensive objective functions as in earlier work [57]. 実際にこれを調査するために,本項で示す実験で収集したデータを用いて,従来の作業[57]のように,高価な目的関数の時間予算と評価時間を人工的に変更した。 0.83
Because we know the algorithms’ computation times from each iteration in the experiments, it is possible to simulate what the total runtime would be if the function evaluation time is adjusted. 実験では、各イテレーションからアルゴリズムの計算時間を知っているので、関数評価時間を調整すると、全体のランタイムがどうなるかをシミュレートすることができる。 0.81
Then, we report which algorithm returns the best solution when the time budget has been reached for various time budgets and evaluations times. 次に,様々な時間予算と評価時間に対する時間予算が達成されたとき,どのアルゴリズムが最適解を返すかを報告する。 0.69
The evaluation time ranges from 0.12 ms to 36 hours, while the time budget ranges from 0.49 ms to 36 hours. 評価時間は0.12ミリ秒から36時間、時間予算は0.49ミリ秒から36時間である。 0.66
In case the time budget is not reached within the maximum number of iterations that we have observed from the other experiments, for at least one of the algorithms, no results are reported. 他の実験で観測した最大イテレーション数内に時間予算が達していない場合、少なくとも1つのアルゴリズムに対して、結果は報告されない。 0.70
Figure 2 displays which algorithm returns the best solution at each problem for a variety of time budgets (x-axis) and function evaluation times (y-axis). 図2は、様々な時間予算(x軸)と関数評価時間(y軸)について、各問題における最良の解を返すアルゴリズムを示す。 0.77
Each algorithm has a different marker, and the colour indicates the objective value of the best found solution (without normalisation, so lower is better). それぞれのアルゴリズムは異なるマーカーを持ち、色は最適な解の客観的な値を示す(正規化なしでは、より低い方がよい)。 0.76
As expected, we observe that the objective value decreases when the time budget increases and the evaluation time remains fixed. 予想通り、予算が増加し、評価時間が固定された場合、客観的な価値が低下するのを観察する。
訳抜け防止モード: 予想通り 観察しました 目標値は、時間予算が増加し、評価時間が固定された場合に減少する。
0.69
However, it appears that different algorithms perform well in regions with certain time budgets and evaluation times. しかし、特定の時間予算と評価時間を持つ地域では、異なるアルゴリズムがうまく機能しているようだ。
訳抜け防止モード: しかし どうやら 異なるアルゴリズムは、特定の時間予算と評価時間のある地域ではうまく機能する。
0.78
For the Windwake problem we see that BO, HyperOpt, SMAC, DONE and random search all perform the best in different settings. Windwakeの問題に対して、BO、HyperOpt、SMAC、DONE、ランダム検索は、それぞれ異なる設定で最高である。 0.73
BO seems to perform best when the number of iterations is low no matter the time budget, SMAC performs best for larger time budgets and evaluation times, and random search performs best for low evaluation times. BOは、時間予算にかかわらずイテレーション数が低い場合、SMACはより大きな時間予算と評価時間でベスト、ランダム検索は低い評価時間でベストであるように思われる。
訳抜け防止モード: BOが最高に機能しているように見える 時間的予算に拘わらず イテレーションの回数は低い。 SMACはより大きな時間予算と評価時間に最適である。 ランダム検索は 低い評価時間に最適です
0.80
HyperOpt and DONE perform well on semi-expensive objective functions in the 10 − 1000 ms range. HyperOpt と DONE は 10-1000 ms の範囲の半指数目的関数でよく機能する。 0.71
D. Offline learning of surrogates D.サロゲートのオフライン学習 0.57
As a final experiment we investigate the choice of surrogate model in the different surrogate algorithms. 最後の実験として,異なるサロゲートアルゴリズムにおけるサロゲートモデルの選択について検討する。 0.63
Though an extensive investigation would require significant adaptations to the algorithms and their implementations, as the choice of surrogate model is heavily intertwined with the choice of the acquisition step in each algorithm, we show how the dataset generated in this work can be used in a simple offline supervised learning framework. 大規模な調査ではアルゴリズムとその実装に大幅な適応が必要であるが、サロゲートモデルの選択は各アルゴリズムの取得ステップの選択と密接に絡み合っているため、本研究で生成されたデータセットが単純なオフライン教師付き学習フレームワークでどのように使用できるかを示す。 0.77
This is achieved by training and testing different models on the data and considering the resulting errors, to discover how well different models fit the data for different problem domains. これは、データ上の異なるモデルをトレーニングし、テストし、結果のエラーを考慮し、異なるモデルが異なる問題領域にどのように適合するかを調べることで達成される。 0.71
We limit the scope to the Pitzdaily and ESP problems here, and generate different training sets for each (more data, as well as standard deviations, can be found in the appendix). ここではPitzdaily問題とESP問題にスコープを制限し、それぞれ異なるトレーニングセットを生成する(追加データと標準偏差は付録で見ることができる)。 0.60
Each training set consists of the first 500 candidate solutions and objective function values gathered by one run of a specific algorithm, including the first random iterations. 各トレーニングセットは、最初の500の候補解と、最初のランダム反復を含む特定のアルゴリズムの1つの実行によって収集された客観的関数値からなる。 0.72
We then train a variety of machine learning models on this dataset, with the goal of predicting the (unnormalised) objective function value corresponding to the candidate solution. 次に、このデータセット上でさまざまな機械学習モデルをトレーニングし、候補ソリューションに対応する(正規化されていない)対象関数値を予測することを目的としています。 0.67
Using a quadratic loss function, this results in a number of machine learning models equal to the number of algorithms times the number of runs, for each type of machine learning model. 二次損失関数を用いることで、各タイプの機械学習モデルに対して、実行回数のアルゴリズムの数に匹敵する、多数の機械学習モデルが得られる。 0.82
The models we used are taken from the Python scikit-learn library [58], and we also add XG-Boost and the piece-wise linear model used by the IDONE and MVRSM algorithms, giving seven models in total: a linear regression model (Linear), polynomial regression with degree 2 (Quadratic), the piece-wise linear model used by MVRSM and IDONE (PWL), a random forest with default hyperparameters (RF), an XGBoost model with default hyperparameters (XGBoost), the Gaussian process used by Bayesian optimisation (GP), and a multi-layer perceptron with default hyperparameters (MLP). The models we used are taken from the Python scikit-learn library [58], and we also add XG-Boost and the piece-wise linear model used by the IDONE and MVRSM algorithms, giving seven models in total: a linear regression model (Linear), polynomial regression with degree 2 (Quadratic), the piece-wise linear model used by MVRSM and IDONE (PWL), a random forest with default hyperparameters (RF), an XGBoost model with default hyperparameters (XGBoost), the Gaussian process used by Bayesian optimisation (GP), and a multi-layer perceptron with default hyperparameters (MLP). 0.87
As a test set, for each problem we concatenate all the candidate points and function evaluations that were evaluated by each surrogate algorithm for every run, and keep the 1000 points with the best objective value. テストセットとして、各問題に対して、各サロゲートアルゴリズムによって評価された全ての候補点と関数評価を、実行毎に集計し、1000点を最適な客観的値に保つ。 0.81
As the global optimum is unknown in our benchmark problems, this shows how the different models would perform in good regions of the search space. ベンチマーク問題では,グローバルな最適度が不明であるため,各モデルが検索空間の良好な領域でどのように動作するかを示す。 0.75
If we only train on data gathered with random search we can already see that some models are prone to overfitting. ランダム検索で収集されたデータのみをトレーニングすれば、一部のモデルでは過度に適合する傾向にあることが分かる。
訳抜け防止モード: ランダム検索で収集したデータのみをトレーニングする場合 いくつかのモデルは 過度に適合する傾向があります
0.73
Table III shows the results of training each model on data gathered by random search, averaged over different runs of random search. 表IIIは、ランダム検索によって収集されたデータに基づいて各モデルをトレーニングした結果を示す。 0.78
The models with the smallest training errors トレーニングエラーが最小となるモデル 0.75
英語(論文から抽出)日本語訳スコア
9 Fig. 2. 9 フィギュア。 2. 0.71
The best surrogate algorithm for the case that the evaluation time of the objective is artificially changed (vertical axis), and for different time budgets (horizontal axis). 目的物の評価時間を人工的に変更(垂直軸)し、異なる時間予算(水平軸)に対して最適なサロゲートアルゴリズムを提案する。 0.70
The different marker shapes indicate which of the surrogate algorithms achieved the best objective value, while the colour shows the corresponding objective value (not normalised). 異なるマーカー形状は、サロゲートアルゴリズムのどれが最適な目標値を達成したかを示し、色は対応する目標値(正規化されていない)を示す。 0.63
Other black-box optimisation algorithms such as population-based methods are expected to dominate the empty bottom right region, where the time budget is large but the function evaluation time is small. 他のブラックボックス最適化アルゴリズム、例えば人口ベース手法は、時間予算が大きいが関数評価時間が小さい空の右下領域を支配することが期待されている。 0.80
there. For example, are not necessarily the most accurate near the optimum, and may even be outperformed by a simple linear regression model the quadratic model has more parameters than training data points for the ESP problem, which causes this expected behavior as it does not make use of regularisation. そこだ 例えば 最適付近では必ずしも最も正確ではなく、単純な線形回帰モデルに勝ることすらあるが、二次モデルはesp問題のトレーニングデータポイントよりも多くのパラメータを持ち、正規化を使わないためにこの期待された振る舞いを引き起こす。 0.59
Furthermore, discrete models such as random forest and XGBoost with their default hyperparameters have a good generalisation performance, not just on the discrete ESP problem but also on the continuous Pitzdaily problem, even though their training error is a bit higher than that of other models. さらに、デフォルトのハイパーパラメータを持つランダムフォレストやxgboostのような離散モデルは、離散esp問題だけでなく、トレーニングエラーが他のモデルよりも少し高いにもかかわらず、連続的pitzdaily問題においても優れた一般化性能を持つ。 0.77
If we train models on data gathered by a surrogate algorithm that uses that model or an approximation thereof, we get the results shown in Table IV. そのモデルや近似を用いた代理アルゴリズムによって収集されたデータに基づいてモデルをトレーニングすると、表IVに示す結果が得られる。 0.79
The piece-wise linear model (PWL) used for training is exactly the same surrogate model used by the IDONE and MVRSM algorithms, and the Gaussian process (GP) is exactly the same as the one used by Bayesian optimisation (BO). トレーニングに使用されるピースワイド線形モデル(PWL)はIDONEとMVRSMアルゴリズムが使用するサロゲートモデルと全く同じであり、ガウス過程(GP)はベイズ最適化(BO)が使用するものと全く同じである。 0.82
The random forest (RF) is not exactly the one used by SMAC, but uses default hyperparameters, and the model used by DONE is only an approximation of a Gaussian process. ランダムフォレスト(RF)は、正確にはSMACで使用されるものではなく、デフォルトのハイパーパラメータを使用し、DONEで使用されるモデルはガウス過程の近似にすぎない。 0.74
We see that the training error on data gathered by DONE can get very low, but this does not mean that DONE is a good surrogate algorithm, as we saw it perform very poorly on the Pitzdaily problem. DONEが収集したデータに対するトレーニング誤差が非常に低いことが分かるが、これはDONEがPitzdaily問題において非常に不十分な結果となるため、優れたサロゲートアルゴリズムであるという意味ではない。 0.74
A likely explanation is that the acquisition is not leading to the right data points. 考えられる説明は、買収が正しいデータポイントに導いていないということだ。 0.75
More interesting are the test errors: though a Gaussian process trained on data gathered by a surrogate algorithm that uses this model (BO) receives a low test error, an XGBoost model trained on data gathered by random search can get an even lower test error as seen in Table III. より興味深いのは、テストエラーである: このモデル(BO)を使用する代理アルゴリズムによって収集されたデータに基づいてトレーニングされたガウス過程は、低いテストエラーを受けるが、ランダム検索によって収集されたデータに基づいてトレーニングされたXGBoostモデルは、テーブルIIIに見られるようにさらに低いテストエラーを得ることができる。 0.65
The test error for XGBoost trained on data gathered by BO, not shown in these tables, BOが収集したデータに基づいてトレーニングされたXGBoostのテストエラーは、これらのテーブルには表示されていない。
訳抜け防止モード: boが収集したデータに基づくxgboostテストエラー これらの表に示されていない。
0.78
MEAN AVERAGE ERROR FOR MODELS TRAINED ON DATA GATHERED BY RANDOM SEARCH, AVERAGED OVER DIFFERENT RANDOM SEARCH RUNS. ランダムサーチにより学習されたデータに基づくモデルの平均誤差、および異なるランダムサーチルールの平均値 0.38
TABLE III Benchmark テーブルIII ベンチマーク 0.60
Pitzdaily ESP ピッツデイリー ESP 0.66
Model Linear Quadratic モデル線形 quadratic (複数形 quadratics) 0.50
XGBoost PWL RF XGBoost PWL RF 0.85
GP MLP Train 0.697 0.504 0.006 0.151 0.279 8 · 10−7 0.733 GP MLP 列車 0.697 0.504 0.006 0.151 0.279 8 · 10−7 0.733 0.69
Test 1.229 1.218 1.323 0.758 0.849 1.147 1.364 テスト 1.229 1.218 1.323 0.758 0.849 1.147 1.364 0.60
Train 2.651 3 · 10−14 5 · 10−9 0.574 0.153 1 · 10−6 0.420 列車 2.651 3 · 10−14 5 · 10−9 0.574 0.153 1 · 10−6 0.420 0.66
Test 1.808 4.400 8.869 0.972 0.711 1.297 0.906 テスト 1.808 4.400 8.869 0.972 0.711 1.297 0.906 0.60
MEAN AVERAGE ERROR FOR MODELS TRAINED ON DATA GATHERED BY A aが収集したデータに基づくモデルの平均誤差 0.49
SURROGATE ALGORITHM THAT USES THAT MODEL, AVERAGED OVER このモデルを使ったサーロゲートアルゴリズムは 0.33
TABLE IV DIFFERENT RUNS. テーブルIV 異なるルール。 0.53
Benchmark Model ベンチマーク モデル 0.68
PWL on IDONE PWL on MVRSM MVRSM上のIDONE PWL上のPWL 0.71
RF on SMAC GP on BO SMAC上のRF BO上のGP 0.84
GP on DONE Pitzdaily DONE上のGP ピッツデイリー 0.60
ESP Train - 0.047 0.101 9 · 10−7 5 · 10−8 ESP 列車 - 0.047 0.101 9 · 10−7 5 · 10−8 0.76
Test - 4.092 1.151 0.915 1.888 テスト - 4.092 1.151 0.915 1.888 0.69
Train 2 · 10−4 0.002 0.148 Train 2 · 10−4 0.002 0.148 0.63
5.5 · 10−7 4.8 · 10−7 5.5 · 10−7 4.8 · 10−7 0.55
Test 11.16 11.58 0.855 0.835 0.910 テスト 11.16 11.58 0.855 0.835 0.910 0.60
is 0.997 for the Pitzdaily problem and 0.701 for the ESP problem. ピッツデイリー問題 0.997 と esp 問題 0.701 である。 0.68
Lastly, surrogate models do not always achieve a lower training error on data gathered by a method that uses that model than on data gathered by random search. 最後に、サロゲートモデルでは、ランダム検索によって収集されたデータよりも、そのモデルを使用するメソッドが収集したデータに対するトレーニングエラーが常に低いとは限らない。 0.63
Time budget (sec)Evaluation time (sec)102100102104103 101101103Windwake (d = 10)7.27.06.86.66.41e 10102100102104103101 101103PitzDaily (d = 10)0.10.20.30.40.510 21001021041031011011 03ESP problem (d = 49)DONEIDONEMVRSMBOR SHOSMAC1.01.21.41.61 02100102104103101101 103HPO (d = 135)0.640.620.600.58 0.560.54 時間予算 (sec) 1021001021043101103W indwake (d = 10) 7.27.06.86.66.41e102 10010210431031103Pit zDaily (d = 10)0.10.20.40.510210 01021043101103ESP problem (d = 49)DONEIDONEMVRSMBOR SHOSMAC1.01.21.61021 01031103HPO (d = 135)0.640.620.600.58 0.554 0.55
英語(論文から抽出)日本語訳スコア
V. DISCUSSION Based on the observations of the previous section, we highlight the most important insights that were obtained. V.解離 前節の観察に基づいて,得られた最も重要な知見を強調した。 0.65
First of all, the type of variable a surrogate model is designed for, is not necessarily a good indicator of the performance of the surrogate algorithm in case of a real-life problem: discrete surrogates can perform well on continuous problems, and vice versa. まず第一に、サロゲートモデルが設計されている変数の種類は、実生活問題の場合、必ずしもサロゲートアルゴリズムの性能のよい指標であるとは限らない: 離散サロゲートは、連続問題に対してうまく機能し、逆もまた然るべきである。 0.54
We saw this on the wind farm layout optimisation problem, a continuous problem where a discrete surrogate model (SMAC’s random forest) had the best performance, and on the ESP problem, a discrete problem where the continuous Gaussian process surrogate model had the best performance even though it was unable to outperform random search on the wind farm layout optimisation problem. これは、風力発電のレイアウト最適化問題において、離散的なサロゲートモデル(SMACのランダムフォレスト)が最高の性能を持つ連続問題であり、ESP問題では、連続的なガウス過程サロゲートモデルが、風力発電のレイアウト最適化問題においてランダム探索を上回りきれないにもかかわらず、最高の性能を持つ離散問題である。 0.67
Part of these insights were known from previous work [57], but we extended these insights to continuous problems and to more benchmark problems and surrogate algorithms. これらの洞察の一部は、以前の仕事[57]で知られていたが、これらの洞察を継続的問題や、よりベンチマークの問題、アルゴリズムの代理に拡張した。 0.47
The experiments using offline learning of machine learning models also showed that discrete models such as XGBoost can have lower generalisation error than continuous models, even on data coming from a continuous problem like Pitzdaily. 機械学習モデルのオフライン学習を用いた実験では、Pitzdailyのような継続的問題から得られるデータであっても、XGBoostのような離散モデルでは連続モデルよりも一般化誤差が低いことを示した。 0.72
Second, our observations lead us to believe that exploration is more important than model accuracy in surrogate algorithms. 第二に、我々の観察は、サーロゲートアルゴリズムのモデル精度よりも探索が重要であると信じている。
訳抜け防止モード: 第二に、私たちの観察は 探索はサロゲートアルゴリズムの モデル精度よりも重要だと信じています
0.85
The offline learning experiments showed that surrogate models trained on data gathered by an algorithm that uses that model are not necessarily more accurate than surrogate models trained on data gathered by random search, a highexploration method. オフライン学習実験は、アルゴリズムが収集したデータに基づいて訓練された代理モデルが、ランダム検索によって収集されたデータに基づいて訓練された代理モデルよりも必ずしも正確ではないことを示した。 0.67
The use of random search should also not be underestimated, as the experiment where we artificially change the evaluation time of the objective shows that for all considered benchmarks there are situations where random search outperforms all surrogate algorithms, mainly when the objective evaluation time is low. 対象の評価時間を人為的に変化させる実験は,すべての評価ベンチマークにおいて,対象評価時間の低さを中心に,ランダム検索がすべてのアルゴリズムに勝る状況が存在することを示しているため,ランダム検索の利用も過小評価すべきではない。 0.79
Furthermore, on the ESP problem, MVRSM had a much better performance than IDONE, even though they use exactly the same piece-wise linear surrogate model on that problem. さらに、ESP問題では、MVRSMはIDONEよりもはるかに優れた性能を示した。
訳抜け防止モード: さらにESP問題では、MVRSMはIDONEよりもはるかに優れた性能を示した。 彼らは全く同じピース(賢い線形サロゲートモデル)を使っているにもかかわらず。
0.60
The only difference between the two algorithms is that MVRSM has a higher exploration rate. 2つのアルゴリズムの唯一の違いは、MVRSMが探索率が高いことである。 0.70
The low training error of the piece-wise linear surrogate model shows that a highly accurate model does not necessarily lead to a better performance of the surrogate algorithm using that model. 分割線形サロゲートモデルの低トレーニング誤差は、高精度なモデルが必ずしもそのモデルを用いたサロゲートアルゴリズムの性能向上につながるとは限らないことを示している。 0.80
Finally, the available time budget and the evaluation time of the objective strongly influence which algorithm is the best choice for a certain problem. 最後に、利用可能な時間予算と目標の評価時間は、特定の問題に対してどのアルゴリズムが最適かに強く影響する。 0.70
This can be seen from the experiment where we artificially change the function evaluation time, where the best performing algorithm changes depending on the available time budget and function evaluation time. これは、利用可能な時間予算と機能評価時間に応じて最適なアルゴリズムが変化する関数評価時間を人工的に変更する実験から見ることができる。 0.87
Given that most algorithms had a lower computation time than the function evaluation time in our experiments, there is room for improvement to spend resources on improving the exploration strategy or on using an ensemble method. ほとんどのアルゴリズムが、実験における関数評価時間よりも低い計算時間を持っていたことを考えると、探索戦略の改善やアンサンブル法の使用にリソースを費やす余地がある。 0.81
Using an ensemble of surrogate models or acquisition strategies should also help with robustness, as many algorithms failed to outperform random search for at least one problem. 代理モデルや獲得戦略のアンサンブルを使用すると、多くのアルゴリズムが少なくとも1つの問題に対してランダム検索を上回りませんでした。 0.75
Alternatively, speeding up the surrogate algorithms should make them more suitable for less expensive problems than the benchmarks in this paper. あるいは、サロゲートアルゴリズムの高速化は、この論文のベンチマークよりも安価な問題に対してより適しているはずだ。
訳抜け防止モード: サーロゲートアルゴリズムの高速化は 本論文のベンチマークよりも,より安価な問題に対してより適しているはずだ。
0.78
Having a fixed computation time for every iteration, which イテレーション毎に固定された計算時間を持つこと。 0.67
10 is the case for the DONE, IDONE and MVRSM algorithms, should help in this aspect. 10 DONE、IDONE、MVRSMアルゴリズムは、この側面で役立つはずだ。 0.67
VI. CONCLUSION AND FUTURE WORK VI。 コンキュレーション及び将来の作業 0.72
We have benchmarked six surrogate algorithm on four real- 4つの実数で6つのサロゲートアルゴリズムをベンチマークしました。 0.48
life expensive benchmark problems, which gave rise to: 人生の高価なベンチマーク問題を引き起こしました 0.60
• a public benchmark library called EXPObench that contains real-life expensive benchmark functions and baseline algorithms that can solve these benchmarks; • EXPObenchと呼ばれる公開ベンチマークライブラリで、現実の高価なベンチマーク関数とこれらのベンチマークを解くためのベースラインアルゴリズムを含んでいる。 0.54
• insights into how different aspects of the problems and •問題の異なる側面や状況についての洞察 0.90
algorithms influence the algorithm performance; アルゴリズムはアルゴリズムの性能に影響を与えます 0.63
• a public dataset containing the algorithm performance on •アルゴリズムのパフォーマンスを含む公開データセット 0.76
these benchmarks. The benchmark library fills an important gap in the current landscape of optimisation benchmark libraries, that mostly consists of cheap to evaluate benchmark functions or of expensive problems with no or limited baseline solutions from surrogate model literature. このベンチマーク ベンチマークライブラリは、ベンチマーク関数の評価を安価に行うか、サロゲートモデル文学のベースラインソリューションを全くあるいは限定せずに高価な問題から成り立っている、現在の最適化ベンチマークライブラリの状況において重要なギャップを埋めている。 0.54
A first analysis of the dataset showed how the best choice of algorithm for a certain problem depends on the available time budget and the evaluation time of the objective, and we provided a method to extrapolate such results to real-life problems that contain expensive objective functions with different costs. データセットの最初の分析では、ある問題に対するアルゴリズムの最良の選択が、利用可能な時間予算と対象物の評価時間にどのように依存しているかを示し、コストの異なる高価な目的関数を含む現実的な問題にその結果を外挿する方法を提供した。 0.78
The dataset also allowed us to train surrogate models offline rather than online, giving insight into the generalisation capabilities of the surrogate models and showing the potential of models such as XGBoost to be used in new surrogate algorithms in the future. データセットはまた、オンラインではなく、代理モデルのオフライントレーニングを可能にし、代理モデルの一般化能力や、XGBoostのようなモデルが将来新しい代理アルゴリズムで使用される可能性を示す。
訳抜け防止モード: データセットも許可されています オンラインではなく 代理モデルをオフラインで訓練します 代理モデルの一般化能力に関する洞察を与え、XGBoostのようなモデルのポテンシャルを示す 将来新しいサロゲートアルゴリズムで 使われるようになるでしょう
0.78
Finally, we showed how continuous models can work well for discrete problems and vice versa, and we highlighted the important role of exploration in surrogate algorithms. 最後に、連続モデルが離散的な問題に対してどのように機能するか、またその逆も示し、サロゲートアルゴリズムにおける探索の重要な役割を強調した。 0.60
In future work we will focus on methods that can deal with the constraints present in some of the benchmark problems from this work, as well as make a comparison with surrogate-assisted evolutionary methods. 今後の作業では,本研究のベンチマーク問題で発生する制約に対処する手法と,surrogate による進化的手法との比較に注目する。 0.63
APPENDIX OFFLINE LEARNING RESULTS appendIX オフライン学習結果 0.55
Here we show more data of the offline learning experiment presented in Section IV-D, including the standard deviations. ここでは、標準偏差を含む、セクションIV-Dで提示されたオフライン学習実験のさらなるデータを示す。 0.67
See Table V. No results are given for the hyperparameter optimisation benchmark, as not all supervised learning models are able to deal with the conditional variables present in this benchmark. すべての教師付き学習モデルがこのベンチマークに存在する条件変数を扱うことができないため、ハイパーパラメータ最適化ベンチマークの結果は与えられない。 0.69
ACKNOWLEDGMENTS This work is part of the research programme Real-time datadriven maintenance logistics with project number 628.009.012, which is financed by the Dutch Research Council (NWO). 裏書き この作業は、オランダ研究評議会(nwo)が出資するプロジェクト番号628.009.012による、リアルタイムデータ駆動型メンテナンスロジスティクス研究計画の一部である。 0.48
The authors thank the participants and organisers of the Lorentz Workshop “Benchmarked: Optimization Meets Machine Learning” (2020) for a fruitful discussion on expensive optimisation. 著者らは、ローレンツワークショップ“benchmarked: optimization meets machine learning”(2020年)の参加者と主催者に、高価な最適化に関する実りある議論に感謝する。 0.71
英語(論文から抽出)日本語訳スコア
MEAN AVERAGE ERROR FOR MODELS TRAINED ON DATA GATHERED BY ONE SURROGATE ALGORITHM, AVERAGED OVER DIFFERENT RUNS. 1つの測位アルゴリズムで学習したデータに基づくモデルの平均誤差、および、平均的な平均外乱
訳抜け防止モード: 1つのサロゲートアルゴリズムが収集したデータに基づくモデルの平均誤差 異なる実行数の平均値。
0.43
TABLE V Benchmark Model+method テーブルV ベンチマークモデル+メソッド 0.55
Wind farm layout Pitzdaily 風力発電所配置 ピッツデイリー 0.51
ESP Train Test ESP 列車 テスト 0.78
Train Test Train Test 列車 テスト 列車 テスト 0.75
11 Linear on RS 3.3 · 1010 ± 3 · 108 Quadratic on RS 2.8 · 1010 ± 6 · 108 PWL on RS 3.1 · 1010 ± 1 · 109 RF on RS 1.2 · 1010 ± 2 · 108 XGBoost on RS 1.6 · 1010 ± 1 · 109 3 · 104 ± 1 · 102 GP on RS MLP on RS 3.5 · 1010 ± 2 · 109 Linear on BO 3.2 · 1010 ± 2 · 109 Quadratic on BO 2.6 · 1010 ± 2 · 109 PWL on BO 2.9 · 1010 ± 2 · 109 RF on BO 1.1 · 1010 ± 1 · 109 XGBoost on BO 1.5 · 1010 ± 2 · 109 GP on BO 3 · 104 ± 1 · 103 MLP on BO 3.9 · 1010 ± 5 · 109 Linear on HO 2.6 · 1010 ± 2 · 109 Quadratic on HO 2.2 · 1010 ± 2 · 109 PWL on HO 2.5 · 1010 ± 2 · 109 RF on HO 1.0 · 1010 ± 8 · 108 XGBoost on HO 1.1 · 1010 ± 2 · 109 GP on HO 3 · 104 ± 3 · 103 MLP on HO 4.8 · 1010 ± 3 · 109 Linear on SMAC 1.2 · 1010 ± 1 · 109 9 · 109 ± 1 · 109 PWL on SMAC 1.2 · 1010 ± 1 · 109 4 · 109 ± 4 · 108 RF on SMAC 4 · 109 ± 5 · 108 XGBoost on SMAC GP on SMAC 8 · 104 ± 5 · 104 MLP on SMAC 6.0 · 1010 ± 1 · 109 2.6 · 1010 ± 109 Linear on DONE 2.3 · 1010 ± 109 Quadratic on DONE 2.5 · 1010 ± 109 PWL on DONE 9 · 109 ± 4 · 108 RF on DONE XGBoost on DONE 1.0 · 1010 ± 8 · 108 3 · 104 ± 103 1.8 · 1010 ± 109 11 Linear on RS 3.3 · 1010 ± 3 · 108 Quadratic on RS 2.8 · 1010 ± 6 · 108 PWL on RS 3.1 · 1010 ± 1 · 109 RF on RS 1.2 · 1010 ± 2 · 108 XGBoost on RS 1.6 · 1010 ± 1 · 109 3 · 104 ± 1 · 102 GP on RS MLP on RS 3.5 · 1010 ± 2 · 109 Linear on BO 3.2 · 1010 ± 2 · 109 Quadratic on BO 2.6 · 1010 ± 2 · 109 PWL on BO 2.9 · 1010 ± 2 · 109 RF on BO 1.1 · 1010 ± 1 · 109 XGBoost on BO 1.5 · 1010 ± 2 · 109 GP on BO 3 · 104 ± 1 · 103 MLP on BO 3.9 · 1010 ± 5 · 109 Linear on HO 2.6 · 1010 ± 2 · 109 Quadratic on HO 2.2 · 1010 ± 2 · 109 PWL on HO 2.5 · 1010 ± 2 · 109 RF on HO 1.0 · 1010 ± 8 · 108 XGBoost on HO 1.1 · 1010 ± 2 · 109 GP on HO 3 · 104 ± 3 · 103 MLP on HO 4.8 · 1010 ± 3 · 109 Linear on SMAC 1.2 · 1010 ± 1 · 109 9 · 109 ± 1 · 109 PWL on SMAC 1.2 · 1010 ± 1 · 109 4 · 109 ± 4 · 108 RF on SMAC 4 · 109 ± 5 · 108 XGBoost on SMAC GP on SMAC 8 · 104 ± 5 · 104 MLP on SMAC 6.0 · 1010 ± 1 · 109 2.6 · 1010 ± 109 Linear on DONE 2.3 · 1010 ± 109 Quadratic on DONE 2.5 · 1010 ± 109 PWL on DONE 9 · 109 ± 4 · 108 RF on DONE XGBoost on DONE 1.0 · 1010 ± 8 · 108 3 · 104 ± 103 1.8 · 1010 ± 109 0.92
GP on DONE MLP on DONE GP on DONE MLP on DONE 0.85
Quadratic on SMAC SMAC上の二次構造 0.37
3.7 · 1010 ± 3 · 109 1.9 · 1010 ± 5 · 109 2.0 · 1010 ± 4 · 109 3.5 · 1010 ± 2 · 109 3.7 · 1010 ± 4 · 109 3.7 · 1010 ± 2 · 109 7.3 · 1010 ± 2 · 102 3.7 · 1010 ± 5 · 109 2.4 · 1010 ± 1.0 · 1010 2.0 · 1010 ± 3 · 109 3.7 · 1010 ± 3 · 109 4.1 · 1010 ± 9 · 109 3.4 · 1010 ± 5 · 109 7.3 · 1010 ± 1 · 102 4.6 · 1010 ± 5 · 109 3.7 · 1010 ± 9 · 109 2.9 · 1010 ± 9 · 109 3.6 · 1010 ± 2 · 109 4.3 · 1010 ± 5 · 109 2.5 · 1010 ± 2 · 109 7.3 · 1010 ± 1 · 102 3.0 · 1010 ± 4 · 109 5.0 · 1010 ± 1.8 · 1010 1.8 · 1010 ± 4 · 109 3.4 · 1010 ± 3 · 109 4.4 · 1010 ± 8 · 109 1.3 · 1010 ± 1 · 109 7.3 · 1010 ± 2 · 102 5.5 · 1010 ± 3 · 109 5.8 · 1010 ± 2 · 109 5.5 · 1010 ± 2 · 109 5.2 · 1010 ± 3 · 109 5.4 · 1010 ± 5 · 109 5.5 · 1010 ± 2 · 109 7.3 · 1010 ± 2 · 102 3.7 · 1010 ± 3 · 109 1.9 · 1010 ± 5 · 109 2.0 · 1010 ± 4 · 109 3.5 · 1010 ± 2 · 109 3.7 · 1010 ± 4 · 109 3.7 · 1010 ± 2 · 109 7.3 · 1010 ± 2 · 102 3.7 · 1010 ± 5 · 109 2.4 · 1010 ± 1.0 · 1010 2.0 · 1010 ± 3 · 109 3.7 · 1010 ± 3 · 109 4.1 · 1010 ± 9 · 109 3.4 · 1010 ± 5 · 109 7.3 · 1010 ± 1 · 102 4.6 · 1010 ± 5 · 109 3.7 · 1010 ± 9 · 109 2.9 · 1010 ± 9 · 109 3.6 · 1010 ± 2 · 109 4.3 · 1010 ± 5 · 109 2.5 · 1010 ± 2 · 109 7.3 · 1010 ± 1 · 102 3.0 · 1010 ± 4 · 109 5.0 · 1010 ± 1.8 · 1010 1.8 · 1010 ± 4 · 109 3.4 · 1010 ± 3 · 109 4.4 · 1010 ± 8 · 109 1.3 · 1010 ± 1 · 109 7.3 · 1010 ± 2 · 102 5.5 · 1010 ± 3 · 109 5.8 · 1010 ± 2 · 109 5.5 · 1010 ± 2 · 109 5.2 · 1010 ± 3 · 109 5.4 · 1010 ± 5 · 109 5.5 · 1010 ± 2 · 109 7.3 · 1010 ± 2 · 102 0.90
2.7 ± 6.0 6 · 10−3 ± 6 · 10−4 2.7 ± 6.0 6 · 10−3 ± 6 · 10−4 0.69
1 · 10−6 ± 2 · 10−6 1 · 10−6 ± 2 · 10−6 0.78
0.2 ± 5 · 10−2 0.2 ± 5 · 10−2 0.71
8 · 10−7 ± 3 · 10−8 8 · 10−7 ± 3 · 10−8 0.78
0.6 ± 1.2 0.2 ± 0.2 0.4 ± 0.9 0.6 ± 1.2 0.2 ± 0.2 0.4 ± 0.9 0.53
1.23 ± 0.15 1.22 ± 0.13 3 · 10−14 ± 8 · 10−14 1.32 ± 0.44 5 · 10−9 ± 1 · 10−8 0.76 ± 0.17 0.85 ± 0.23 1.15 ± 0.09 1.36 ± 0.02 0.95 ± 0.35 1.34 ± 0.21 5 · 10−15 ± 3 · 10−15 1.80 ± 0.93 1 · 10−9 ± 7 · 10−10 7 · 10−2 ± 2 · 10−2 1.05 ± 0.15 1.00 ± 0.28 8 · 10−2 ± 7 · 10−3 9 · 10−7 ± 2 · 10−8 0.92 ± 0.05 5 · 10−7 ± 3 · 10−7 1.10 ± 0.28 0.95 ± 0.35 1.34 ± 0.21 1.80 ± 0.93 1.05 ± 0.15 1.00 ± 0.28 9 · 10−7 ± 2 · 10−8 0.92 ± 0.05 1.10 ± 0.28 0.83 ± 0.48 1.24 ± 0.82 6 · 10−15 ± 5 · 10−15 2.91 ± 0.91 1 · 10−9 ± 5 · 10−10 1.15 ± 0.27 1.11 ± 0.31 9 · 10−7 ± 3 · 10−7 0.44 ± 0.09 0.83 ± 0.45 1.90 ± 0.008 1.55 ± 0.13 4 · 10−15 ± 2 · 10−15 8 · 10−10 ± 9 · 10−11 1.78 ± 0.10 5 · 10−2 ± 9 · 10−3 1.70 ± 0.09 1.60 ± 0.14 6 · 10−2 ± 4 · 10−3 1.89 ± 0.07 5 · 10−7 ± 2 · 10−7 1.91 ± 0.009 1.23 ± 0.15 1.22 ± 0.13 3 · 10−14 ± 8 · 10−14 1.32 ± 0.44 5 · 10−9 ± 1 · 10−8 0.76 ± 0.17 0.85 ± 0.23 1.15 ± 0.09 1.36 ± 0.02 0.95 ± 0.35 1.34 ± 0.21 5 · 10−15 ± 3 · 10−15 1.80 ± 0.93 1 · 10−9 ± 7 · 10−10 7 · 10−2 ± 2 · 10−2 1.05 ± 0.15 1.00 ± 0.28 8 · 10−2 ± 7 · 10−3 9 · 10−7 ± 2 · 10−8 0.92 ± 0.05 5 · 10−7 ± 3 · 10−7 1.10 ± 0.28 0.95 ± 0.35 1.34 ± 0.21 1.80 ± 0.93 1.05 ± 0.15 1.00 ± 0.28 9 · 10−7 ± 2 · 10−8 0.92 ± 0.05 1.10 ± 0.28 0.83 ± 0.48 1.24 ± 0.82 6 · 10−15 ± 5 · 10−15 2.91 ± 0.91 1 · 10−9 ± 5 · 10−10 1.15 ± 0.27 1.11 ± 0.31 9 · 10−7 ± 3 · 10−7 0.44 ± 0.09 0.83 ± 0.45 1.90 ± 0.008 1.55 ± 0.13 4 · 10−15 ± 2 · 10−15 8 · 10−10 ± 9 · 10−11 1.78 ± 0.10 5 · 10−2 ± 9 · 10−3 1.70 ± 0.09 1.60 ± 0.14 6 · 10−2 ± 4 · 10−3 1.89 ± 0.07 5 · 10−7 ± 2 · 10−7 1.91 ± 0.009 0.61
0.70 ± 0.03 0.50 ± 0.01 0.15 ± 0.01 0.28 ± 0.01 0.73 ± 0.03 0.77 ± 0.04 0.53 ± 0.15 0.01 ± 2 · 10−3 0.15 ± 0.01 0.24 ± 0.02 0.68 ± 0.04 0.77 ± 0.04 0.53 ± 0.15 0.01 ± 2 · 10−3 0.15 ± 0.01 0.24 ± 0.02 0.68 ± 0.04 0.47 ± 0.10 0.39 ± 0.08 0.09 ± 0.03 0.10 ± 0.02 0.11 ± 0.03 0.46 ± 0.08 0.04 ± 0.01 0.08 ± 0.02 6 · 10−4 ± 10−4 0.01 ± 3 · 10−3 0.05 ± 2 · 10−3 0.08 ± 5 · 10−3 0.70 ± 0.03 0.50 ± 0.01 0.15 ± 0.01 0.28 ± 0.01 0.73 ± 0.03 0.77 ± 0.04 0.53 ± 0.15 0.01 ± 2 · 10−3 0.15 ± 0.01 0.24 ± 0.02 0.68 ± 0.04 0.77 ± 0.04 0.53 ± 0.15 0.01 ± 2 · 10−3 0.15 ± 0.01 0.24 ± 0.02 0.68 ± 0.04 0.47 ± 0.10 0.39 ± 0.08 0.09 ± 0.03 0.10 ± 0.02 0.11 ± 0.03 0.46 ± 0.08 0.04 ± 0.01 0.08 ± 0.02 6 · 10−4 ± 10−4 0.01 ± 3 · 10−3 0.05 ± 2 · 10−3 0.08 ± 5 · 10−3 0.54
2 · 10−3 ± 2 · 10−3 3 · 10−5 ± 6 · 10−5 6 · 10−2 ± 3 · 10−2 7 · 10−2 ± 10−2 3 · 10−7 ± 2 · 10−7 6 · 10−2 ± 10−2 2 · 10−3 ± 2 · 10−3 3 · 10−5 ± 6 · 10−5 6 · 10−2 ± 3 · 10−2 7 · 10−2 ± 10−2 3 · 10−7 ± 2 · 10−7 6 · 10−2 ± 10−2 0.73
0.1 ± 0.1 0.1 ± 3 · 10−2 0.1 ± 0.1 0.1 ± 3 · 10−2 0.65
3 · 10−7 ± 2 · 10−7 6 · 10−2 ± 3 · 10−2 3 · 10−7 ± 2 · 10−7 6 · 10−2 ± 3 · 10−2 0.77
0.1 ± 5 · 10−2 0.1 ± 5 · 10−2 0.71
0.2 ± 0.1 5 · 10−8 ± 2 · 10−8 0.2 ± 0.1 5 · 10−8 ± 2 · 10−8 0.69
0.2 ± 2 · 10−2 0.2 ± 2 · 10−2 0.71
0.4 ± 0.3 0.1 ± 7 · 10−2 0.2 ± 3 · 10−2 0.4 ± 0.3 0.1 ± 7 · 10−2 0.2 ± 3 · 10−2 0.63
4 · 10−15 ± 3 · 10−15 2 · 10−4 ± 3 · 10−4 4 · 10−2 ± 9 · 10−3 6 · 10−2 ± 10−2 6 · 10−7 ± 4 · 10−7 8 · 10−2 ± 4 · 10−2 4 · 10−15 ± 3 · 10−15 2 · 10−4 ± 3 · 10−4 4 · 10−2 ± 9 · 10−3 6 · 10−2 ± 10−2 6 · 10−7 ± 4 · 10−7 8 · 10−2 ± 4 · 10−2 0.74
Linear on IDONE Quadratic on IDONE PWL on IDONE RF on IDONE XGBoost on IDONE GP on IDONE MLP on IDONE IDONE RF 上の IDONE PWL 上の IDONE GP 上の IDONE XGBoost 上の IDONE MLP の線 0.73
- - - - Linear on MVRSM 7 · 109 ± 2 · 109 Quadratic on MVRSM 8 · 109 ± 4 · 109 PWL on MVRSM 7 · 109 ± 2 · 109 RF on MVRSM 2 · 109 ± 5 · 108 XGBoost on MVRSM 2 · 109 ± 2 · 108 GP on MVRSM 2 · 105 ± 2 · 105 MLP on MVRSM 6.4 · 1010 ± 3 · 109 - - - - mvrsm 7 · 109 ± 2 · 109 pwl on mvrsm 8 · 109 ± 4 · 109 pwl on mvrsm 7 · 109 ± 2 · 109 rf on mvrsm 2 · 109 ± 5 · 108 xgboost on mvrsm 2 · 109 ± 2 · 108 gp on mvrsm 2 · 105 ± 2 · 105 mlp on mvrsm 6.4 · 1010 ± 3 · 109 mlp on mvrsm 6.4 · 1010 ± 3 · 109 mlp 0.84
4.5 · 1010 ± 1.1 · 1010 1.75 · 1011 ± 6.1 · 1010 5.2 · 1010 ± 1.3 · 1010 4.4 · 1010 ± 6 · 109 5.1 · 1010 ± 1.0 · 1010 1.3 · 1010 ± 6 · 109 7.3 · 1010 ± 1 · 102 4.5 · 1010 ± 1.1 · 1010 1.75 · 1011 ± 6.1 · 1010 5.2 · 1010 ± 1.3 · 1010 4.4 · 1010 ± 6 · 109 5.1 · 1010 ± 1.0 · 1010 1.3 · 1010 ± 6 · 109 7.3 · 1010 ± 1 · 102 0.82
1.16 ± 0.35 0.96 ± 0.96 4.09 ± 1.90 1.21 ± 0.29 1.16 ± 0.40 8 · 10−7 ± 2 · 10−7 0.53 ± 0.07 1.18 ± 0.34 1.16 ± 0.35 0.96 ± 0.96 4.09 ± 1.90 1.21 ± 0.29 1.16 ± 0.40 8 · 10−7 ± 2 · 10−7 0.53 ± 0.07 1.18 ± 0.34 0.56
0.48 ± 0.07 0.40 ± 0.15 0.05 ± 0.02 0.06 ± 10−3 0.06 ± 7 · 10−3 0.37 ± 0.09 0.48 ± 0.07 0.40 ± 0.15 0.05 ± 0.02 0.06 ± 10−3 0.06 ± 7 · 10−3 0.37 ± 0.09 0.55
0.1 ± 3 · 10−2 2 · 10−4 ± 3 · 10−4 2 · 10−3 ± 10−3 3 · 10−2 ± 7 · 10−3 4 · 10−2 ± 10−2 5 · 10−7 ± 3 · 10−7 9 · 10−2 ± 3 · 10−2 0.1 ± 3 · 10−2 2 · 10−4 ± 3 · 10−4 2 · 10−3 ± 10−3 3 · 10−2 ± 7 · 10−3 4 · 10−2 ± 10−2 5 · 10−7 ± 3 · 10−7 9 · 10−2 ± 3 · 10−2 0.72
0.7 ± 9 · 10−2 0.7 ± 9 · 10−2 0.71
3 · 109 ± 6 · 109 0.7 ± 5 · 10−2 0.6 ± 8 · 10−2 3 · 109 ± 6 · 109 0.7 ± 5 · 10−2 0.6 ± 8 · 10−2 0.81
1.8 ± 2.3 4.4 ± 8.8 8.9 ± 16.9 1.0 ± 0.4 0.7 ± 0.1 1.3 ± 1.0 0.9 ± 0.6 1.2 ± 0.2 2.0 ± 2.0 4.0 ± 2.1 1.0 ± 0.3 0.8 ± 0.2 1.3 ± 0.5 0.8 ± 0.2 4.3 ± 3.4 1.8 ± 2.3 4.4 ± 8.8 8.9 ± 16.9 1.0 ± 0.4 0.7 ± 0.1 1.3 ± 1.0 0.9 ± 0.6 1.2 ± 0.2 2.0 ± 2.0 4.0 ± 2.1 1.0 ± 0.3 0.8 ± 0.2 1.3 ± 0.5 0.8 ± 0.2 4.3 ± 3.4 0.51
0.7 ± 0.1 0.7 ± 0.1 1.0 ± 0.4 0.9 ± 0.4 2.5 ± 1.3 0.9 ± 0.1 0.8 ± 0.1 0.9 ± 0.4 0.9 ± 0.1 1.0 ± 0.2 2.1 ± 1.0 0.7 ± 0.1 0.7 ± 0.1 1.0 ± 0.4 0.9 ± 0.4 2.5 ± 1.3 0.9 ± 0.1 0.8 ± 0.1 0.9 ± 0.4 0.9 ± 0.1 1.0 ± 0.2 2.1 ± 1.0 0.51
0.8 ± 0.2 1.0 ± 0.2 1.6 ± 1.3 11.2 ± 2.6 1.2 ± 0.5 0.8 ± 0.1 0.9 ± 0.1 1.0 ± 0.4 0.8 ± 0.2 11.6 ± 2.8 0.8 ± 0.2 0.7 ± 0.3 0.5 ± 0.2 0.7 ± 0.3 0.8 ± 0.2 1.0 ± 0.2 1.6 ± 1.3 11.2 ± 2.6 1.2 ± 0.5 0.8 ± 0.1 0.9 ± 0.1 1.0 ± 0.4 0.8 ± 0.2 11.6 ± 2.8 0.8 ± 0.2 0.7 ± 0.3 0.5 ± 0.2 0.7 ± 0.3 0.51
0.7 ± 6 · 10−2 0.7 ± 6 · 10−2 0.71
0.8 ± 6 · 10−2 0.7 ± 6 · 10−2 0.9 ± 4 · 10−2 0.8 ± 6 · 10−2 0.7 ± 6 · 10−2 0.9 ± 4 · 10−2 0.67
5 · 107 ± 5 · 107 5 · 107 ± 5 · 107 0.85
英語(論文から抽出)日本語訳スコア
REFERENCES [1] B. Shahriari, K. Swersky, Z. Wang, R. Adams, and N. D. Freitas, “Taking the human out of the loop: A review of Bayesian optimization,” Proceedings of the IEEE, vol. 参考 [1] B. Shahriari, K. Swersky, Z. Wang, R. Adams, N. D. Freitas, “Taking the human out of the loop: A review of Bayesian optimization”, Proceedings of the IEEE, vol。 0.68
104, pp. 148–175, 2016. 104, pp。 148–175, 2016. 0.82
[2] Y. Zhou, Y. Koyama, M. Goto, and T. Igarashi, “Generative melody [2] Y. Zhou, Y. Koyama, M. Goto, T. Igarashi, “Generative melody” 0.96
composition with human-in-the-loop Bayesian optimization,” 2020. 人間によるベイズ最適化による構成”、2020年。 0.59
[3] H. Q. Liang, A. E. Gongora, Z. Ren, Z. Liu, A. Tiihonen, S. Sun, F. Mekki-Berrada, S. A. Khan, D. Bash, K. Hippalgaonkar, J. R. Deneault, B. Maruyama, K. Brown, J. Fisher, and T. Buonassisi, “Benchmarking the performance of Bayesian optimization across multiple experimental materials science domains,” in Advances in Neural Information Processing Systems, 2020. H. Q. Liang, A. E. Gongora, Z. Ren, Z. Liu, A. Tiihonen, S. Sun, F. Mekki-Berrada, S. A. Khan, D. Bash, K. Hippalgaonkar, J. R. Deneault, B. Maruyama, K. Brown, J. Fisher, T. Buonassisi, “複数の実験材料科学分野におけるベイズ最適化のパフォーマンスのベンチマーク化” in Neural Information Processing Systems, 2020. 0.89
[4] M. Fiducioso, S. Curi, B. Schumacher, M. Gwerder, and A. Krause, “Safe contextual Bayesian optimization for sustainable room temperature PID control tuning,” in Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence, IJCAI-19, 7 2019, pp. M. Fiducioso, S. Curi, B. Schumacher, M. Gwerder, and A. Krause, "Safe contextual Bayesian optimization for sustainable room temperature PID control tuning" in Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence, IJCAI-19, 7 2019, pp。 0.87
5850–5856. 5850–5856. 0.71
[Online]. Available: https://doi.org/10.2 4963/ijcai.2019/811 [5] L. Bliek, H. R. G. W. Verstraete, M. Verhaegen, and S. Wahls, “Online optimization with costly and noisy measurements using random Fourier expansions,” IEEE Transactions on Neural Networks and Learning Systems, vol. [オンライン] https://doi.org/10.2 4963/ijcai.2019/811 [5] L. Bliek, H. R. G. W. Verstraete, M. Verhaegen, S. Wahls, “ランダムなフーリエ拡張によるコストとノイズの測定によるオンライン最適化”, IEEE Transactions on Neural Networks and Learning Systems, vol。 0.70
29, no. 1, pp. 167–182, 2018. 29歳。 1、p。 167–182, 2018. 0.66
[6] J. Bergstra, D. Yamins, and D. Cox, “Making a science of model search: Hyperparameter optimization in hundreds of dimensions for vision architectures,” in International conference on machine learning, 2013, pp. J. Bergstra, D. Yamins, D. Cox, “Making a science of model search: Hyperparameter optimization in hundreds dimensions for vision architectures” in International conference on machine learning, pp。
訳抜け防止モード: [6 ]J. Bergstra、D. Yamins、D. Cox 「モデル検索の科学を作る」 2013年,国際機械学習会議において,視覚アーキテクチャの数百次元におけるハイパーパラメータ最適化について報告した。
0.79
115–123. [7] J. Moˇckus, “On Bayesian methods for seeking the extremum,” in Springer, 1975, 115–123. J・モイッカス, 『極端を求めるベイズ的方法について』, 1975年, 春。 0.58
Optimization techniques IFIP technical conference. 最適化技術 ifip技術会議 0.68
pp. 400–404. pp. 400–404. 0.78
[8] F. Hutter, H. H. Hoos, and K. Leyton-Brown, “Sequential modelbased optimization for general algorithm configuration,” in International conference on learning and intelligent optimization. 8] f. hutter, h. h. hoos, k. leyton-brown, “sequential model based optimization for general algorithm configuration” in international conference on learning and intelligent optimization” (英語) 0.89
Springer, 2011, pp. スプリンガー、2011年、p。 0.43
507–523. [9] L. Bliek, S. Verwer, and M. de Weerdt, “Black-box combinatorial optimization using models with integer-valued minima,” Annals of Mathematics and Artificial Intelligence, pp. 507–523. L. Bliek, S. Verwer, and M. de Weerdt, “Black-box combinatorial optimization using model with integer-valued minima”, Anals of Mathematics and Artificial Intelligence, pp。 0.78
1–15, 2020. 1–15, 2020. 0.84
[10] ——, “Black-box mixed-variable optimisation using a surrogate model that satisfies integer constraints,” arXiv preprint arXiv:2006.04508, 2020. arxiv preprint arxiv:2006.04508, 2020” [10]——————“整数制約を満たすサロゲートモデルを用いたブラックボックス混合変数の最適化。 0.69
[11] F. Hutter, H. H. Hoos, and K. Leyton-Brown, “Sequential model-based optimization for general algorithm configuration (extended version),” Technical Report TR-2010–10, University of British Columbia, Computer Science, Tech. F. Hutter, H. H. Hoos, K. Leyton-Brown, “Sequential model-based optimization for general algorithm configuration (extended version)”, Technical Report TR-2010–10, University of British Columbia, Computer Science, Tech。 0.92
Rep., 2010. [12] F. Nogueira, 2010年、退社。 Nogueira (複数形 Nogueiras) 0.57
“Bayesian Optimization: Open source ベイジアン最適化:オープンソース 0.68
constrained [Online]. 制約[オンライン]. 0.68
Available: global optimization tool https://github.com/f mfn/BayesianOptimiza tion 利用可能。 global optimization tool https://github.com/f mfn/BayesianOptimiza tion 0.51
for Python,” 2014–. Pythonについては”2014–”。 0.65
[13] B. Ru, A. Alvi, V. Nguyen, M. A. Osborne, and S. Roberts, “Bayesian inputs,” in optimisation over multiple continuous and categorical Proceedings of the 37th International Conference on Machine Learning, ser. B. Ru, A. Alvi, V. Nguyen, M. A. Osborne, S. Roberts, “Bayesian inputs” in optimization over multiple continuous and categorical Proceedings of the 37th International Conference on Machine Learning, ser。 0.82
Proceedings of Machine Learning Research, H. D. III and A. Singh, Eds., vol. The Proceedings of Machine Learning Research, H. D. III and A. Singh, Eds., vol. 0.96
119. PMLR, 13–18 Jul 2020, pp. 119. PMLR, 13-18 Jul 2020, pp。 0.87
8276–8285. 8276–8285. 0.71
[Online]. Available: http://proceedings.m lr.press/v119/ru20a. html [オンライン] 利用可能: http://proceedings.m lr.press/v119/ru20a. html 0.48
[14] K. van der Blom, T. M. Deist, V. Volz, M. Marchi, Y. Nojima, B. Naujoks, A. Oyama, and T. Tuˇsar, “Identifying properties of real-world optimisation problems through a questionnaire,” arXiv preprint arXiv:2011.05547, 2020. K. van der Blom, T. M. Deist, V. Volz, M. Marchi, Y. Nojima, B. Naujoks, A. Oyama, T. Tusar, “Identification properties of real-world optimization problem through a Question” arXiv preprint arXiv:2011.05547, 2020. 0.90
[Online]. Available: https://arxiv.org/ abs/2011.05547 [オンライン] https://arxiv.org/ abs/2011.05547 0.59
[15] N. Hansen, D. Brockhoff, O. Mersmann, T. Tusar, D. Tusar, O. N. Hansen, D. Brockhoff, O. Mersmann, T. Tusar, D. Tusar, O. Mersmann 0.87
A. ElHara, P. R. Sampaio, A. Atamna, K. Varelas, U. Batu, D. M. Nguyen, F. Matzner, and A. Auger, “COmparing Continuous Optimizers: numbbo/COCO on Github,” Mar. A. ElHara, P. R. Sampaio, A. Atamna, K. Varelas, U. Batu, D. M. Nguyen, F. Matzner, A. Auger, “Comparing Continuous Optimizers: numbbo/COCO on Github”。 0.91
2019. [Online]. 2019. [オンライン] 0.76
Available: https://doi.org/10.5 281/zenodo.2594848 https://doi.org/10.5 281/zenodo.2594848 0.37
[16] P. S. Palar, R. P. Liem, L. R. Zuhal, and K. Shimoyama, “On the use of surrogate models in engineering design optimization and exploration: The key issues,” in Proceedings of the Genetic and Evolutionary Computation Conference Companion, ser. P.S. Palar, R. P. Liem, L. R. Zuhal, K. Shimoyama, “On the use of surrogate model in engineering design optimization and exploration: The key issues” in Proceedings of the Genetic and Evolutionary Computation Conference Companion, ser。 0.83
GECCO ’19. New York, NY, USA: Association for Computing Machinery, 2019, p. 1592–1602. GECCO19。 New York, NY, USA: Association for Computing Machinery, 2019, pp. 1592–1602。 0.76
[Online]. Available: https://doi.org/10.1 145/3319619.3326813 [オンライン] https://doi.org/10.1 145/3319619.3326813 0.51
[17] S. J. Daniels, A. [17] S. J. Daniels, A. 0.98
A. Rahat, R. M. Everson, G. R. Tabor, and J. E. Fieldsend, “A suite of computationally expensive shape optimisation problems using computational fluid dynamics,” in International Conference on Parallel Problem Solving from Nature. A. Rahat, R. M. Everson, G. R. Tabor, J. E. Fieldsend, “A suite of computerly expensive shape optimizationization problem using computer fluid dynamics”. International Conference on Parallel Problem Solving from Nature. (英語) 0.86
Springer, 2018, pp. スプリンガー、2018年、p。 0.40
296–307. [18] V. Volz and B. Naujoks, “On benchmarking surrogate-assisted evothe Genetic and Evolutionary 296–307. V. Volz and B. Naujoks, “On benchmarking surrogate-assisted evothe genetic and Evolutionary. 0.79
lutionary algorithms,” Proceedings of Computation Conference Companion, 2019. utionary algorithms” proceedings of computation conference companion, 2019”. 2019年5月1日閲覧。 0.57
12 [19] A. Tangherloni, S. Spolaor, P. Cazzaniga, D. Besozzi, L. Rundo, G. Mauri, and M. S. Nobile, “Biochemical parameter estimation vs. benchmark functions: A comparative study of optimization performance and representation design,” Appl. 12 [19]A. Tangherloni, S. Spolaor, P. Cazzaniga, D. Besozzi, L. Rundo, G. Mauri, M. S. Nobile, “生化学的パラメータ推定とベンチマーク関数の比較:最適化性能と表現設計の比較研究” Appl. 0.87
Soft Comput., vol. Soft Comput., Vol. 0.82
81, 2019. [20] J. M. Dieterich and B. Hartke, “Empirical review of standard benchmark functions using evolutionary global optimization,” arXiv preprint arXiv:1207.4318, 2012. 81, 2019. J.M. Dieterich, B. Hartke, “Empirical review of standard benchmark function using evolution global optimization” arXiv preprint arXiv:1207.4318, 2012 0.84
[21] C. Doerr, J. Dr´eo, and P. Kerschke, “Making a case for (hyper)parameter tuning as benchmark problems,” Proceedings of the Genetic and Evolutionary Computation Conference Companion, 2019. 21] c. doerr, j. dr ́eo, p. kerschke, “making a case for (hyper)parameter tuning as benchmark problems”. the genetic and evolutionary computation conference companion, 2019.” (英語) 0.87
[22] T. Bartz-Beielstein and M. Zaefferer, “Model-based methods for continuous and discrete global optimization,” Applied Soft Computing, vol. T. Bartz-Beielstein, M. Zaefferer, “Model-based methods for continuous and discrete global optimization”, Applied Soft Computing, vol。 0.82
55, pp. 154–167, 2017. 55, pp。 154–167, 2017. 0.82
[23] S. Wagner and M. Affenzeller, “HeuristicLab: A generic and extensible optimization environment,” in Adaptive and Natural Computing Algorithms, B. Ribeiro, R. F. Albrecht, A. Dobnikar, D. W. Pearson, and N. C. Steele, Eds. 23] s. wagner と m. affenzeller, “heuristiclab: a generic and extensible optimization environment” in adaptive and natural computing algorithms, b. ribeiro, r. f. albrecht, a. dobnikar, d. w. pearson, and n. c. steele, eds. 0.85
Vienna: Springer Vienna, 2005, pp. ウィーン:スプリンガー・ウィーン、2005年、p。 0.74
538–541. [24] J. Humeau, A. Liefooghe, E. Talbi, and S. V´erel, “ParadisEO-MO: from fitness landscape analysis to efficient local search algorithms,” Journal of Heuristics, vol. 538–541. Journal of Heuristics, vol.[24] J. Humeau, A. Liefooghe, E. Talbi, S. V ́erel, “ParadisEO-MO: フィットネスランドスケープ分析から効率的なローカル検索アルゴリズムまで。 0.81
19, pp. 881–915, 2013. pp. 19。 881–915, 2013. 0.81
[25] G. Ochoa, M. Hyde, T. Curtois, J. [25] G. Ochoa, M. Hyde, T. Curtois, J. 0.98
A. Vazquez-Rodriguez, J. Walker, M. Gendreau, G. Kendall, B. McCollum, A. J. Parkes, S. Petrovic et al , “HyFlex: A benchmark framework for cross-domain heuristic search,” in European Conference on Evolutionary Computation in Combinatorial Optimization. A. Vazquez-Rodriguez, J. Walker, M. Gendreau, G. Kendall, B. McCollum, A. J. Parkes, S. Petrovic et al , “HyFlex: A benchmark framework for cross-domain heuristic search” in European Conference on Evolutionary Computation in Combinatorial Optimization” において,氏は次のように述べている。
訳抜け防止モード: A. Vazquez - Rodriguez, J. Walker, M. Gendreau, G. Kendall B. McCollum, A. J. Parkes, S. Petrovic et al. 「HyFlex : クロスドメインヒューリスティック検索のためのベンチマークフレームワーク」 in European Conference on Evolutionary Computation in Combinatorial Optimization
0.90
Springer, 2012, pp. スプリンガー、2012年、p。 0.46
136–147. [26] F. Caraffini and G. Iacca, “The SOS platform: Designing, 136–147. F. Caraffini, G. Iacca, “SOS Platform: Designing, Iacca”[26] F. CaraffiniとG. Iacca 0.67
tuning and statistically benchmarking optimisation algorithms,” Mathematics, vol. 最適化アルゴリズムをチューニングし、統計的にベンチマークする。 0.69
8, no. 5, 2020. 8位はノー。 5, 2020. 0.79
[Online]. Available: https://www.mdpi.com / 2227-7390/8/5/785 [オンライン] https://www.mdpi.com /2227-7390/8/5/785 0.52
[27] C. Doerr, H. Wang, F. Ye, S. van Rijn, and T. B¨ack, “IOHprofiler: A benchmarking and profiling tool for iterative optimization heuristics,” arXiv e-prints:1810.05281, Oct. 2018. C. Doerr氏, H. Wang氏, F. Ye氏, S. van Rijn氏, T. B sack氏, “IOHknownr: A benchmarking and profiling tool for Iterative optimization heuristics”, arXiv e-prints:1810.05281, 2018年10月。
訳抜け防止モード: [27 ]C. Doerr, H. Wang, F. Ye, S. van Rijn, T. B sack, “IOH prominentr : a benchmarking and profiling tools for iterationerative optimization heuristics” arXiv e - prints:1810.05281 , October 2018
0.85
[Online]. Available: https: //arxiv.org/abs/1810 .05281 [オンライン] https: //arxiv.org/abs/1810 .05281 0.56
[28] J. Snoek, H. Larochelle, and R. P. Adams, “Practical Bayesian optimization of machine learning algorithms,” in Advances in neural information processing systems, 2012, pp. [28] j. snoek, h. larochelle, r. p. adams, “practical bayesian optimization of machine learning algorithms” in advances in neural information processing systems, pp. pp. pp. 0.84
2951–2959. 2951–2959. 0.71
[29] J. Liu, Z.-H. Han, and W. Song, “Comparison of infill sampling criteria in kriging-based aerodynamic optimization,” 28th Congress of the International Council of the Aeronautical Sciences 2012, ICAS 2012, vol. 29] j. liu, z.-h. han, and w. song, “comparison of infill sampling criteria in kriging-based aerodynamic optimization”. 28th congress of the international council of the aeronautical sciences 2012 icas 2012 vol. (英語) 0.85
2, pp. 1625–1634, 01 2012. 2、p。 1625–1634, 01 2012. 0.75
[30] P. Gijsbers, E. LeDell, S. Poirier, P. Gijsbers, E. LeDell, S. Poirier, 0.74
J. Thomas, B. Bischl, and J. Vanschoren, “An open source AutoML benchmark,” arXiv preprint arXiv:1907.00909 [cs.LG], 2019, accepted at AutoML Workshop at ICML 2019. J. Thomas, B. Bischl, J. Vanschoren, “An open source AutoML benchmark” arXiv preprint arXiv:1907.00909 [cs.LG], 2019はICML 2019でAutoML Workshopで受け入れられた。 0.93
[Online]. Available: https://arxiv.org/ab s/1907.00909 [オンライン] https://arxiv.org/ab s/1907.00909 0.55
[31] C. Ying, A. Klein, E. Real, E. Christiansen, K. Murphy, and F. Hutter, “NAS-Bench-101: Towards reproducible neural architecture search,” in ICML, 2019. C. Ying, A. Klein, E. Real, E. Christiansen, K. Murphy, and F. Hutter, “NAS-Bench-101: towardss reproducible neural architecture search”, ICML, 2019. C. Ying, A. Klein, E. Real 0.75
[32] X. Dong and Y. Yang, “NAS-Bench-201: Extending the scope of reproducible neural architecture search,” ArXiv, vol. [32] X. Dong and Y. Yang, “NAS-Bench-201: Extending the scope of reproducible Neural Architecture search, ArXiv, vol。 0.91
abs/2001.00326, 2020. abs/2001.00326, 2020 0.69
[33] J. N. Siems, L. Zimmer, A. Zela, J. Lukasik, M. Keuper, and F. Hutter, “NAS-Bench-301 and the case for surrogate benchmarks for neural architecture search,” ArXiv, vol. J.N. Siems, L. Zimmer, A. Zela, J. Lukasik, M. Keuper, F. Hutter, “NAS-Bench-301 and the case for surrogate benchmarks for neural architecture search”, ArXiv, vol. 0.95
abs/2008.09777, 2020. Abs/2008.09777, 2020 0.66
[34] V. Volz, B. Naujoks, P. Kerschke, and T. Tusar, “Single- and multiobjective game-benchmark for evolutionary algorithms,” Proceedings of the Genetic and Evolutionary Computation Conference, 2019. V. Volz, B. Naujoks, P. Kerschke, T. Tusar, “Single- and multiobjective game-benchmark for Evolution algorithm”. Proceedings of the Genetic and Evolutionary Computation Conference, 2019. 0.85
[35] S. J. Daniels, A. [35] S. J. Daniels, A. 0.98
A. M. Rahat, R. Everson, G. R. Tabor, and J. Fieldsend, “A suite of computationally expensive shape optimisation problems using computational fluid dynamics,” in PPSN, 2018. A. M. Rahat, R. Everson, G. R. Tabor, J. Fieldsend, “A suite of computerly expensive shape optimizationization problem using computer fluid dynamics” in PPSN, 2018. 0.84
[36] J. Rapin and O. Teytaud, “Nevergrad - A gradient-free optimization [36] J. Rapin と O. Teytaud, “Nevergrad - A gradient-free optimization 0.94
platform,” https://GitHub.com/F acebookResearch/Neve rgrad, 2018. https://GitHub.com/F acebookResearch/Neve rgrad, 2018。 0.64
[37] S. Falkner, A. Klein, and F. Hutter, “BOHB: Robust and efficient hyperparameter optimization at scale,” in Proceedings of the 35th International Conference on Machine Learning, 2018, pp. 937] S. Falkner, A. Klein, F. Hutter, “BOHB: Robust and efficient hyperparameter optimization at scale” in Proceedings of the 35th International Conference on Machine Learning, 2018, pp。 0.80
1436–1445. 1436–1445. 0.71
[38] Z. hua Han, S. G¨ortz, and R. Zimmermann, “Improving variable-fidelity surrogate modeling via gradient-enhanced kriging and a generalized hybrid bridge function,” Aerospace Science and Technology, vol. [38] Z. hua Han, S. G sortz, R. Zimmermann, “inmproving variable-fidelity surrogate modeling through gradient-enhanced kriging and a generalized hybrid bridge function”, Aerospace Science and Technology, vol。 0.94
25, pp. 177–189, 2013. 25、p。 177–189, 2013. 0.75
[39] M. A. Bouhlel, J. T. Hwang, N. Bartoli, R. Lafage, J. Morlier, and J. R. R. A. Martins, “A Python surrogate modeling framework with derivatives,” Advances in Engineering Software, p. 102662, 2019. 39] M. A. Bouhlel, J. T. Hwang, N. Bartoli, R. Lafage, J. Morlier, J. R. R. A. Martins, “A Python surrogate modeling framework with derivatives”, Advances in Engineering Software, pp. 102662, 2019。 0.96
[40] D. Gorissen, I. Couckuyt, P. Demeester, T. Dhaene, and K. Crombecq, “A surrogate modeling and adaptive sampling toolbox for computer based design,” J. Mach. J. Mach.[40] D. Gorissen, I. Couckuyt, P. Demeester, T. Dhaene, K. Crombecq, “コンピュータベース設計のための代理モデリングと適応サンプリングツールボックス”。 0.91
Learn. Res., vol. 学ぶ。 res. (複数形 res.) 0.46
11, pp. 2051–2055, 2010. 11、p。 2051–2055, 2010. 0.74
[41] T. Pourmohamad, “CompModels: A suite of computer model functions for Bayesian optimization,” arXiv: Computation, 2020. 1.[41] T. Pourmohamad, “CompModels: A suite of computer model function for Bayesian optimization” arXiv: Computation, 2020。 0.82
test テスト 0.77
英語(論文から抽出)日本語訳スコア
13 [42] T. Eimer, A. Biedenkapp, M. Reimer, S. Adriaensen, F. Hutter, and M. Lindauer, “Dacbench: A benchmark library for dynamic algorithm configuration,” in Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence (IJCAI’21). 13 T. Eimer, A. Biedenkapp, M. Reimer, S. Adriaensen, F. Hutter, M. Lindauer, “Dacbench: A benchmark library for dynamic algorithm configuration” in Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence (IJCAI’21)。 0.83
ijcai.org, Aug. 2021. ijcai.org, 2021年8月。 0.63
[43] A. Costa and G. Nannicini, “RBFOpt: an open-source library for black-box optimization with costly function evaluations,” Mathematical Programming Computation, vol. [43] a. costa と g. nannicini は "rbfopt: a open-source library for black-box optimization with costly function evaluations", mathematical programming computation, vol。 0.89
10, pp. 597–629, 2018. 10, pp。 597–629, 2018. 0.82
[44] K. Eggensperger, M. Feurer, A. Klein, and S. Falkner, “HPObench,” 44] K. Eggensperger, M. Feurer, A. Klein, S. Falkner, “HPObench”。 0.85
https://github.com/a utoml/HPOBench, 2016. https://github.com/a utoml/HPOBench, 2016 0.56
[45] R. Turner and D. Eriksson, “BayesMark,” https://github.com/u ber/ [45] R. Turner と D. Eriksson, “BayesMark, https://github.com/u ber/ 0.79
“MATSuMoTo,” 『MATSuMoTo』 0.52
https://github.com/P iiloblondie/ https://github.com/P iiloblondie/ 0.43
bayesmark, 2018. 2018年、ベイズマーク。 0.54
[46] J. Mueller, 46] J。 Mueller 0.54
MATSuMoTo, 2014. MATSuMoTo 2014年。 0.80
[47] M. Lindauer, “AClib2,” https://bitbucket.or g/mlindauer/aclib2, 2016. 関連スポンサーコンテンツ [47] m. lindauer, “aclib2” https://bitbucket.or g/mlindauer/aclib2, 2016] 0.51
[48] D. Eriksson, D. Bindel, and C. A. Shoemaker, “pySOT and POAP: An event-driven asynchronous framework for surrogate optimization,” arXiv preprint arXiv:1908.00420, 2019. [48] D. Eriksson, D. Bindel, C. A. Shoemaker, “pySOT and POAP: an event-driven asynchronous framework for surrogate optimization” arXiv preprint arXiv:1908.00420, 2019。 0.94
[49] NREL, “FLORIS. [49]NREL, “FLORIS。 0.76
Version 2.1.1,” 2020. バージョン2.1、2020年。 0.71
[Online]. Available: https: [オンライン] 利用可能: https: 0.79
//github.com/NREL/floris github.com/nrel/flor is 0.25
[50] C. Verbeeck, P. Vansteenwegen, and E.-H. Aghezzaf, “Solving the stochastic time-dependent orienteering problem with time windows,” European Journal of Operational Research, vol. European Journal of Operational Research, vol.[50] C. Verbeeck, P. Vansteenwegen, E.-H. Aghezzaf, “Solving the stochastic time-dependent Orienteering problem with Time window.”[50] C. Verbeeck, P. Vansteenwegen, E.-H. Aghezzaf。
訳抜け防止モード: [50 ]C. Verbeeck, P. Vansteenwegen, E.-H. Aghezzaf 「確率的時間 - 時間窓による依存オリエンテーリング問題」 European Journal of Operational Research, vol. (英語)
0.77
255, no. 3, pp. 255年だ 3、p。 0.53
699–718, 2016. 699–718, 2016. 0.84
[Online]. Available: https://lirias.kuleu ven.be/retrieve/3971 54 [オンライン] https://lirias.kuleu ven.be/retrieve/3971 54 0.55
[51] R. D. Pasquale and J. Marenco, “Machine learning for improving performance in an evolutionary algorithm for minimum path with uncertain costs given by massively simulated scenarios,” ArXiv, vol. axiv, vol. “[51] r. d. pasqualeとj. marencoの両氏は,“極めてシミュレートされたシナリオによる不確定なコストで,最小限のパスで進化アルゴリズムのパフォーマンスを改善するためのマシンラーニング”。
訳抜け防止モード: 51 ] R.D. Pasquale と J. Marenco は,“大規模なシミュレーションシナリオによって与えられる不確実なコストで最小経路の進化的アルゴリズムのパフォーマンスを改善する機械学習” である。 ArXiv, vol。
0.80
abs/2102.01830, 2021. Abs/2102.01830 2021 0.73
[52] F. Rehbach, M. Zaefferer, J. Stork, and T. Bartz-Beielstein, “Comparison of parallel surrogate-assisted optimization approaches,” in Proceedings of the Genetic and Evolutionary Computation Conference, 2018, pp. a b [52] f. rehbach, m. zaefferer, j. stork, t. bartz-beielstein, “comparison of parallel surrogate-assisted optimization approach” in proceedings of the genetic and evolutionary computation conference, 2018, pp. (英語)
訳抜け防止モード: 52 ] F. Rehbach, M. Zaefferer, J. Stork, T. Bartz - Beielstein, “並列サロゲートの比較 - Assisted optimization approach”。 in Proceedings of the Genetic and Evolutionary Computation Conference, 2018,pp。
0.91
1348–1355. 1348–1355. 0.71
[53] T. Chen and C. Guestrin, “XGBoost: A scalable tree boosting system,” 53]T. Chen, C. Guestrin, “XGBoost: a scalable tree boosting system” 0.80
in ACM SIGKDD, 2016, pp. ACM SIGKDD, 2016, pp。 0.65
785–794. [54] J. Bergstra and Y. Bengio, “Random search for hyper-parameter opti- 785–794. J. Bergstra and Y. Bengio, “Random search for hyper-parameter opti” 0.78
mization,” J. Mach. Learn. とJ. Mach。 学ぶ。 0.58
Res., vol. res. (複数形 res.) 0.27
13, pp. 281–305, 2012. 13、p。 281–305, 2012. 0.73
[55] K. Smith-Miles, D. Baatar, B. Wreford, and R. Lewis, “Towards objective measures of algorithm performance across instance space,” Computers & Operations Research, vol. [55] k. smith-miles, d. baatar, b. wreford, r. lewis, “towards objective measures of algorithm performance across instance space”, computers & operations research, vol. (英語) 0.86
45, pp. 12–24, 2014. 45, pp。 12–24, 2014. 0.82
[Online]. Available: https://www.scienced irect.com/science/ar ticle/pii/ S0305054813003389 [オンライン] https://www.scienced irect.com/science/ar ticle/pii/s030505430 03389 0.52
[56] S. Thrun and L. Pratt, Learning to Learn: Introduction and Overview. 56] S. Thrun と L. Pratt, Learning to Learn: Introduction and Overview。 0.84
[Online]. Available: [オンライン] 利用可能。 0.58
Boston, MA: Springer US, 1998, pp. Boston, MA: Springer US, 1998, pp. 0.85
3–17. https://doi.org/10.1 007/978-1-4615-5529- 2 1 3–17. https://doi.org/10.1 007/978-1-4615-5529- 2 1 0.48
[57] R. Karlsson, L. Bliek, S. Verwer, and M. de Weerdt, “Continuous surrogate-based optimization algorithms are well-suited for expensive discrete problems,” in Proceedings of the Benelux Conference on Artificial Intelligence, 2020, pp. R. Karlsson, L. Bliek, S. Verwer, and M. de Weerdt, “Continuous surrogate-based optimization algorithm are well fited for expensive disk problem” in Proceedings of the Benelux Conference on Artificial Intelligence, 2020, pp. 0.83
88–102. [58] F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O. Grisel, M. Blondel, P. Prettenhofer, R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau, M. Brucher, M. Perrot, and E. Duchesnay, “Scikit-learn: Machine learning in Python,” Journal of Machine Learning Research, vol. 88–102. F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O. Grisel, M. Blondel, P. Prettenhofer, R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau, M. Brucher, M. Perrot, E. Duchesnay, “Scikit-learn: Machine Learning in Python”, Journal of Machine Learning Research, vol. 0.84
12, pp. 2825–2830, 2011. 12、p。 2825–2830, 2011. 0.75
                           ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。