論文の概要、ライセンス

# (参考訳) ハイブリッド空間上のベイズ最適化 [全文訳有]

Bayesian Optimization over Hybrid Spaces ( http://arxiv.org/abs/2106.04682v1 )

ライセンス: CC BY 4.0
Aryan Deshwal, Syrine Belakaria, Janardhan Rao Doppa(参考訳) 高価なブラックボックス関数評価によるハイブリッド構造(離散および連続入力変数の混合)の最適化の問題を考える。 この問題は現実世界の多くのアプリケーションで発生します。 例えば、実験室による材料設計最適化では、離散変数と連続変数はそれぞれ原始元素の存在/存在とその相対濃度に対応する。 鍵となる課題は、離散変数と連続変数の複雑な相互作用を正確にモデル化することだ。 本稿では,連続変数および離散変数上で自然に定義される拡散核を用いて,ハイブリッドベイズ最適化(hybo)と呼ばれる新しい手法を提案する。 我々は,すべての順序の加法的相互作用を扱いやすい方法で許容する加法的カーネル定式化を利用して,ハイブリッド空間上の拡散核を構築するための原理的アプローチを開発した。 我々は, 加法ハイブリッドカーネルのモデリング強度を理論的に解析し, 普遍近似特性を持つことを示す。 人工的および6つの多種多様な実世界のベンチマーク実験により,HyBOは最先端の手法よりも優れていることが示された。

We consider the problem of optimizing hybrid structures (mixture of discrete and continuous input variables) via expensive black-box function evaluations. This problem arises in many real-world applications. For example, in materials design optimization via lab experiments, discrete and continuous variables correspond to the presence/absence of primitive elements and their relative concentrations respectively. The key challenge is to accurately model the complex interactions between discrete and continuous variables. In this paper, we propose a novel approach referred as Hybrid Bayesian Optimization (HyBO) by utilizing diffusion kernels, which are naturally defined over continuous and discrete variables. We develop a principled approach for constructing diffusion kernels over hybrid spaces by utilizing the additive kernel formulation, which allows additive interactions of all orders in a tractable manner. We theoretically analyze the modeling strength of additive hybrid kernels and prove that it has the universal approximation property. Our experiments on synthetic and six diverse real-world benchmarks show that HyBO significantly outperforms the state-of-the-art methods.
公開日: Tue, 8 Jun 2021 20:47:21 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
Bayesian Optimization over Hybrid Spaces ハイブリッド空間上のベイズ最適化 0.75
Aryan Deshwal 1 Syrine Belakaria 1 Janardhan Rao Doppa 1 Aryan Deshwal 1 Syrine Belakaria 1 Janardhan Rao Doppa 1 0.85
1 2 0 2 n u J 1 2 0 2 n u J 0.85
8 ] G L . 8 ] G L。 0.81
s c [ 1 v 2 8 6 4 0 sc [ 1 v 2 8 6 4 0 0.68
. 6 0 1 2 : v i X r a . 6 0 1 2 : v i X r a 0.85
Abstract We consider the problem of optimizing hybrid structures (mixture of discrete and continuous input variables) via expensive black-box function evaluations. 概要 高価なブラックボックス関数評価によるハイブリッド構造(離散および連続入力変数の混合)の最適化の問題を考える。 0.64
This problem arises in many realworld applications. この問題は現実世界の多くの応用で発生する。 0.61
For example, in materials design optimization via lab experiments, discrete and continuous variables correspond to the presence/absence of primitive elements and their relative concentrations respectively. 例えば、実験室による材料設計最適化では、離散変数と連続変数はそれぞれ原始元素の存在/存在とその相対濃度に対応する。 0.79
The key challenge is to accurately model the complex interactions between discrete and continuous variables. 鍵となる課題は、離散変数と連続変数の複雑な相互作用を正確にモデル化することだ。
訳抜け防止モード: 鍵となる課題は 離散変数と連続変数との複雑な相互作用を正確にモデル化する。
0.69
In this paper, we propose a novel approach referred as Hybrid Bayesian Optimization (HyBO) by utilizing diffusion kernels, which are naturally defined over continuous and discrete variables. 本稿では,連続変数および離散変数上で自然に定義される拡散核を用いて,ハイブリッドベイズ最適化(hybo)と呼ばれる新しい手法を提案する。 0.86
We develop a principled approach for constructing diffusion kernels over hybrid spaces by utilizing the additive kernel formulation, which allows additive interactions of all orders in a tractable manner. 我々は,すべての順序の加法的相互作用を扱いやすい方法で許容する加法的カーネル定式化を利用して,ハイブリッド空間上の拡散核を構築するための原理的アプローチを開発した。 0.66
We theoretically analyze the modeling strength of additive hybrid kernels and prove that it has the universal approximation property. 我々は, 加法ハイブリッドカーネルのモデリング強度を理論的に解析し, 普遍近似特性を持つことを示す。 0.77
Our experiments on synthetic and six diverse realworld benchmarks show that HyBO significantly outperforms the state-of-the-art methods. 人工的および多種多様な実世界のベンチマーク実験の結果,hyboは最先端の手法を著しく上回っていることがわかった。
訳抜け防止モード: 合成と6種類の実世界のベンチマーク実験は hybo は state - of - the - art methods を大きく上回っている。
0.56
1. Introduction A large number of science and engineering applications involve optimizing hybrid spaces (mixture of discrete and continuous input variables) guided by expensive black-box function evaluations. 1. 導入 多くの科学技術応用は、高価なブラックボックス関数評価によって導かれるハイブリッド空間(離散および連続的な入力変数の混合)の最適化を含む。 0.80
For example, in materials design optimization, discrete variables correspond to the presence/absence of primitive elements and continuous variables correspond to their relative concentrations, and evaluation of each design involves performing an expensive physical lab experiment. 例えば、材料設計最適化において、離散変数は原始的要素の存在/存在に対応し、連続変数は相対濃度に対応し、それぞれの設計の評価は高価な物理実験を行う。 0.82
A popular and effective framework for optimizing expensive black-box functions is Bayesian optimization (BO) (Shahriari et al , 2016; Frazier, 2018; Greenhill et al , 2020; 高価なブラックボックス関数を最適化するための一般的な効果的なフレームワークは、Bayesian Optimization (BO) (Shahriari et al , 2016; Frazier, 2018; Greenhill et al , 2020; である。 0.76
1School of EECS, Washington State University, Pullman, USA. 1School of EECS, Washington State University, Pullman, USA 0.80
Correspondence to: Aryan Deshwal <aryan.deshwal@wsu.ed u>. Aryan Deshwal <aryan.deshwal@wsu.ed u> 0.65
Proceedings of the 38 th International Conference on Machine Learning, PMLR 139, 2021. 第38回機械学習国際会議(PMLR 139, 2021)の開催報告 0.68
Copyright 2021 by the author(s). 著作者による著作権2021。 0.53
Belakaria et al , 2019; Zhou et al , 2020; Belakaria et al , 2020e;c;a;f). Belakaria et al , 2019; Zhou et al , 2020; Belakaria et al , 2020e;c;a;f)。 0.85
The key idea behind BO is to learn a surrogate statistical model and intelligently select the sequence of inputs for evaluation to approximately optimize the unknown objective. boの背後にある重要なアイデアは、サロゲート統計モデルを学び、未知の目的を最適化するために評価のための入力列をインテリジェントに選択することである。
訳抜け防止モード: BOの背後にある重要なアイデアは、代理統計モデルを学ぶことである 評価のための入力のシーケンスを知的に選択し 未知の目的を ほぼ最適化することです
0.69
Gaussian process (GP) (Rasmussen & Williams, 2006) is the most popular choice for learning statistical models. ガウス過程(GP)(Rasmussen & Williams, 2006)は統計モデルを学ぶための最も一般的な選択である。 0.86
GPs allow to incorporate domain knowledge about the problem in the form of a kernel over the input space and provide good uncertainty quantification. GPは入力空間上のカーネルの形で問題に関するドメイン知識を組み込むことができ、良好な不確実性定量化を提供する。 0.73
GPs have been successfully applied for both continuous (Shahriari et al , 2016; Belakaria et al , 2020b;d) and discrete spaces (Oh et al , 2019; Deshwal et al , 2021; Roustant et al , 2020). GPは連続(Shahriari et al , 2016; Belakaria et al , 2020b;d)と離散空間(Oh et al , 2019; Deshwal et al , 2021; Roustant et al , 2020)の両方にうまく適用されている。 0.86
However, as we discuss in the related work section, there is very limited work on BO methods to optimize hybrid spaces (Hutter et al , 2010; 2011; Bergstra et al , 2011; Daxberger et al , 2020; Ru et al , 2020). しかしながら、関連する作業セクションで論じているように、ハイブリッド空間を最適化するためのboメソッドの作業は非常に限られている(hutter et al , 2010; 2011; bergstra et al , 2011; daxberger et al , 2020; ru et al , 2020)。 0.85
Most of them employ nonGP based surrogate models as it is challenging to define a generic kernel over hybrid spaces that can account for complex interactions between variables. それらの多くは、変数間の複雑な相互作用を説明できるハイブリッド空間上のジェネリックカーネルを定義することが難しいため、非GPベースの代理モデルを採用している。 0.64
To precisely fill this gap in our knowledge, we propose a novel approch referred as Hybrid Bayesian Optimization (HyBO). このギャップを正確に埋めるために,Hybrid Bayesian Optimization (HyBO) と呼ばれる新しい手法を提案する。
訳抜け防止モード: この知識のギャップを 正確に満たすためです 本稿では,ハイブリッドベイズ最適化(hybo)と呼ばれる新しいアプローチを提案する。
0.75
HyBO builds GP based surrogate models using diffusion kernels, which are naturally defined over continuous (Kondor & Vert, 2004) and discrete spaces (Kondor & Lafferty, 2002). HyBOは拡散カーネルを用いてGPベースの代理モデルを構築し、これは連続(Kondor & Vert, 2004)と離散空間(Kondor & Lafferty, 2002)上で自然に定義される。 0.76
We develop a principled approach to construct diffusion kernels over hybrid spaces. ハイブリッド空間上に拡散カーネルを構築するための原理的アプローチを開発する。 0.69
This approach employs the general formulation of additive Gaussian process kernels (Duvenaud et al , 2011) to define additive hybrid diffusion kernels. このアプローチでは、加法混合拡散核を定義するために、加法ガウス過程核(duvenaud et al , 2011)の一般定式化を用いる。 0.66
The key idea is to assign a base kernel for each discrete/continuous variable and construct an overall kernel by summing over all possible orders of interaction between these kernels. 鍵となる考え方は、各離散/連続変数に基底カーネルを割り当て、これらのカーネル間の相互作用の全ての順序を和らげることで全体カーネルを構築することである。 0.66
This construction procedure has two advantages: 1) Allows to leverage existing kernels for continuous and discrete spaces; and 2) Can automatically identify the strength of different orders of interaction in a data-driven manner for a given application. この構築手順には2つの利点がある: 1) 既存のカーネルを連続的および離散的空間に活用すること、2) 与えられたアプリケーションに対してデータ駆動方式で異なる相互作用の順序の強さを自動的に識別できること。 0.72
. A key question about the modeling strength of this hybrid diffusion kernel is whether given sufficient data, can it approximate any black-box function defined over hybrid spaces. . このハイブリッド拡散核のモデリング強度に関する重要な問題は、十分なデータが与えられた場合、ハイブリッド空間上で定義されたブラックボックス関数を近似できるかどうかである。 0.75
This question has been studied in the past in terms of a property called universality of a kernel (Steinwart, 2001; Micchelli et al , 2006; Sriperumbudur et al , 2011; Mania et al , 2018). この問題は過去にカーネルの普遍性と呼ばれる性質について研究されてきた(Steinwart, 2001; Micchelli et al , 2006; Sriperumbudur et al , 2011; Mania et al , 2018)。 0.84
We prove that the proposed hybrid diffusion kernel has universal approximation property by composing 提案したハイブリッド拡散核は合成による普遍近似特性を持つことを示す。 0.67
英語(論文から抽出)日本語訳スコア
Bayesian Optimization over Hybrid Spaces ハイブリッド空間上のベイズ最適化 0.75
a known result for continuous diffusion kernels with a novel result for discrete diffusion kernels. 連続拡散核の既知の結果であり、離散拡散核の新しい結果である。 0.75
Our theoretical results have broader significance going beyond the BO literature. 我々の理論的結果はBO文学を超えて大きな意味を持っている。 0.58
Our experiments on diverse synthetic benchmarks and realworld applications show that HyBO performs significantly better than state-of-the-art methods. 多様な総合ベンチマークと実世界の応用実験により,HyBOは最先端の手法よりも優れた性能を示した。 0.53
We also empirically demonstrate that superiority of HyBO’s performance is due to better surrogate model resulting from the proposed additive hybrid diffusion kernel. また,hyboの性能の優位性は,提案するハイブリッド拡散核によるサロゲートモデルの改善によるものであることを実証的に証明した。 0.72
Contributions. The key contribution of this paper is the development and evaluation of the HyBO approach to perform BO over hybrid spaces. 貢献。 本稿では,ハイブリッド空間上でBOを実行するHyBO手法の開発と評価について述べる。
訳抜け防止モード: 貢献。 この論文の重要な貢献はHyBOアプローチの開発と評価である。 ハイブリッド空間上でBOを実行する。
0.69
Specific list includes: 具体的リストには以下のものがある。 0.33
• Development of a principled approach to construct additive diffusion kernels over hybrid spaces for building GP based surrogate statistical models. •gpに基づく統計モデル構築のためのハイブリッド空間上の加法拡散核構築のための原理的手法の開発 0.83
• Theoretical analysis to prove that additive hybrid diffusion kernel has the universal approximation property. • 加法的ハイブリッド拡散核が普遍近似特性を持つことを示す理論的解析。 0.86
• Experiments on synthetic and real-world benchmarks to show that HyBO significantly improves over stateof-the-art methods. •HyBOが最先端の手法よりも大幅に改善されていることを示すための,合成および実世界のベンチマーク実験。 0.51
The code and data are available on the GitHub repository https://github.com/ aryandeshwal/HyBO. コードとデータはgithubリポジトリのhttps://github.com/ aryandeshwal/hyboで入手できる。 0.67
2. Problem Setup and Hybrid Bayesian 2. 問題設定とハイブリッドベイズ 0.78
Optimization Approach Problem Setup. 最適化アプローチ 問題設定。 0.75
Let X be a hybrid space to be optimized over, where each element x ∈ X is a hybrid structure. x を最適化するハイブリッド空間とし、各元 x ∈ x をハイブリッド構造とする。
訳抜け防止モード: X をハイブリッド空間とする 各元 x ∈ X がハイブリッド構造となるように最適化する。
0.72
Without loss of generality, let each hybrid structure x = (xd ∈ Xd, xc ∈ Xc) ∈ X be represented using m discrete variables and n continuous variables, where xd and xc stands for the discrete and continuous sub-space of X . 一般性を失うことなく、各ハイブリッド構造 x = (xd ∈ xd, xc ∈ xc) ∈ x を m 個の離散変数と n 個の連続変数を用いて表現し、xd と xc は x の離散部分空間および連続部分空間を表す。 0.82
Let each discrete variable vd from xd take candidate values from a set C(vd) and each continuous variable vc from xc take values from a compact subset of R. In parts of the ML literature, a distinction is made between categorical and discrete variables based on their values: categorical refers to an unordered set (e g , different types of optimizers for neural network training) and discrete refers to an ordered set ( e g , number of layers in a neural network). MLの文献の一部では、その値に基づいてカテゴリ変数と離散変数を区別している: カテゴリー変数は未順序集合(例えば、ニューラルネットワークトレーニングのための異なるタイプのオプティマイザ)を指し、離散変数は順序集合(例えば、ニューラルネットワーク内のレイヤーの数)を参照する。
訳抜け防止モード: xd から各離散変数 vd が集合 c(vd ) から候補値を取るようにする。 そして、xc の連続変数 vc は、ml 文献の一部において r のコンパクト部分集合から値を取る。 その値に基づいてカテゴリー変数と離散変数を区別する 分類学は、無順序集合(ニューラルネットワーク訓練のための異なるタイプの最適化器など)を指す。 そして離散は順序セット(ニューラルネットワークのレイヤ数など)を指します。
0.71
We do not make such distinction because our HyBO approach works for both cases. HyBOアプローチは両方のケースで機能するため、そのような区別はしません。 0.66
Concretely, by our definition, a categorical variable is also a discrete variable, i.e., C(vd) is just the no. 具体的には、我々の定義によれば、圏変数も離散変数、すなわち C(vd) はただの n である。 0.72
of candidate values for categorical variable vd. カテゴリー変数 vd の候補値です 0.58
We are given a space of hybrid structures X . ハイブリッド構造 X の空間が与えられる。 0.63
We assume an unknown, expensive real-valued objective function F : X (cid:55)→ R, which can evaluate each hybrid structure x (also called an experiment) and produces an output y = F(x). 未知で高価な実数値を持つ対象関数 F : X (cid:55) → R を仮定し、各ハイブリッド構造 x(実験とも呼ばれる)を評価し、出力 y = F(x) を生成する。 0.85
For example, in highentropy alloys optimization application, xd corresponds to the presence/absence of metals and xc corresponds to their relative concentrations, and F(x) corresponds to running a physical lab experiment using additive manufacturing tech- 例えば、高エントロピー合金の最適化アプリケーションでは、xd は金属の存在/吸収に対応し、xc は相対濃度に対応し、f(x) は添加物製造技術を用いた物理実験の実施に対応する。 0.71
niques. The main goal is to find a hybrid structure x ∈ X that approximately optimizes F by conducting a limited number of evaluations and observing their outcomes. ニケス 主な目的は、有限個の評価を行い、その結果を観察することによって、Fを近似的に最適化するハイブリッド構造 x ∈ X を見つけることである。 0.54
Bayesian Optimization Framework. ベイズ最適化フレームワーク。 0.72
BO is a very efficient framework to solve global optimization problems using black-box evaluations of expensive objective functions (Shahriari et al , 2016). BOは、高価な目的関数のブラックボックス評価(Shahriari et al , 2016)を用いて、グローバル最適化問題を解決するための非常に効率的なフレームワークである。 0.64
BO algorithms intelligently select the next input for evaluation guided by a learned statistical model to quickly direct the search towards optimal inputs. BOアルゴリズムは、学習統計モデルによって導かれる評価のための次の入力をインテリジェントに選択し、探索を最適な入力へ素早く誘導する。
訳抜け防止モード: BOアルゴリズムは学習統計モデルにより導かれる評価のための次の入力を知的に選択する 検索を迅速に最適な入力に向けます
0.81
The three key elements of BO framework are: 1) Statistical model of the true function F(x). BOフレームワークの3つの重要な要素は次の通りである: 1) 真の関数 F(x) の統計モデル。 0.81
Gaussian Process (GP) (Rasmussen & Williams, 2006) is the most popular choice for statistical model. ガウス過程 (GP) (Rasmussen & Williams, 2006) は統計モデルにおいて最も一般的な選択である。 0.86
GPs allows to incorporate domain knowledge by defining an appropriate kernel over the input space and have better uncertainty quantification ability. GPは入力空間上の適切なカーネルを定義することによってドメイン知識を組み込むことができ、不確実性定量化能力が向上する。 0.60
A GP over a space X is a random process from X to R. It is characterized by a mean function µ : X (cid:55)→ R and a covariance or kernel function k : X × X (cid:55)→ R. 2) Acquisition function (AF) to score the utility of evaluating a candidate input x ∈ X based on the statistical model M. Expected improvement (EI) (Mockus et al , 1978) is a prototypical acquisition function. 平均関数 μ : X (cid:55) → R と共分散あるいは核関数 k : X × X (cid:55) → R. 2) 取得関数 (AF) は、統計モデル M に基づいて候補入力 x ∈ X を評価することができる。 0.45
3) Optimization procedure to select the best scoring candidate input for evaluation according to AF. 3) 評価のためのベストスコア候補入力を選択する最適化手順。
訳抜け防止モード: 3)最適化手順 AFに応じて評価のためのベストスコア候補入力を選択する。
0.87
Algorithm 1 HyBO Approach Input: X = Hybrid input space, K(x, x(cid:48)) = Kernel over hybrid structures, AF(M, x) = Acquisition function parametrized by model M and input x, F(x) = expensive objective function Output: ˆxbest, the best structure 1: Initialize D0 ← initial training data; and t ← 0 2: repeat 3: 4: アルゴリズム 1 hybo アプローチ入力: x = hybrid input space, k(x, x(cid:48)) = kernel over hybrid structure, af(m, x) = acquisition function parametrized by model m and input x, f(x) = expensive objective function output: ...xbest, the best structure 1: initialize d0, x(cid:48) = initial training data; and t s 0 2: repeat 3: 4: 0.90
Learn statistical model: Mt ← GP-LEARN(Dt, K) Compute the next structure to evaluate: xt+1 ← arg maxx∈X AF(Mt, x) 統計モデルを学ぶ: mt s gp-learn(dt, k) 次の構造を計算して評価する。 0.47
xc ← Optimize continuous subspace conditioned on assignment to discrete variables xd xd ← Optimize discrete subspace conditioned on assignment to continuous variables xc 離散変数 xd xd に代入された連続部分空間を最適化し、連続変数 xc に代入された離散部分空間を最適化する。 0.59
5: 6: Evaluate objective function F(x) at xt+1 to get yt+1 Aggregate the data: Dt+1 ← Dt ∪ {(xt+1, yt+1)} t ← t + 1 5: 6: xt+1 における目的関数 F(x) を評価して yt+1 を得る データを集約する。
訳抜け防止モード: 5: 6: 目的関数 f(x ) を xt+1 で評価し、データを yt+1 に集約する。 yt+1 ) } t = t + 1 である。
0.85
7: 8: 9: 10: until convergence or maximum iterations 11: ˆxbest ← arg maxxt∈D yt 12: return the best uncovered hybrid structure ˆxbest 7: 8: 9: 10: 収束か最大反復までの11: arg maxxt~D yt 12: 最高の未発見ハイブリッド構造を返します。 0.80
Hybrid Bayesian Optimization Approach. ハイブリッドベイズ最適化アプローチ。 0.80
Our HyBO approach is an instantiation of the generic BO framework by instantiating the statistical model and acquisition function optimization procedure for hybrid spaces (see Algorithm 1). 我々のHyBOアプローチは、ハイブリッド空間の統計モデルと取得関数最適化手順をインスタンス化し、汎用BOフレームワークのインスタンス化である(アルゴリズム1)。 0.81
Statistical model over hybrid structures. ハイブリッド構造上の統計モデル。 0.82
We employ GPs to build statistical models. gpsを使って統計モデルを作ります 0.54
To accurately model the complex interactions between discrete and continuous variables, we invoke a principled approach to automatically construct additive diffusion kernels over hybrid structures by leveraging 離散変数と連続変数の複雑な相互作用を正確にモデル化するために,ハイブリッド構造上の加法拡散核を自動的に構築する原理的手法を考案した。 0.73
英語(論文から抽出)日本語訳スコア
Bayesian Optimization over Hybrid Spaces ハイブリッド空間上のベイズ最適化 0.75
diffusion kernels over continuous and discrete spaces. 連続空間および離散空間上の拡散核。 0.81
Acquisition function optimization. Suppose Mt is the statistical model at iteration t. Let us assume that AF(Mt, x) is the acquisition function that need to be optimized to select the next hybrid structure xt+1 for function evaluation. 獲得関数の最適化。 AF(Mt, x) は、関数評価のために次のハイブリッド構造 xt+1 を選択するために最適化する必要がある取得関数であると仮定する。
訳抜け防止モード: 獲得関数の最適化。 mt を反復 t における統計モデルとする。 af(mt,) を仮定する。 x) 取得関数は 機能評価のために次のハイブリッド構造 xt+1 を選択するために最適化する必要がある。
0.74
We solve this problem using an iterative procedure that performs search over continuous sub-space (xc) and discrete sub-space (xd) alternatively. 本稿では,連続部分空間 (xc) と離散部分空間 (xd) の探索を交互に行う反復手続きを用いてこの問題を解決する。 0.71
For searching continuous and discrete sub-spaces, we employ CMA-ES (Hansen, 2016) and hill-climbing with restarts respectively. 連続部分空間と離散部分空間を探索するために, CMA-ES (Hansen, 2016) とヒルクライミングをそれぞれ再起動する。 0.57
We observed that one iteration of optimizing continuous and discrete subspaces gave good results and they were not sensitive to more iterations. 連続部分空間と離散部分空間を最適化する1つのイテレーションが良い結果をもたらし、より多くのイテレーションに敏感でないことが観察された。 0.53
All results of HyBO are with one iteration. HyBOの結果はすべて1回のイテレーションです。 0.80
3. Related Work The effectiveness of any BO approach over hybrid spaces depends critically on the choice of surrogate model. 3. 関連作業 ハイブリッド空間に対するBOアプローチの有効性は、代理モデルの選択に大きく依存する。 0.78
Prior work explored a variety of surrogate models. 以前の研究は様々なサロゲートモデルを調査した。 0.51
SMAC (Hutter et al , 2010) employs random forest, which may suffer from inaccurate uncertainty quantification due to its frequentist estimation. SMAC (Hutter et al , 2010) はランダム・フォレストを採用しており、頻繁な推定のために不正確な不確かさの定量化に悩まされている。 0.56
TPE (Bergstra et al , 2011) models each input dimension independently by a kernel density estimator, which can be restrictive due to large size of input dimensions and no inter-dependency among models of different input dimensions. TPE (Bergstra et al , 2011) は各入力次元をカーネル密度推定器によって独立にモデル化する。
訳抜け防止モード: tpe (bergstra et al, 2011 ) は各入力次元をカーネル密度推定器によって独立にモデル化する。 入力次元の大きさが大きいため そして、異なる入力次元のモデル間の相互依存がない。
0.77
MiVaBO (Daxberger et al , 2020) employs a Bayesian linear regressor by defining features that capture the discrete part using BOCS model (Baptista & Poloczek, 2018; Deshwal et al , 2020a), continuous part using random fourier features (Rahimi & Recht, 2007), and pairwise interaction between continuous and discrete features. MiVaBO (Daxberger et al , 2020) は、BOCSモデルを用いて離散部分をキャプチャする特徴 (Baptista & Poloczek, 2018; Deshwal et al , 2020a) 、ランダムなフーリエ特徴を用いた連続部分 (Rahimi & Recht, 2007) 、連続的特徴と離散的特徴の相互相互作用を定義することで、ベイズ線形回帰器を用いている。 0.76
As the number of parameters increase, it will need a lot of training examples for learning accurate statistical model. パラメータの数が増えるにつれて、正確な統計モデルを学ぶための多くのトレーニング例が必要になる。 0.75
GP based models overcome the drawbacks of all the above methods. GPベースのモデルは上記のすべての手法の欠点を克服する。 0.72
(Garrido-Merch´an & Hern´andez-Lobato, 2020) provided a solution for BO over discrete spaces using an input-transformed kernel. (Garrido-Merch ́an & Hern ́andez-Lobato, 2020) は、入力変換されたカーネルを用いて離散空間上のBOに対する解を提供した。 0.48
A recent work referred as CoCaBO (Ru et al , 2020) employs a sum kernel (summing a Hamming kernel over discrete subspace and a RBF kernel over continuous subspace) to learn GP models and showed good results over SMAC and TPE. CoCaBO(Ru et al , 2020)と呼ばれる最近の研究は、GPモデルを学習し、SMACとTPEに対して良い結果を示すために、和カーネル(離散部分空間上のハミングカーネルと連続部分空間上のRBFカーネルを仮定する)を使用している。
訳抜け防止モード: CoCaBO(Ru et al, 2020 )と呼ばれる最近の研究は和核を用いる (離散部分空間上のハミングカーネルと連続部分空間上のRBFカーネルをまとめる) GPモデルを学ぶには SMACとTPEに対して良好な結果を示した。
0.76
Unfortunately, the sum kernel captures limited interactions between discrete and continuous variables. 残念ながら、sumカーネルは離散変数と連続変数の間の限られた相互作用をキャプチャする。 0.53
In contrast, our additive hybrid diffusion kernel allows to capture higher-order interactions among hybrid variables and our data-driven approach can automatically learn the strengths of these interactions from training data. 対照的に、付加的なハイブリッド拡散カーネルは、ハイブリッド変数間の高次相互作用をキャプチャし、データ駆動型アプローチは、これらの相互作用の強みをトレーニングデータから自動的に学習することができる。
訳抜け防止モード: 対照的に ハイブリッド拡散核は ハイブリッド変数間の高次相互作用とデータ駆動アプローチの捉え方 トレーニングデータから、これらのインタラクションの強みを自動的に学習することができる。
0.75
HyperBand (HB) (Li et al , 2017) and its model-based variant BOHB (Falkner et al , 2018) are efficient multi-fidelity methods for hyper-parameter optimization that build on existing methods to optimize hybrid spaces. ハイパーバンド (hb) (li et al , 2017) とそのモデルベース変種 bohb (falkner et al , 2018) は、既存のハイブリッド空間を最適化する手法に基づいたハイパーパラメータ最適化のための効率的なマルチフィデリティ手法である。 0.75
Our HyBO approach is complementary to this line of work. 私たちのHyBOアプローチは、この作業のラインを補完するものです。 0.56
Prior methods perform search over discrete and continuous 先行手法は離散的かつ連続的な探索を行う 0.70
subspaces (e g , gradient descent) to solve the acquisition function optimization problem. 取得関数最適化問題を解決するための部分空間(例えば勾配降下)。 0.74
SMAC employs a handdesigned local search procedure. SMACは手書きのローカル検索手順を採用している。 0.58
MiVaBO uses integer program solvers to search discrete subspace. MiVaBOは整数プログラムソルバを使って離散部分空間を探索する。 0.66
Learning methods to improve the accuracy of search (Deshwal et al , 2020b) are complementary to SMAC, MiVABO, and HyBO. 探索精度を向上させる学習法(Deshwal et al , 2020b)は, SMAC, MiVABO, HyBOと相補的である。 0.83
CoCaBO maintains a separate multi-armed bandit for each discrete variable and employs the EXP3 algorithm (Auer et al , 2002) to select their values independently. CoCaBOは各離散変数に対して個別の多重武装バンディットを維持し、EXP3アルゴリズム(Auer et al , 2002)を用いてそれぞれの値を独立に選択する。 0.74
This method does not exploit dependencies among variables, which can be detrimental to accuracy. この方法は変数間の依存関係を利用せず、精度を損なう可能性がある。 0.71
TPE samples from the learned density estimator to pick the best input for evaluation. 学習された密度推定器からTPEサンプルを抽出し,評価に最適な入力を選択する。 0.62
4. Diffusion Kernels over Hybrid Structures We first provide the details of key mathematical and computational tools that are needed to construct hybrid diffusion kernels. 4. ハイブリッド構造上の拡散カーネル まず、ハイブリッド拡散カーネルを構築するために必要な重要な数学的および計算ツールの詳細を提供する。 0.81
Next, we describe the algorithm to automatically construct additive diffusion kernels over hybrid structures. 次に,ハイブリッド構造上の付加拡散カーネルを自動構築するアルゴリズムについて述べる。 0.78
Finally, we present theoretical analysis to show that hybrid diffusion kernels satisfy universal approximation property. 最後に,ハイブリッド拡散核が普遍近似特性を満たすことを示す理論的解析を行う。 0.85
4.1. Key Mathematical and Computational Tools 4.1. 鍵となる数学的・計算ツール 0.66
Diffusion kernels (Kondor & Vert, 2004; Lafferty & Lebanon, 2005) are inspired from the diffusion processes occurring in physical systems like heat and gases. 拡散核 (Kondor & Vert, 2004; Lafferty & Lebanon, 2005) は、熱や気体などの物理系で起こる拡散過程から着想を得ている。 0.83
The mathematical formulation of these processes naturally lends to kernels over both continuous and discrete spaces(e g , sequences, trees, and graphs). これらの過程の数学的定式化は、自然に連続空間と離散空間(例えば、列、木、グラフ)上の核に繋がる。 0.74
Diffusion kernel over continuous spaces. 連続空間上の拡散核。 0.77
The popular radial basis function (RBF) kernel (also known as Gaussian kernel) (Kondor & Vert, 2004) is defined as follows: 一般的なラジアル基底関数 (RBF) カーネル (Gaussian kernel) (Kondor & Vert, 2004) は次のように定義される。 0.79
k(x, x(cid:48)) = k(x, x(cid:48)) = 1.00
1 2πσ2 e−(cid:107)x−x(cid:48)(cid:107)2/ 2σ2 1 2πσ2 e−(cid:107)x−x(cid:48)(cid:107)2/ 2σ2 0.70
(4.1) where σ is the length scale hyper-parameter. (4.1) σ は長さスケールのハイパーパラメータである。 0.75
This is the solution of the below continuous diffusion (heat) equation: これは以下の連続拡散(熱)方程式の解である。 0.79
∂ ∂t kx0(x, t) = ∆kx0 (x, t) ・・・・・・ kx0(x, t) = skx0(x, t) 0.58
(4.2) where ∆ = ∂2 is the second-order differen∂x2 1 tial operator known as the Laplacian operator, and kx0 (x, t) = k(x, x(cid:48)) with x(cid:48) = x0 and t = σ2/2. (4.2) ここで t = ∂2 はラプラシアン作用素(英語版)として知られる二階微分二階微分二乗作用素であり、kx0 (x, t) = k(x, x(cid:48)) with x(cid:48) = x0 and t = σ2/2 である。 0.69
+ ∂2 ∂x2 2 ··· ∂2 +∂2 ∂x2 ··· ∂2 0.69
∂x2 D 4.2. ∂x2 d 4.2. 0.69
Diffusion Kernel over discrete spaces The idea of diffusion kernels for continuous spaces is extended to discrete structures (e g , sequences, graphs) (Kondor & Lafferty, 2002) by utilizing the spectral properties of a graph representation of the discrete space. 離散空間上の拡散核 連続空間に対する拡散核の概念は、離散空間のグラフ表現のスペクトル特性を利用して離散構造(例えば、列、グラフ)へと拡張される(kondor & lafferty, 2002)。 0.79
A discrete analogue of the Equation 4.2 can be constructed by employing the matrix exponential of a graph and the graph Laplacian グラフの行列指数とグラフラプラシアンを用いて、方程式 4.2 の離散的なアナログを構築することができる。 0.79
英語(論文から抽出)日本語訳スコア
operator L as given below: Bayesian Optimization over Hybrid Spaces 以下に示す演算子L ハイブリッド空間上のベイズ最適化 0.69
∂ ∂β eβL = LeβL ∂ ∂β eβL = LeβL 0.74
(4.3) k(xd, x(cid:48) (4.3) k(xd, x(cid:48) 0.87
d) = k(xd, x(cid:48) d) = k(xd, x(cid:48) 0.91
d) = (cid:26) (1 − e−2β) d) = (cid:26)(1 − e−2β) 0.79
(1 + e−2β) if xd (cid:54)= x(cid:48) if xd = x(cid:48) (1+e−2β) xd (cid:54)= x(cid:48) ならば xd = x(cid:48) 0.78
d d (4.6) Kp = θ2 d d (4.6) Kp = θ2 0.86
p Since the kernel over m > 1 dimensions is defined using the Kronecker product over m dimensions, the above expression is easily extended to multiple dimensions setting giving: p m > 1 次元上の核は m 次元上のクロネッカー積を用いて定義されるので、上記の式は簡単に複数の次元に拡張できる。 0.77
where L is the graph Laplacian of a suitable graph representation of the discrete input space and β is a hyper-parameter of the resulting diffusion kernel similar to the length scale parameter σ of the RBF kernel. L は離散入力空間の適切なグラフ表現のグラフラプラシアンであり、β は RBF カーネルの長さスケールパラメータσ と同様の拡散核のハイパーパラメータである。
訳抜け防止モード: ここで L は離散入力空間の適切なグラフ表現のラプラシアンである そして β は RBF カーネルの長さスケールパラメータσ に類似した拡散核のハイパーパラメータである。
0.80
The solution of Equation 4.3 defines a positive-definite kernel for discrete spaces known as the discrete diffusion kernel. 方程式 4.3 の解は離散拡散核として知られる離散空間の正定値核を定義する。 0.67
According to Equation 4.3, one important ingredient required for defining diffusion kernels on discrete spaces is a suitable graph representation for discrete spaces. 方程式 4.3 によれば、離散空間上の拡散核を定義するのに必要な重要な要素は、離散空間に適したグラフ表現である。 0.67
One such representation was proposed in a recent work (Oh et al , 2019). 最近の研究でそのような表現が提案されている(Oh et al , 2019)。 0.63
In this case, the entire discrete space is represented by a combinatorial graph G. Each node in the vertex set V of the graph corresponds to one candidate assignment of all the discrete variables. この場合、離散空間全体は組合せグラフ G で表される。グラフの頂点集合 V の各ノードは、すべての離散変数の1つの候補割り当てに対応する。 0.79
Two nodes are connected by an edge if the Hamming distance between the corresponding assignments for all discrete variables is exactly one. 2つのノードは、すべての離散変数に対する対応する割り当ての間のハミング距離がちょうど1である場合、エッジで接続される。 0.65
The diffusion kernel over this representation is defined as follows: この表現上の拡散核は次のように定義される。 0.71
k(V, V ) = exp(−βL(G)) k(V, V ) = Φ exp(−βΠ)ΦT k(V, V ) = exp(−βL(G)) k(V, V ) = sh exp(−β ) = T 0.95
approach has time-complexity O((cid:80)m 時間複雑度o((cid:80)mのアプローチ 0.70
(4.4) (4.5) where Φ = [φ1,··· , φ|V |] is the eigenvector matrix and Π = [π1,··· , π|V |] is the eigenvalue matrix, where φi’s and πi’s are the eigenvectors and eigenvalues of the graph Laplacian L(G) respectively. (4.4) (4.5) ここで φ = [φ1,·· , φ|V |] は固有ベクトル行列であり、 φ = [π1,·· , π|V |] は固有値行列であり、φi’s と πi’s はそれぞれグラフ Laplacian L(G) の固有ベクトルおよび固有値である。 0.80
Although this graph representation contains an exponential number of nodes, (Oh et al , 2019) computes the graph Laplacian L(G) by decomposing it over the Cartesian product ((cid:5)) of m (number of discrete variables) sub-graphs (G1, G2 ··· , Gm) with each sub-graph Gi representing one variable individually. このグラフ表現には指数的な数のノードが含まれているが、(Oh et al , 2019) はグラフを 1 つの変数を表す各部分グラフ Gi で m の部分グラフ (G1, G2 ····· , Gm) のカルト積 ((cid:5)) に分解して計算する。 0.83
This algorithmic i=1(C(vi))3), where C(vi) is the number of candidate values (arity) for the ith discrete variable. このアルゴリズム i=1(C(vi))3 では、C(vi) は i 番目の離散変数の候補値 (arity) の数である。 0.82
However, this method is computationally expensive, especially, for problems with large-sized arity. しかし、この手法は大規模アリティの問題に対して特に計算コストが高い。 0.72
To avoid this computational challenge, we leverage prior observation in (Kondor & Lafferty, 2002) which provides a closed-form of the discrete diffusion kernel by exploiting the structure of the above combinatorial graph representation. この計算上の課題を避けるために、上記の組合せグラフ表現の構造を利用して離散拡散核の閉形式を提供する(kondor & lafferty, 2002)。 0.70
We explain this observation for binary variables {0, 1}. バイナリ変数 {0, 1} に対するこの観測を説明する。 0.78
From its definition in Equation 4.4, the discrete diffusion kernel over single-dimensional input will be: 方程式 4.4 の定義から、単次元入力上の離散拡散核は次のようになる。 0.67
m(cid:89) i=1 m(cid:89) i=1 0.71
(1 − e−2βi) (1 + e−2βi) d is equal to x(cid:48)i (1 − e−2βi) (1 + e−2βi) d は x(cid:48)i に等しい 0.76
δ(xi d,x(cid:48)i d ) δ(xi) d,x(cid:48)i d) 0.94
(4.7) d, x(cid:48)i (4.7) d, x(cid:48)i 0.86
d ) = 0 if xi d ) = 0 if xi 0.85
d and 1 otherwise. where δ(xi The subscript d denotes that the variables are discrete and the superscript refers to the ith dimension of the discrete subspace. Dと1だ ここで δ(xi) 部分スクリプト d は変数が離散であることを示し、上書きは離散部分空間の i 次元を指す。 0.63
For general (discrete spaces with arbitray categories), we follow the same observation (Kondor & Lafferty, 2002) and use the following constant-time expression of the discrete diffusion kernel in our method: 1 − e−C(vi)βi 一般(任意圏を持つ離散空間)については、同じ観察(kondor & lafferty, 2002)に従い、この方法で離散拡散核の次の定数時間表現を用いる: 1 − e−c(vi)βi 0.80
(cid:19)δ(xi (cid:19)δ(xi) 0.81
(cid:18) d,x(cid:48)i d ) (cid:18) d,x(cid:48)i d) 0.88
m(cid:89) k(xd, x(cid:48) m(cid:89) k(xd, x(cid:48) 0.90
d) = 1 + (C(vi) − 1)e−C(vi)βi d) = 1 + (C(vi) − 1)e−C(vi)βi 0.92
i=1 (4.8) 4.3. i=1 (4.8) 4.3. 0.69
Diffusion Kernels over Hybrid Spaces Unifying view of diffusion kernels. 拡散核のビューを統一するハイブリッド空間上の拡散核。 0.72
Our choice of diffusion kernels is motivated by the fact that they can be naturally defined for both discrete and continuous spaces. 我々の拡散核の選択は、離散空間と連続空間の両方に対して自然に定義できるという事実によって動機づけられる。 0.68
In fact, there is a nice transition of the diffusion kernel from discrete to continuous space achieved by continuous space limit operation. 実際、連続空間極限演算によって達成される離散空間から連続空間への拡散核のよい遷移がある。 0.82
More generally, both discrete and continuous diffusion kernel can be seen as continuous limit operation on two parameters of random walks: time and space. より一般的には、離散および連続拡散核はランダムウォークの2つのパラメータである時間と空間の連続極限演算と見なすことができる。 0.82
For illustration, consider a random walk on an evenly spaced grid where mean time of jump is t and mean gap between two points is s. If t → 0, the resulting continuous time and discrete space random walk generates the diffusion kernel on discrete spaces. 例えば、ジャンプの平均時間が t で、2点間の平均ギャップが s であるような等間隔格子上のランダムウォークを考える: t → 0 であれば、連続時間と離散空間のランダムウォークは離散空間上の拡散核を生成する。 0.80
Additionally, in the limit of the grid spacing s going to zero, the kernel will approach the continuous diffusion kernel. さらに、グリッド間隔sが0に制限されている場合、カーネルは連続拡散カーネルに近づく。 0.63
Algorithm to construct hybrid diffusion kernels. ハイブリッド拡散カーネル構築アルゴリズム 0.48
We exploit the general formulation of additive Gaussian process kernels (Duvenaud et al , 2011) to define an additive hybrid diffusion kernel over hybrid spaces. 加法ガウス過程核(duvenaud et al , 2011)の一般定式化を利用して,ハイブリッド空間上の加法ハイブリッド拡散核を定義する。 0.75
The key idea is to assign a base kernel for each input dimension i ∈ {1, 2,··· , m + n}, where m and n stand for the number of discrete and continuous variables in hybrid space X ; and construct an overall kernel by summing all possible orders of interactions (upto m + n) between these base kernels. 鍵となる考え方は、各入力次元 i ∈ {1, 2,··· , m + n} に対して基底核を割り当てることであり、ここで m と n はハイブリッド空間 X における離散変数と連続変数の個数を表す。
訳抜け防止モード: 鍵となるアイデアは、入力次元 i ∈ { 1, 2 に対して基本核を割り当てることである。 · · · ·, m + n } ここで m は n は、ハイブリッド空間 x における離散変数と連続変数の数を表す。 カーネル全体を構築し これらの基底核間の全ての可能な相互作用の順序(最大 m + n )を要約する。
0.79
In our case, the RBF kernel and the discrete diffusion kernel acts as the base kernel for continuous and discrete input dimensions respectively. この場合、RBFカーネルと離散拡散カーネルは、それぞれ連続的な入力次元と離散的な入力次元の基底カーネルとして機能する。 0.70
The pth order of interaction (called pth additive kernel) is defined as given below: 相互作用のpth次数(pth additive kernel)は次のように定義される。 0.76
(cid:88) (cid:32) p(cid:89) (cid:88) (cid:32)p(cid:89) 0.78
1≤i1<i2<··· ,ip≤m+n 1≤i1<i2<··· ,ip≤m+n 0.52
d=1 (cid:33) d=1 (cid:33) 0.69
kid (xid , x(cid:48) kid (xid , x (cid:48) 0.96
id ) where θp is a hyper-parameter associated with each additive kernel and kid is the base kernel for the input dimension id. id ) θp は各加法カーネルに関連付けられたハイパーパラメータであり、 kid は入力次元 id のベースカーネルである。 0.81
英語(論文から抽出)日本語訳スコア
In words, the pth additive kernel is a sum of(cid:0)m+n 言い換えると、pth加算核は(cid:0)m+nの和である 0.68
(cid:1) terms, where each term is a product of p distinct base kernels. (出典:1)用語 それぞれの項は p 個の異なる基底核の積である。 0.73
Estimation of θp hyper-parameter from data allows automatic identification of important orders of interaction for a given application. データからのθpハイパーパラメータの推定は、与えられたアプリケーションに対する重要な相互作用順序の自動識別を可能にする。 0.66
The overall additive hybrid diffusion kernel KHY B(x, x(cid:48)) over hybrid spaces is defined as the sum of all orders of interactions as given below: ハイブリッド空間上の加法的ハイブリッド拡散核 khy b(x, x(cid:48)) は、以下の相互作用の全ての順序の和として定義される。 0.79
p KHY B = KHY B = p KHY B = KHY B = 0.85
m+n(cid:88) m+n(cid:88) m+n(cid:88)m+n(cid:88) 0.62
p=1 p=1 Kp p=1。 p=1。 Kp 0.59
(θ2 p (cid:88) (θ2p) (cid:88) 0.75
p(cid:89) i1,··· ,ip p(cid:89) i1,····,ip 0.77
d=1 (4.9) kid (xid , x(cid:48) d=1 (4.9) kid (xid , x (cid:48) 0.78
id )) (4.10) id )) (4.10) 0.83
It should be noted that the RHS in Equation 4.10 requires computing a sum over exponential number of terms. なお、方程式4.10の RHS は指数項の和を計算しなければならない。
訳抜け防止モード: 注意すべき点 RHS in Equation 4.10は指数数の項を計算しなければならない。
0.75
However, this sum can be computed in polynomial time using Newton-Girard formula for elementary symmetric polynomials (Duvenaud et al , 2011). しかし、この和は基本対称多項式に対するニュートン・ギラード公式を用いて多項式時間で計算できる(duvenaud et al , 2011)。 0.74
It is an efficient formula to compute the pth additive kernel recursively as given below: 以下に示すように、pth加算核を再帰的に計算する効率的な公式である。 0.67
(−1)(j−1)Kp−jSj (−1)(j−1)Kp−jSj 0.72
(4.11)   1 where Sj = (cid:80)m+n (4.11)  Sj = (cid:80)m+n 0.80
Kp = θ2 p · Kp = θ2 p · 0.99
p p(cid:88) p p(cid:88) 0.85
j=1 i=1 kj i is the jth power sum of all base kernels kj and the base case for the recursion can be taken as 1 (i.e., K0 = 1). j=1 i=1kj i はすべての基底核 kj の j 番目のパワー和であり、再帰の基底ケースは 1 (すなわち K0 = 1) とすることができる。 0.66
This recursive algorithm for computing additive hybrid diffusion kernel has the time complexity of O((n + m)2). この加法ハイブリッド拡散核計算のための再帰的アルゴリズムは、o((n + m)2) の時間複雑性を持つ。 0.81
Data-driven specialization of kernel for a given application. 所定のアプリケーションのためのカーネルのデータ駆動型特殊化。 0.59
In real-world applications, the importance of different orders of interaction can vary for optimizing the overall performance of BO approach (i.e., minimizing the number of expensive function evaluations to uncover high-quality hybrid structures). 実世界のアプリケーションでは、BOアプローチの全体的な性能を最適化するために異なる相互作用の順序が重要である(すなわち、高品質なハイブリッド構造を明らかにするために高価な関数評価の数を最小化する)。 0.71
For example, in some applications, we may not require all orders of interactions and only few will suffice. 例えば、いくつかのアプリケーションでは、すべてのインタラクションの順序を必要としないかもしれません。 0.75
The θp hyper-parameters in the additive hybrid diffusion kernel formulation allows us to identify the strength/contributio n of the pth order of interaction for a given application in a data-driven manner. 加法ハイブリッド拡散核の定式化におけるθpハイパーパラメータは、与えられたアプリケーションに対するp次相互作用の強さと分布をデータ駆動的に特定できる。 0.70
We can compute these parameters (along with the hyper-parameters for each base kernel) by maximizing the marginal log-likelihood, but we consider a fully Bayesian treatment by defining a prior distribution for each of them. これらのパラメータ(ベースカーネル毎のハイパーパラメータとともに)を辺辺の対数類似度を最大化することで計算できるが、それぞれに事前分布を定義することで完全にベイズ処理を考える。 0.81
This is important to account for the uncertainty of the hyper-parameters across BO iterations. これはBO反復におけるハイパーパラメータの不確実性を考慮する上で重要である。 0.64
The acquisition function AF(x) is computed by marginalizing the hyper-parameters as given below: 取得関数AF(x)は、下記のハイパーパラメータを辺境化することにより計算される。 0.66
AF(x;D) = AF(x; D, Θ)p(Θ|D)dΘ AF(x;D) = AF(x; D, s)p(\|D)d\ 0.79
(4.12) (cid:90) (4.12) (cid:90) 0.78
where Θ is a variable representing all the hyperparameters (σ for continuous diffusion kernel, β for discrete diffusion θ がすべての超パラメータ(連続拡散核のσ、離散拡散のβ)を表す変数であるとき 0.83
∀f : Xd (cid:55)→ R; f : xd (cid:55)→r; 0.66
∃ai ∈ R; f = ~ai ∈ R; f = 0.91
aik(xid ,·); aik(xid ,·); 0.53
(4.14) Bayesian Optimization over Hybrid Spaces (4.14) ハイブリッド空間上のベイズ最適化 0.77
kernel, and θ for strengths of different orders of interaction in hybrid diffusion kernel) and D represents the aggregate dataset containing the hybrid structure and function evaluation pairs. カーネル、およびハイブリッド拡散カーネルにおける相互作用の異なる次数の強さに対するθ)およびdは、ハイブリッド構造と関数評価ペアを含む集合データセットを表す。 0.82
The posterior distribution over the hyperparameters is computed using slice sampling (Neal, 2003). ハイパーパラメータ上の後方分布はスライスサンプリングにより計算される(neal, 2003)。 0.80
4.4. Theoretical Analysis 4.4. 理論的分析 0.77
Intuitively, a natural question to ask about the modeling power of a kernel is whether (given enough data) it can approximate (with respect to a suitable metric) any blackbox function defined over hybrid spaces. 直感的には、カーネルのモデリング能力について問うべき自然な疑問は、ハイブリッド空間上で定義されたブラックボックス関数を(適切な計量に関して)近似できるかどうかである。 0.75
This is a minimum requirement that should guide our choice of kernel in the given problem setting. これは、与えられた問題設定におけるカーネルの選択を導く最低限の要件です。 0.75
This question has been studied widely in the form of a key property called universality of a kernel (Steinwart, 2001; Micchelli et al , 2006; Sriperumbudur et al , 2011; Mania et al , 2018). この問題は核の普遍性と呼ばれる重要な性質の形で広く研究されている(Steinwart, 2001; Micchelli et al , 2006; Sriperumbudur et al , 2011; Mania et al , 2018)。 0.82
In this section, we prove the universality of the additive hybrid diffusion kernel by combining the existing result on the universality of RBF (Gaussian) kernel with a novel result proving the universality of discrete diffusion kernels. 本稿では、RBF(ガウス)核の普遍性に関する既存の結果と離散拡散核の普遍性を証明する新しい結果を組み合わせることで、加法的ハイブリッド拡散核の普遍性を証明する。 0.77
Proposition 1 (Steinwart, 2001; Micchelli et al , 2006) Let Xc be a compact and non-empty subset of Rn. 命題 1 (Steinwart, 2001; Micchelli et al , 2006) Xc を Rn のコンパクトかつ空でない部分集合とする。 0.83
The RBF kernel in Equation 4.1 is a universal kernel on Xc. Equation 4.1 の RBF カーネルは Xc 上の普遍カーネルである。 0.82
A kernel k defined on an input space Xc has a unique correspondence with an associated Reproducing Kernel Hilbert Space (RKHS) of functions Hk defined on Xc (Steinwart & Christmann, 2008). 入力空間 Xc 上で定義される核 k は、Xc 上で定義される函数 Hk の関連する再生ケルネルヒルベルト空間 (RKHS) と一意の対応を持つ(Steinwart & Christmann, 2008)。 0.82
For compact metric input spaces Xc, a kernel k is called universal if the RKHS Hk defined by it is dense in the space of continuous functions C(Xc). コンパクトな計量入力空間 Xc に対して、核 k が普遍的 (universal) とは、それによって定義される RKHS Hk が連続函数 C(Xc) の空間において密であるときである。
訳抜け防止モード: コンパクトな計量入力空間 Xc に対して、核 k は呼ばれる Universal RKHS Hk がそれで定義されるとき、連続函数 C(Xc) の空間は密である。
0.84
(Steinwart, 2001) proved the universality of the RBF (Gaussian) kernel with respect to the uniform norm. (Steinwart, 2001) は、一様ノルムに関してRBF (Gaussian) カーネルの普遍性を証明した。 0.73
(Micchelli et al , 2006) established universality for a larger class of translation invariant kernels. (Micchelli et al , 2006) はより大規模な翻訳不変核の普遍性を確立した。 0.72
(Sriperumbudur et al , 2011) discussed various notions of universality and connected to the concept of characteristic kernels. (Sriperumbudur et al , 2011) は普遍性の様々な概念を論じ、特性核の概念と結びついた。 0.89
Proposition 2 Let Xd be the discrete space {0, 1}m and a psuedo-boolean function on Xd is defined as f : Xd (cid:55)→ R. The discrete diffusion kernel is a universal kernel on Xd. 命題 2 は xd を離散空間 {0, 1}m とし、xd 上のpsuedo-boolean 函数を f : xd (cid:55)→ r と定義する。
訳抜け防止モード: 命題2 Xd を離散空間 {0, 1}m とする。 そして、Xd 上の psuedo -boolean 関数は f : Xd ( cid:55) → R と定義される。 離散拡散核は Xd 上の普遍核である。
0.79
Proof. A Reproducing Kernel Hilbert Space Hk associated with a kernel k : X × X (cid:55)→ R is defined as: 証明。 核 k : X × X (cid:55) → R に付随する再生ケルネルヒルベルト空間 Hk は次のように定義される。 0.67
Hk = cl(span{k(x,·),∀x ∈ X}) Hk = cl(span{k(x,·),\x ∈ X}) 0.69
(4.13) where cl represents the closure and k(x,·) is called as the feature map of x (Steinwart & Christmann, 2008). (4.13) ここで cl は閉包を表し、k(x,·) は x の特徴写像と呼ばれる(steinwart & christmann, 2008)。 0.74
In our setting, a kernel k defined on discrete input space Xd is universal if and only if any pseudo-Boolean function f can be written as a linear combination of functions (k(xid ,·),∀xid ∈ Xd) in the RKHS Hk (Mania et al , 2018; Gretton et al , 2012), i.e. 我々の設定では、離散入力空間 Xd 上で定義される核 k が普遍であることと、任意の擬ブール函数 f が RKHS Hk (Mania et al , 2018; Gretton et al , 2012) における函数 (k(xid ,·, xid ∈ Xd)) の線型結合として書けることとは同値である。 0.84
(cid:88) i (cid:88) 私は 0.66
英語(論文から抽出)日本語訳スコア
Bayesian Optimization over Hybrid Spaces ハイブリッド空間上のベイズ最適化 0.75
We prove that this is true by computing the explicit form of functions (k(xid,·),∀xid ∈ Xd) existing in the RKHS Hk of the discrete diffusion kernel. 離散拡散核の RKHS Hk に存在する関数の明示的な形式 (k(xid,·), xid ∈ Xd) を計算することで、これが真であることを証明している。 0.82
To see this, we exploit the structure of the combinatorial graph representation of the discrete space discussed in Section 4.1. これを確認するために、セクション4.1で議論された離散空間の組合せグラフ表現の構造を利用する。 0.76
The discrete diffusion kernel is defined in terms of the eigenvectors φi and eigenvalues πi of the graph Laplacian L(G) as follows: 離散拡散核は、グラフラプラシアン l(g) の固有ベクトル φi と固有値 πi を用いて次のように定義される。 0.74
k(xd, x(cid:48) k(xd, x(cid:48) 0.96
d) = φi[xd] exp(−βπi)φi[x(cid:48) d] d) = φi[xd] exp(−βπi) φi[x(cid:48) d] 0.84
(4.15) Since the combinatorial graph G is generated by the Cartesian product over sub-graphs Gi (one for each discrete variable), the eigenvectors term φi[xd] can be calculated via an explicit formula, i.e., φi[xd] = −1wT xd, where w is a binary vector of size n (Chung & Graham, 1997) (number of discrete variables). (4.15) 組合せグラフ G は部分グラフ Gi 上のカルト積(各離散変数に対して 1 )によって生成されるので、固有ベクトル項 φi[xd] は明示的な公式、すなわち φi[xd] = −1wT xd で計算できる。
訳抜け防止モード: (4.15) 組合せグラフ G は部分グラフ Gi (各離散変数 ) 上のカルト積によって生成されるからである。 固有ベクトル項φi[xd ]は明示的な公式によって計算できる すなわち、φi[xd ] = −1wT xd であり、w は大きさ n ( Chung & Graham, 1997 ) (離散変数の数 ) のバイナリベクトルである。
0.82
2n(cid:88) 2n(cid:88) 0.74
i=1 2n(cid:88) i=1 2n(cid:88) 0.66
k(xd, x(cid:48) k(xd, x(cid:48) 0.96
d) = −1wT xd exp(−βπi) − 1wT x(cid:48) d) = −1wT xd exp(−βπi) − 1wT x(cid:48) 0.79
d (4.16) i=1 d (4.16) i=1 0.74
< k(xd,·),k(x(cid:48) < k(xd,·),k(x(cid:48) 0.79
d,·) >= 2n(cid:88) d,·) >= 2n(cid:88) 0.67
−1wT xd exp(−βπi) − 1wT x(cid:48) −1wT xd exp(−βπi) − 1wT x(cid:48) 0.73
d i=1 (4.17) d i=1 (4.17) 0.74
where the inner product in LHS follows from the reproducing property (Steinwart & Christmann, 2008) of a kernel k. Therefore, the functions k(xd,·) in the RKHS Hk of the discrete diffusion kernel are of the form {−1wj T xd ; wj ∈ [0, 2n − 1]}, which is the well-known Walsh Basis (Verel et al , 2018) for pseudo-Boolean functions. したがって、離散拡散核の RKHS Hk における函数 k(xd,·) は {−1wj T xd ; wj ∈ [0, 2n − 1]} の形であり、これは擬ブール函数に対してよく知られたウォルシュ・ベイズ(Verel et al , 2018)である。
訳抜け防止モード: LHS の内部積がカーネル k の再生特性 ( Steinwart & Christmann, 2008 ) から従う場合。 離散拡散核の RKHS Hk における函数 k(xd, · ) は { −1wj T xd ; wj ∈ [ 0, 2n − 1 ] } は、擬ブール函数に対してよく知られたウォルシュ・ベイズ (Verel et al, 2018) である。
0.74
Therefore, any pseudo-Boolean function f can be represented by a linear combination of functions in Hk since they form a basis. したがって、任意の擬ブール函数 f は基底を形成するため、Hk 内の函数の線型結合で表すことができる。 0.74
Theorem 4.1 Let Xc be a compact and non-empty subset of Rn and κc be RBF kernel on Xc. Xc を Rn のコンパクトかつ空でない部分集合とし、κc を Xc 上の RBF カーネルとする。 0.70
Let Xd be the discrete space {0, 1}m and κd be discrete diffusion kernel on Xd. Xd を離散空間 {0, 1}m とし、κd を Xd 上の離散拡散核とする。 0.82
The additive hybrid diffusion kernel defined in Eqn 4.10, instantiated with kc and kd for continuous and discrete spaces respectively, is a universal kernel for the hybrid space Xc × Xd. Eqn 4.10 で定義される加法的ハイブリッド拡散核は、連続空間と離散空間のそれぞれ kc と kd でインスタンス化され、ハイブリッド空間 Xc × Xd の普遍核である。 0.81
d=1 kid (xid , x(cid:48) d=1 kid (xid , x(cid:48) 0.84
id (cid:0)(cid:81)p (cid:0)(cid:81)p id (cid:0)(cid:81)p(cid :0)(cid:81)p 0.81
According to Equation 4.9, any pth order of interaction term in the additive hybrid diffusion kernel is defined as Equation 4.9 によれば、加法ハイブリッド拡散核における相互作用項の任意の p 次位は、次のように定義される。 0.58
)(cid:1). (cid:1) である。 0.66
Therefore, if each kid is universal )(cid:1) is universal over the union of dimen- したがって、各子供が普遍的である場合(cid:1)はダイメンの和合に関して普遍である 0.68
over its corresponding dimension Xid (which is true from Propositions 1 and 2), we need to show that the product sions Xi1 × Xi2 ··· × Xip. 対応する次元 Xid 上で(命題 1 と 2 から真である)、積 sions Xi1 × Xi2 ···· × Xip を示す必要がある。 0.80
This was proven by Lemma A.5 in (Steinwart et al , 2016). これはLemma A.5 in (Steinwart et al , 2016)によって証明された。 0.65
We provide the lemma here for completeness. 我々は完全性のためにここで補題を提供する。 0.53
Lemma 4.2 From (Steinwart et al , 2016) Let X ⊂ Rm be a compact and non-empty subset, I, J ⊂ {1, . Lemma 4.2 From (Steinwart et al , 2016) X > Rm をコンパクトで空でない部分集合 I, J > {1, とする。 0.84
. . , m} be . . , m である。 0.84
d=1 kid (xid , x(cid:48) d=1 kid (xid , x(cid:48) 0.84
id Name Function 1 Function 2 Function 3 Function 4 Table 1. id 名前関数 1 関数 2 関数 3 関数 4 テーブル 1 です。 0.82
Benchmark problems from bbox-mixint suite. bbox-mixintスイートのベンチマーク問題。 0.55
Name in the suite Dimension 10 (8d, 2c) 10 (8d, 2c) 20 (16d, 4c) 20 (16d, 4c) スイート次元 10 (8d, 2c) 10 (8d, 2c) 20 (16d, 4c) 20 (16d, 4c) 0.88
f001 i01 d10 f001 i02 d10 f001 i01 d20 f001 i02 d20 f001 i01 d10 f001 i02 d10 f001 i01 d20 f001 i02 d20 0.61
non-empty, and kI and kJ be universal kernels on XI × XJ, respectively. 非空であり、kI と kJ はそれぞれ XI × XJ 上の普遍核である。 0.81
Then kI ⊗ kJ defined by kI ⊗ kJ (x, x(cid:48)) := kI (xI , x(cid:48) すると kI > kJ (x, x(cid:48)) := kI (xI , x(cid:48) で定義される。 0.90
I ) · kJ (xJ , x(cid:48) J ) I ) · kJ (xJ , x(cid:48) J ) 0.97
for all x, x(cid:48) ∈ XI × XJ is a universal kernel on XI × XJ. すべての x に対して、x(cid:48) ∈ XI × XJ は XI × XJ 上の普遍核である。 0.81
Since both continuous and discrete spaces are compact and Lemma 4.2 is true for arbitrary compact spaces, each order of interaction is universal with respect to its corresponding ambient dimension Xi1 × Xi2 ··· × Xip. 連続空間と離散空間の両方がコンパクトであり、Lemma 4.2 は任意のコンパクト空間に対して真であるため、それぞれの相互作用の順序はその対応する周囲次元 Xi1 × Xi2 ··· × Xip に対して普遍的である。 0.68
In particular, it is true for m + nth order of interaction which is defined over the entire hybrid space Xc × Xd which proves the theorem. 特に、この定理を証明するハイブリッド空間 Xc × Xd 全体上で定義される相互作用の m + n 次順序に対して真である。 0.84
5. Experiments and Results We first describe our experimental setup. 5. 実験と結果 まず実験のセットアップを説明します。 0.84
Next, we discuss experimental results along different dimensions. 次に,異なる次元の実験結果について考察する。 0.69
5.1. Benchmark Domains 5.1. ベンチマークドメイン 0.70
Synthetic benchmark suite. 合成ベンチマークスイート。 0.64
bbox-mixint is a challenging mixed-integer blackbox optimization benchmark suite (Tuˇsar et al , 2019) that contains problems of varying difficulty. bbox-mixintは、様々な難易度の問題を含む、難しい混合整数ブラックボックス最適化ベンチマークスイートである。 0.73
This benchmark suite is available via COCO platform1. このベンチマークスイートはCOCO Platform 1経由で利用できる。 0.64
We ran experiments with multiple problems from this benchmark, but for brevity, we present canonical results on four benchmarks (shown in Table 1) noting that all the results show similar trends. このベンチマークから複数の問題を用いた実験を行ったが、brevityでは4つのベンチマーク(表1に示す)で標準結果を示し、すべての結果が同じような傾向を示していることを指摘した。 0.58
Real world benchmarks. 実世界のベンチマーク。 0.60
We employ six diverse realworld domains. 6つの異なる現実のドメインを 採用しています 0.47
The complete details (function definition, bounds for input variables etc.) 完全な詳細(関数定義、入力変数の境界など) 0.70
are in the Appendix. Appendixにある。 0.55
1) Pressure vessel design optimization. 1)圧力容器設計の最適化。 0.82
This mechanical design problem (Kannan & Kramer, 1994; Tanabe & Ishibuchi, 2020) involves minimizing the total cost of a cylindrical pressure vessel. この機械設計問題(kannan & kramer, 1994; tanabe & ishibuchi, 2020)は、円筒形圧力容器の総コストを最小化する。 0.76
There are two discrete (thickness of shell and head of pressure vessel) and two continuous (inner radius and length of cylindrical section) variables. 2つの離散的(殻の厚さと圧力容器の頭部)と2つの連続的な(筒状の断面の内側半径と長さ)変数がある。 0.76
2) Welded beam design optimization. 2)溶接ビーム設計最適化。 0.81
The goal in this material engineering domain (Deb & Goyal, 1996; Reklaitis et al , 1983) is to design a welded beam while minimizing the overall cost of the fabrication. この材料工学領域(Deb & Goyal, 1996; Reklaitis et al , 1983)の目標は、製造コストを最小化しながら溶接ビームを設計することである。 0.79
There are six variables: two discrete (type of welding configuration and bulk material of the beam) and four continuous (weld thickness, welded joint length, beam width and thickness). 2つの個別(ビームの溶接形態とバルク材の種類)と4つの連続(溶接部厚さ、溶接部長さ、梁幅、厚み)の変数がある。
訳抜け防止モード: 6つの変数 : 2つの個別(溶接形態) そしてビームのバルク材料)と4つの連続した(溶接厚)。 溶接継手長さ, 梁幅, 厚み)
0.79
1https://github.com/ numbbo/coco 1https://github.com/ numbbo/coco 0.36
英語(論文から抽出)日本語訳スコア
Bayesian Optimization over Hybrid Spaces ハイブリッド空間上のベイズ最適化 0.75
3) Speed reducer design optimization. 3)スピードリデューサ設計の最適化。 0.79
In this domain from NASA (Cagnina et al , 2008), the goal is to minimize the weight of a speed reducer defined over seven input variables: one discrete (number of teeth on pinion) and six continuous (face width, teeth module, lengths of shafts between bearings, and diameters of the shafts) 4) Optimizing control for robot pushing. nasa(cagnina et al , 2008)のこの領域では、ロボットプッシュの制御を最適化する7つの入力変数、1つの離散的(ピニオン上の歯の数)と6つの連続的な(顔幅、歯のモジュール、軸受間のシャフトの長さ、シャフトの直径)を最小化することが目標である。 0.80
This is a 14 dimensional control parameter tuning problem, where a robot is trying to push objects toward a goal location (Wang et al , 2018). これは14次元制御パラメータチューニング問題であり、ロボットが目標位置に向けてオブジェクトをプッシュしようとしている(wang et al , 2018)。 0.86
We consider a hybrid version of this problem by discretizing ten input variables corresponding to location of the robot and number of simulation steps. ロボットの位置とシミュレーションステップ数に対応した10の入力変数を離散化することで,この問題のハイブリッド版を考える。 0.85
The remaining four parameters corresponding to rotation are kept as continuous. 残りの4つのパラメータは連続的に保持される。 0.78
5) Calibration of environmental model. 5)環境モデルの校正。 0.71
The problem of calibration and uncertainty analysis of expensive environmental models is very important in scientific domains (Bliznyuk et al , 2008; Astudillo & Frazier, 2019). 高価な環境モデルの校正と不確実性分析の問題は科学分野において非常に重要である(Bliznyuk et al , 2008; Astudillo & Frazier, 2019)。 0.81
There are four input variables (one discrete and three continuous). 4つの入力変数がある(1つの離散変数と3つの連続変数)。 0.59
6) Hyper-parameter optimization. 6)ハイパーパラメータ最適化。 0.78
We consider hyperparameter tuning of a neural network model on a diverse set of benchmarks (Gijsbers et al , 2019): five discrete (hidden layer size, activation type, batch size, type of learning rate, and whether to use early stopping or not) and three continuous (learning rate initialization, momentum parameter, and regularization coefficient) hyper-parameters. ニューラルネットワークモデルの様々なベンチマーク(Gijsbers et al , 2019)におけるハイパーパラメータチューニングについて検討する。5つの離散(階層サイズ,アクティベーションタイプ,バッチサイズ,早期停止の有無,学習率の種類)と3つの連続(学習速度初期化,運動量パラメータ,正規化係数)ハイパーパラメータ。 0.78
5.2. Experimental Setup Baseline methods. 5.2. 実験的なセットアップベースラインメソッド。 0.73
We compare HyBO with four strong baselines: 1) CoCaBO, a state-of-the-art method (Ru et al , 2020); 2) SMAC (Hutter et al , 2010); 3) TPE (Bergstra et al , 2011); 4) HyBO w/o Marg is a special case of HyBO, where we do not perform marginalization over the hyperparameters of the hybrid diffusion kernel; and 5) Cont-BO treats discrete variables as continuous and performs standard BO over continuous spaces (both modeling and acquisition function optimization). 1) CoCaBO, 最先端の手法 (Ru et al , 2020); 2) SMAC (Hutter et al , 2010); 3) TPE (Bergstra et al , 2011); 4) HyBO w/o MargはHyBOの特殊なケースであり、ハイブリッド拡散核のハイパーパラメータ上では余剰化を行わない。
訳抜け防止モード: 我々はHyBOを4つの強いベースラインと比較する : 1 ) CoCaBO, A state - of - the - art method ( Ru et al, 2020 ) ; 2 ) SMAC ( Hutter et al, 2010 ) ; 3 ) TPE ( Bergstra et al, 2011 ) ; 4 ) HyBO w/o Marg is a special case of HyBO, ハイブリッド拡散核のハイパーパラメーターに対して 限界化を行わない場合 と 5 ) Cont - BO は離散変数を連続として扱う 連続空間(モデリングと取得関数最適化の両方)上で標準BOを実行する。
0.87
We did not include MiVaBO (Daxberger et al , 2020) as there was no publicly available implementation (Daxberger) 2. mivabo(daxberger et al , 2020)は公開実装(daxberger)がなかったため、含まれていない。 0.75
Configuration of algorithms and baselines. アルゴリズムとベースラインの構成。 0.67
We configure HyBO as follows. 私たちはHyBOを次のように設定します。 0.44
We employ uniform prior for the length scale hyperparameter (σ) of the RBF kernel. 我々は、rbfカーネルの長さスケールハイパーパラメータ(σ)に一様前置する。 0.62
Horse-shoe prior is used for β hyper-parameter of the discrete diffusion kernel (Equation 4.8) and hyper-parameters θ of the additive diffusion kernel (Equation 4.9). 離散拡散核(方程式4.8)のβハイパーパラメータと添加拡散核(方程式4.9)のハイパーパラメータθにホースシュー前置を用いる。 0.77
We employ expected improvement (Mockus et al , 1978) as the acquisition function. 我々は買収関数として期待改善(mockus et al , 1978)を採用する。 0.80
For acquisition function optimization, we perform iterative search over continuous and discrete sub-spaces as shown in Algorithm 1. 取得関数最適化のために,アルゴリズム1に示すように,連続部分空間および離散部分空間上で反復探索を行う。 0.66
For optimizing discrete subspace, we run local search with 20 restarts. 離散部分空間を最適化するために、20の再起動で局所探索を行う。 0.58
We normalize each continuous variable to be in the range [−1, 1] and employed CMA-ES 各連続変数を [−1, 1] の範囲に正規化し、CMA-ES を用いる。 0.83
2Personal communication with the lead author. 著者との2対1のコミュニケーション。 0.64
algorithm 3 for optimizing the continuous subspace. 連続部分空間を最適化するアルゴリズム3。 0.76
We found that the results obtained by CMA-ES were not sensitive to its hyper-parameters. その結果, CMA-ESの結果はハイパーパラメータに敏感ではなかった。 0.80
Specifically, we fixed the population size to 50 and initial standard deviation to 0.1 in all our experiments. 具体的には, 個体群を50に, 初期標準偏差を0.1に修正した。 0.75
We employed the open-source python implementation of CoCaBO 4, SMAC 5, and TPE 6. 私たちはcocabo 4、smac 5、tpe 6のオープンソースpython実装を採用しました。 0.64
All the methods are initialized with same random hybrid structures. すべての方法は、同じランダムなハイブリッド構造で初期化される。 0.66
We replicated all experiments for 25 different random seeds and report the mean and two times the standard error in all our figures. 25種類の無作為種子についてすべての実験を再現し、平均と標準誤差の2倍の誤差を報告した。 0.75
Evaluation metric. We use the best function value achieved after a given number of iterations (function evaluations) as a metric to evaluate all methods. 評価指標。 与えられたイテレーション数(関数評価)の後に達成された最高の関数値をメトリクスとして、すべてのメソッドを評価する。 0.69
The method that uncovers high-performing hybrid structures with less number of function evaluations is considered better. 機能評価の少ないハイパフォーマンスなハイブリッド構造を明らかにする方法が優れていると考えられる。 0.73
5.3. Results and Discussion Results on mixed integer benchmark suite. 5.3. mixed integer benchmark suite の結果と議論結果 0.68
Figure 1 shows the canonical results on four benchmarks from bbox-mixint listed in Table 1 noting that all results show similar trends. 図1は、表1に記載されたbbox-mixintの4つのベンチマークの標準結果を示しています。 0.69
HyBO and its variant HyBO-Round performs significantly better and converges much faster than all the other baselines. HyBOとその派生型HyBO-Roundは、他のすべてのベースラインよりもはるかに良く、収束する。 0.64
One key reason for this behavior is that hybrid diffusion kernel accounts for higher-order interactions between variables. この挙動の主な理由は、ハイブリッド拡散カーネルが変数間の高次相互作用を担っているためである。 0.67
Cont-BO performs the worst among all the methods. Cont-BOはすべてのメソッドの中で最悪です。 0.67
This shows that simply treating discrete variables as continuous is sub-optimal and emphasizes the importance of modeling the structure in discrete variables. これは、離散変数を連続として単純に扱うことが準最適であることを示し、離散変数の構造をモデル化することの重要性を強調する。 0.58
Ablation results for statistical models. 統計モデルに対するアブレーション結果。 0.82
To understand the reasons for the better performance of HyBO, we compare the performance of its surrogate model based on hybrid diffusion kernels with those of CoCaBO and SMAC. ハイボの性能向上の理由を理解するため,ハイブリッド拡散核に基づくサロゲートモデルの性能をcocaboおよびsmacモデルと比較した。
訳抜け防止モード: HyBOの性能向上の理由を理解するため。 本稿では,ハイブリッド拡散カーネルに基づくサロゲートモデルの性能と,CoCaBOとSMACの性能を比較した。
0.77
We perform the following experiment. We constructed testing dataset (pairs of hybrid structures and their function evaluations) of size 200 via uniform random sampling. 以下の実験を行う。 一様ランダムサンプリングによるサイズ200の試験データセット(ハイブリッド構造のペアとその機能評価)を構築した。 0.76
We compute the mean absolute error (MAE) of the three surrogate models as a function of training set size. 我々は,3つの代理モデルの平均絶対誤差(MAE)をトレーニングセットサイズの関数として計算する。 0.82
The results are shown in Figure 2 which depicts the mean and two times standard error of the MAE on 25 random testing datasets. 結果は図2に示され、25のランダムテストデータセットにおけるmaeの平均と2倍の標準誤差を示している。 0.84
HyBO clearly has very low error compared to CoCaBO and SMAC on Function 1 and 2. HyBOは明らかにCoCaBOとSMACのFunction 1とFunction 2のエラーが少ない。 0.79
Although HyBO has similar MAE to CoCaBO in the beginning on Function 3 and 4, it rapidly decreases as the training set size increases which is not the case for other two methods. HyBOは関数3と4の最初の段階ではCoCaBOとMAEが似ているが、トレーニングセットのサイズが大きくなるにつれて急速に減少し、他の2つのメソッドではそうではない。 0.72
This experiment provides strong empirical evidence for the fact that the proposed surrogate model in HyBO can model hybrid spaces more accurately when compared to CoCaBO and SMAC. この実験は、HyBOのサロゲートモデルがCoCaBOやSMACと比較してより正確にハイブリッド空間をモデル化できるという、強い実証的な証拠を提供する。 0.67
Ablation results for marginalization in HyBO. HyBOにおける限界化のアブレーション結果 0.59
Bayesian 3https://github.com/ CMA-ES/pycma 4https://github.com/ rubinxin/CoCaBO_code 5https://github.com/ automl/SMAC3 6https://github.com/ hyperopt/hyperopt ベイジアン 3https://github.com/ CMA-ES/pycma 4https://github.com/ rubinxin/CoCaBO_code 5https://github.com/ automl/SMAC3 6https://github.com/ hyperopt/hyperopt 0.45
英語(論文から抽出)日本語訳スコア
Bayesian Optimization over Hybrid Spaces ハイブリッド空間上のベイズ最適化 0.75
(a) (b) (c) (a) (b) (c) 0.85
(d) Figure 1. Results of HyBO and state-of-the-art baselines on bbob-mixint benchmark suite for functions shown in Table 1. (d) 図1。 表1に示す機能用bbob-mixintベンチマークスイートのHyBOと最先端ベースラインの結果 0.78
(a) (b) (c) (a) (b) (c) 0.85
(d) Figure 2. Results showing mean absolute test error with increasing size of training set on the bbob-mixint synthetic benchmarks. (d) 図2。 bbob-mixint 合成ベンチマークに設定したトレーニングサイズの増加による絶対テスト誤差の平均値を示した。 0.74
(a) (b) (c) (a) (b) (c) 0.85
Figure 3. Results comparing the proposed HyBO approach with state-of-the-art baselines on multiple real world benchmarks. 図3。 その結果,複数の実世界ベンチマークにおけるhyboアプローチと最先端のベースラインを比較した。 0.66
(d) (e) treatment of hyper-parameters (marginalization) is one key component of our proposed HyBO method. (d) (e) ハイパーパラメータの治療(マージナリゼーション)はhybo法の重要な構成要素の一つである。 0.80
However, to decouple the efficacy of additive diffusion kernel from the usage of marginalization, we performed experiments using HyBO without marginalization (HyBO w/o Marg in Figures). しかし,加法拡散カーネルの有効性を限界化の利用から切り離すために,HyBOを用いない実験を行った(図中のHyBO w/o Marg)。 0.79
As evident from Figure 1, HyBO w/o Marg finds better solutions than all the baselines albeit with slower convergence which is improved by adding marginalization. 図1から明らかなように、HyBO w/o Marg は、差分化を加えることで改善される緩やかな収束を伴うにもかかわらず、すべての基底線よりも優れた解を求める。 0.53
Results for real-world domains. 実世界のドメインの結果。 0.73
Figure 3 shows comparison of HyBO approach with baseline methods on all realworld domains except hyper-parameter optimization. 図3は、ハイパーパラメータ最適化を除いて、HyBOアプローチとすべての現実世界領域のベースライン手法の比較を示す。 0.60
We make the following observations. 1) HyBO consistently performs better than all the baselines on all these benchmarks. 以下の観察を行う。 1) HyBOは、これらのベンチマークのすべてのベースラインよりも一貫してパフォーマンスが良い。 0.60
2) Even on benchmarks such as speed reducer design and welded beam design where HyBO finds a similar solution as CoCaBO, it does so with much faster convergence. 2) 速度低下器設計やHyBOがCoCaBOと類似した解を求める溶接ビーム設計などのベンチマークでも, より高速な収束が可能である。 0.82
3) 02550751001251501752 00Number of iterations8090100110 120130Best function valueFunction 1Cont-BOTPESMACCoCaB OHyBO w/o MargHyBO025507510012 5150175200Number of iterations3904004104 20430440450Best function valueFunction 2Cont-BOTPESMACCoCaB OHyBO w/o MargHyBO025507510012 5150175200Number of iterations8010012014 0160180200220Best function valueFunction 3Cont-BOTPESMACCoCaB OHyBO w/o MargHyBO025507510012 5150175200Number of iterations4004204404 60480500520540Best function valueFunction 4Cont-BOTPESMACCoCaB OHyBO w/o MargHyBO100120140160 180200Training set size0510152025MAEFun ction 1SMACCoCaBOHyBO10012 0140160180200Trainin g set size05101520253035MA EFunction 2SMACCoCaBOHyBO10012 0140160180200Trainin g set size01020304050MAEFu nction 3SMACCoCaBOHyBO10012 0140160180200Trainin g set size01020304050MAEFu nction 4SMACCoCaBOHyBO02040 6080100Number of iterations−6−5−4−3−2−10Best (log) function valuePressure Vessel DesignTPESMACCoCaBOH yBO020406080100Numbe r of iterations−3−2−1012Best (log) function valueWelded Beam DesignTPESMACCoCaBOH yBO020406080100Numbe r of iterations−6−4−202Best (log) function valueEnvironment ModelTPESMACCoCaBOHy BO020406080100Number of iterations2.42.62.83 .03.23.4Best function value1e3Speed Reducer DesignTPESMACCoCaBOH yBO020406080100Numbe r of iterations−5.0−4.5−4.0−3.5−3.0−2.5−2.0−1.5−1.0−0.5Best function valuePush RobotTPESMACCoCaBOHy BO 3) 02550751001251501752 00Number of iterations8090100110 120130Best function valueFunction 1Cont-BOTPESMACCoCaB OHyBO w/o MargHyBO025507510012 5150175200Number of iterations3904004104 20430440450Best function valueFunction 2Cont-BOTPESMACCoCaB OHyBO w/o MargHyBO025507510012 5150175200Number of iterations8010012014 0160180200220Best function valueFunction 3Cont-BOTPESMACCoCaB OHyBO w/o MargHyBO025507510012 5150175200Number of iterations4004204404 60480500520540Best function valueFunction 4Cont-BOTPESMACCoCaB OHyBO w/o MargHyBO100120140160 180200Training set size0510152025MAEFun ction 1SMACCoCaBOHyBO10012 0140160180200Trainin g set size05101520253035MA EFunction 2SMACCoCaBOHyBO10012 0140160180200Trainin g set size01020304050MAEFu nction 3SMACCoCaBOHyBO10012 0140160180200Trainin g set size01020304050MAEFu nction 4SMACCoCaBOHyBO02040 6080100Number of iterations−6−5−4−3−2−10Best (log) function valuePressure Vessel DesignTPESMACCoCaBOH yBO020406080100Numbe r of iterations−3−2−1012Best (log) function valueWelded Beam DesignTPESMACCoCaBOH yBO020406080100Numbe r of iterations−6−4−202Best (log) function valueEnvironment ModelTPESMACCoCaBOHy BO020406080100Number of iterations2.42.62.83 .03.23.4Best function value1e3Speed Reducer DesignTPESMACCoCaBOH yBO020406080100Numbe r of iterations−5.0−4.5−4.0−3.5−3.0−2.5−2.0−1.5−1.0−0.5Best function valuePush RobotTPESMACCoCaBOHy BO 0.63
英語(論文から抽出)日本語訳スコア
Bayesian Optimization over Hybrid Spaces ハイブリッド空間上のベイズ最適化 0.75
Dataset blood transfusion kc1 vehicle segment cnae jasmine dataset blood transfusion kc1 vehicle segment cnae jasmine 0.93
Cont-BO 76.089 (0.325) 85.185 (0.129) 80.501 (1.120) 87.253 (0.995) 95.370 (0.103) 77.317 (0.216) Cont-BO 76.089 (0.325) 85.185 (0.129) 80.501 (1.120) 87.253 (0.995) 95.370 (0.103) 77.317 (0.216) 0.59
TPE 76.711 (0.432) 85.637 (0.069) 80.913 (1.051) 87.792 (0.537) 95.691 (0.082) 77.893 (0.071) TPE 76.711 (0.432) 85.637 (0.069) 80.913 (1.051) 87.792 (0.537) 95.691 (0.082) 77.893 (0.071) 0.73
SMAC 76.658 (0.418) 85.453 (0.087) 83.669 (1.013) 89.986 (0.692) 95.605 (0.063) 77.460 (0.189) SMAC 76.658 (0.418) 85.453 (0.087) 83.669 (1.013) 89.986 (0.692) 95.605 (0.063) 77.460 (0.189) 0.73
CoCaBO 76.978 (0.455) 85.415 (0.099) 82.882 (1.222) 89.639 (0.727) 95.679 (0.108) 77.513 (0.202) CoCaBO 76.978 (0.455) 85.415 (0.099) 82.882 (1.222) 89.639 (0.727) 95.679 (0.108) 77.513 (0.202) 0.73
HyBO 77.819 (0.463) 85.466 (0.116) 86.104 (0.894) 91.433 (0.277) 95.644 (0.135) 77.121 (0.172) 兵法 77.819 (0.463) 85.466 (0.116) 86.104 (0.894) 91.433 (0.277) 95.644 (0.135) 77.121 (0.172) 0.40
Table 2. Results on the task of hyper-parameter tuning of neural network models. 表2。 ニューラルネットワークモデルにおけるハイパーパラメータチューニングの課題に関する結果 0.77
Bold numbers signify statistical significance. 大胆な数字は統計的意義を示す。 0.58
Benchmark Synthetic Function 1 Synthetic Function 2 Synthetic Function 3 Synthetic Function 4 Pressure Vessel Design Welded Beam Design Speed Reducer Design Push Robot Environment model ベンチマーク合成機能1 合成機能2 合成機能3 合成機能4 圧力容器設計 溶接ビーム設計速度低減装置 プッシュロボット環境モデル 0.80
TPE 0.012 0.012 0.026 0.026 0.003 0.004 0.006 0.017 0.005 TPE 0.012 0.012 0.026 0.026 0.003 0.004 0.006 0.017 0.005 0.45
SMAC CoCaBO HyBO 2.34 0.98 2.99 1.98 0.34 0.64 1.38 1.94 0.31 SMAC CoCaBO HyBO 2.34 0.98 2.99 0.98 0.34 0.64 1.38 1.94 0.31 0.49
2.30 1.31 3.18 2.96 0.85 1.02 0.94 1.70 0.50 2.30 1.31 3.18 2.96 0.85 1.02 0.94 1.70 0.50 0.42
50 50 180 180 20 40 40 90 40 50 50 180 180 20 40 40 90 40 0.85
Table 3. Computational cost in average wall-clock time (seconds) per BO iteration. 表3。 BOイテレーション毎の平均ウォールクロック時間(秒)における計算コスト。 0.74
CoCaBO performs reasonably well on these benchmarks but its performance is worse than HyBO demonstrating that its sum kernel (along with Hamming kernel for discrete spaces) is less powerful than hybrid diffusion kernel of HyBO. cocaboはこれらのベンチマークでかなりよく機能するが、hyboはsumカーネル(離散空間のハミングカーネルとともに)がhyboのハイブリッド拡散カーネルよりも強力ではないことを実証している。 0.65
4). TPE has the worst performance on most benchmarks possibly a direct result of its drawback of not modeling the interactions between input dimensions. 4). TPEは、ほとんどのベンチマークで、おそらく入力次元間の相互作用をモデル化しないという欠点の直接的な結果として、最悪のパフォーマンスを持っている。 0.68
5) SMAC performs poorly on all the benchmarks potentially due to poor uncertainty estimates from random forest surrogate model. 5) smacは,ランダム森林サーロゲートモデルから推定される不確実性が低いため,すべてのベンチマークで性能が低下する可能性がある。 0.53
Table 2 shows the final accuracy (mean and standard error) obtained by all methods including HyBO on the task of tuning neural network models for six different datasets (BO curves are similar for all methods). 表2は、6つの異なるデータセットのニューラルネットワークモデルをチューニングするタスクにおいて、HyBOを含むすべてのメソッドによって得られた最終的な精度(平均および標準誤差)を示す。 0.82
HyBO produces comparable or better results than baseline methods. hyboはベースラインメソッドと同等あるいは優れた結果を生成する。 0.66
Computational cost analysis. We compare the runtime of different algorithms including HyBO. 計算コスト分析。 hyboを含む様々なアルゴリズムのランタイムを比較した。 0.68
All experiments were run on a AMD EPYC 7451 24-Core machine. 全ての実験はAMD EPYC 7451 24-Coreマシン上で行われた。 0.76
Table 3 shows the average wall-clock time (in seconds) per BO iteration. 表3はBOイテレーション毎の平均壁時計時間(秒単位)を示している。 0.70
We can see that HyBO is relatively expensive when compared to baseline methods. HyBOはベースライン方式に比べて比較的高価であることがわかる。 0.77
However, for real-world science and engineering applications, minimizing the cost of physical resources to perform evaluation (e g , conducting an additive manufacturing experiment for designing materials such as alloys) is the most important metric. しかし、実世界の科学や工学の応用においては、評価を行うための物理的資源のコスト(例えば、合金などの材料を設計するための付加的な製造実験)を最小化することが最も重要な指標である。
訳抜け防止モード: しかし、物理資源のコストを最小化する実世界科学・工学応用のために 評価を行う(例えば、合金などの材料を設計するための付加的な製造実験を行う) 最も重要なメートル法です
0.85
The computational cost for selecting inputs for evaluation is a secondary concern. 評価のために入力を選択する計算コストは二次的な問題である。 0.71
HyBO uses more time to select inputs for evaluation to minimize the number of function evaluations to uncover better structures. HyBOは、より多くの時間を使って評価のための入力を選択し、機能評価の数を最小限に抑え、より良い構造を明らかにする。
訳抜け防止モード: ハイボはもっと時間を使う 評価のための入力を選択して機能評価の回数を最小化し、より良い構造を明らかにする。
0.61
We provide a finer-analysis of the HyBO runtime in Table 4. 表4でHyBOランタイムのより詳細な分析を行う。 0.64
Each kernel evaluation time with all orders of interactions is very small. 各カーネル評価時間は、全ての相互作用の順序で非常に小さい。 0.74
The overall runtime is spent on two major things: a) Sampling from posterior distributions of hyperparameters using slice sampling; and b) AFO using CMA-ES + local search. 全体ランタイム a) スライスサンプリングを用いたハイパーパラメータの後方分布からのサンプリング、(b)CMA-ES+局所探索を用いたAFO。 0.68
We can reduce the sampling time by considering HyBO without marginalization which shows slightly worse performance, but takes only 10 percent of the sampling time in HyBO. マージン化を伴わずにハイボを考慮すればサンプリング時間を短縮できるが、ハイボではサンプリング時間の10%しかかからない。
訳抜け防止モード: また,HyBOをわずかに低下させることなくサンプリング時間を短縮することができる。 しかし、HyBOではサンプリング時間が10%しかかからない。
0.68
Orders of interaction 2 5 10 20 (HyBO) 相互作用の順序 2 5 10 20 (ハイボ) 0.85
iteration AFO Sampling Kernel HyBO eval. iteration AFO Smpling Kernel HyBO eval 0.65
0.005 0.006 0.010 0.020 0.005 0.006 0.010 0.020 0.45
62 68 102 180 62 68 102 180 0.85
46 50 68 114 46 50 68 114 0.85
16 18 34 66 16 18 34 66 0.85
Table 4. Average runtime (seconds) for different orders of interaction within hybrid kernel for synthetic Function 3. 表4。 合成関数3のためのハイブリッドカーネル内の相互作用の順序の異なる平均ランタイム(秒)。 0.78
6. Conclusions We studied a novel Bayesian optimization approach referred as HyBO for optimizing hybrid spaces using Gaussian process based surrogate models. 6. 結論 ガウス過程に基づくサロゲートモデルを用いたハイブリッド空間最適化のためのhyboと呼ばれる新しいベイズ最適化手法を検討した。 0.79
We presented a principled approach to construct hybrid diffusion kernels by combining diffusion kernels defined over continuous and discrete sub-spaces in a tractable and flexible manner to capture the interactions between discrete and continuous variables. 離散変数と連続変数の相互作用を捉えるために,連続部分空間と離散部分空間上に定義された拡散カーネルをトラクタブルかつフレキシブルに組み合わせ,ハイブリッド拡散カーネルを構築するための原則的アプローチを提案する。 0.74
We proved that additive hybrid kernels have the universal approximation property. 我々は加法的ハイブリッドカーネルが普遍近似特性を持つことを示した。 0.63
Our experimental results on diverse synthetic and real-world benchmarks show that HyBO performs significantly better than state-of-the-art methods. 種々の合成および実世界のベンチマークによる実験結果から,HyBOは最先端の手法よりも優れた性能を示した。 0.59
Acknowledgements. This research is supported by NSF grants IIS-1845922, OAC-1910213, and CNS-1955353. 承認。 この研究は、NSFがIIS-1845922、OAC-1910213、CNS- 1955353を補助している。 0.54
英語(論文から抽出)日本語訳スコア
Bayesian Optimization over Hybrid Spaces ハイブリッド空間上のベイズ最適化 0.75
A. Appendix In this section, we illustrate the additive hybrid diffusion kernel (Equation 4.10) by providing a running example. A。 本節では,実行例を示し,加法ハイブリッド拡散カーネル (equation 4.10) について述べる。 0.72
A.1. Running example for additive hybrid diffusion A.1。 添加剤ハイブリッド拡散の運転例 0.73
kernel We illustrate the additive hybrid diffusion kernel and its recursive computation using a 3-dimensional hybrid space, where the first two dimensions correspond to discrete subspace and the last dimension correspond to continuous subspace. kernel 加法ハイブリッド拡散核とその再帰計算を3次元ハイブリッド空間を用いて説明し、最初の2次元は離散部分空間に対応し、最後の次元は連続部分空間に対応する。 0.82
Let k1, k2, k3 be the base kernels for first, second, and third dimension respectively. k1, k2, k3 をそれぞれ1, 2, 3次元の基底核とする。 0.68
The additive diffusion kernel can be computed recursively step-wise as shown below: 付加拡散核は、下記のように再帰的に段階的に計算することができる。 0.56
[0.0625, 2] are continuous variables, G1 is the cost per volume of the welded material, and G2 is the cost per volume of the bar stock. [0.0625,2]は連続変数であり、g1は溶接材料の体積あたりのコストであり、g2はバーストックの体積当たりのコストである。 0.73
The constants (G1, G2, L), which are dependent on the second discrete variable x2, are given in (Deb & Goyal, 1996; Reklaitis et al , 1983). 第2の離散変数 x2 に依存する定数 (G1, G2, L) は (Deb & Goyal, 1996; Reklaitis et al , 1983) で与えられる。 0.79
3) Speed reducer design optimization. 3)スピードリデューサ設計の最適化。 0.79
The objective function (weight of speed reducer) F(x) for this domain is: この領域の目的関数(スピードリミッタの重み) F(x) は、 0.59
{x1,x2,x3,x4,x5,x6,x7 } 0.79x2x2 min − 1.51x2(x2 7) + 7.48(x3 x1,x2,x3,x4,x5,x6,x7 } 0.79x2x2 min − 1.51x2(x2 7) + 7.48(x3) 0.66
6 + x2 3(3.33x3 6 + x2 3(3.33x3) 0.72
6 + x3 1 + 14.93x1 − 43.09) 6 + x5x2 7) + 0.79(x4x2 7) (B.3) 6 + x3 1 + 14.93x1 − 43.09) 6 + x5x2 7) + 0.79(x4x2 7) (B.3) 0.80
1 · (k1 + k2 + k3), 2 · (k1k2 + k1k3 + k2k3), S2 = (k2 S3 = (k3 3 · (k1k2k3), 1 · (k1 + k2 + k3), 2 · (k1k2 + k1k3 + k2k3), s2 = (k2 s3 = (k3 3 · (k1k2k3), 0.77
S1 = (k1 + k2 + k3) 2 + k2 3) 2 + k3 3) S1 = (k1 + k2 + k3) 2 + k2 3) 2 + k3 3) 0.90
1 + k2 1 + k3 1 + k2 1 + k3 0.92
K1 = θ2 K2 = θ2 K3 = θ2 K0 = 1; K1 = θ2 K2 = θ2 K3 = θ2 K1 = θ2 K2 = θ2 K3 = θ2 K0 = 1; K1 = θ2 K2 = θ2 K3 = θ2 0.75
1 · S1; 2 · 1 2 3 · 1 3 1 · S1; 2 · 1 2 3 · 1 3 0.92
(K1 · S1 − S2) ; (K2 · S1 − K1 · S2 + S3) ; (K1 · S1 − S2) ; (K2 · S1 − K1 · S2 + S3) 0.84
KHY B = K1 + K2 + K3 KHY B = K1 + K2 + K3 0.88
B. Additional Experimental Details B.1. B。 詳細はb.1。 0.68
Real world benchmarks 1) Pressure vessel design optimization. 実世界のベンチマーク 1)圧力容器設計の最適化。 0.67
The objective function (cost of cylindrical pressure vessel design) F(x) for this domain is given below: この領域の目的関数(円筒型圧力容器設計コスト)F(x)を以下に示す。 0.73
{x1,x2,x3,x4}0.6224x1x3x4 + 1.7781x2x2 3+ {x1,x2,x3,x4}0.6224x1x3x4 + 1.7781x2x2 3+ 0.50
min 3.1661x2 ミン 3.1661x2 0.44
1x4 + 19.84x2 1x4 + 19.84x2 0.47
1x3 (B.1) where x1, x2 are discrete variables (thickness of shell and head of pressure vessel) lying in {1,··· , 100} and x3 ∈ [10, 200], x4 ∈ [10, 240] are continuous variables (inner radius and length of cylindrical section). 1x3 (B.1) x1, x2 は {1,···· , 100} と x3 ∈ [10, 200], x4 ∈ [10, 240] が連続変数(円筒断面の内半径と長さ)である。
訳抜け防止モード: 1x3 (B.1) x1, x2 が離散変数(シェルの厚さ)である場合 そして圧力容器の頭) { 1, · · ·, 100 } と x3 ∈ [ 10, 200 ], x4 ∈ [ 10, 240 ]は連続変数(円筒部内半径と長さ)である。
0.74
2) Welded beam design optimization. 2)溶接ビーム設計最適化。 0.81
The objective function (cost of fabricating welded beam) F(x) for this domain is: この領域の目的関数(溶接梁製造コスト)f(x)は次のとおりである。 0.78
{x1,x2,x3,x4,x5,x6}(1 + G1)(x1x5 + x4)x2 {x1,x2,x3,x4,x5,x6}(1 + G1)(x1x5 + x4)x2 0.79
min 3 + G2x5x6(L + x4) ミン 3 + G2x5x6(L + x4) 0.60
(B.2) where x1 ∈ {0, 1}, x2 ∈ {0, 1, 2, 3} are discrete variables, x3 ∈ [0.0625, 2], x4 ∈ [0, 20], x5 ∈ [2, 20], x6 ∈ (b.2) ここで x1 ∈ {0, 1}, x2 ∈ {0, 1, 2, 3} は離散変数、x3 ∈ [0.0625, 2], x4 ∈ [0, 20], x5 ∈ [2, 20], x6 ∈ 0.93
∈ [0.7, 0.8], x6 ∈ [0.7, 0.8], x6 0.81
∈ [7.3, 8.3], x5 ∈[7.3, 8.3], x5 0.88
where x1 ∈ {17, 18··· , 28} represents the discrete variable (number of teeth on pinion), x2 ∈ [2.6, 3.6], x3 ∈ ∈ [0.7, 0.8], x4 [2.9, 3.9], x7 ∈ [5, 5.5] represents the continuous variables (face width, teeth module, lengths of shafts between bearings, and diameters of the shafts respectively). x1 ∈ {17, 18··· , 28} は離散変数(ピン上の歯の数)を表し、x2 ∈ [2.6, 3.6], x3 ∈ ∈ [0.7, 0.8], x4[2.9, 3.9], x7 ∈ [5, 5.5] は連続変数(顔幅、歯のモジュール、軸間の軸の長さ、軸の直径)を表す。 0.84
The above three benchmarks are usually described with known constraints in a declarative manner. 上記の3つのベンチマークは通常、宣言的な方法で既知の制約で記述される。 0.58
However, for simplicity, we consider their unconstrained version for evaluation in this paper. しかし,本論文では,その非制約バージョンを簡易に評価する。 0.68
If required, since the constraints are known, we can easily avoid searching for invalid solutions by using an appropriate acquisition function optimizer within HyBO. 必要であれば、制約が分かっているので、hybo内で適切な取得関数オプティマイザを使用することで、無効なソリューションを探すことを避けることができる。
訳抜け防止モード: 必要なら 制約は分かっているので 簡単に回避できます hybo内の適切な取得関数オプティマイザを用いて無効解を探索する。
0.65
4) Optimizing control for robot pushing. 4)ロボットの押圧制御の最適化 0.82
This domain was taken from this URL 7. このドメインはURL7から取られた。 0.78
We consider a hybrid version of this problem by discretizing the location parameters (x1, x2, x3, x4 ∈ {−5,−4,··· , 5} and x5, x6, x7, x8 ∈ {−10,−9,··· , 10}). 位置パラメータ (x1, x2, x3, x4 ∈ {−5,−4,··· , 5} と x5, x6, x7, x8 ∈ {−10,−9,···, 10} を離散化することにより、この問題のハイブリッド版を考える。 0.90
There are two other discrete variables corresponding to simulation steps x9, x10 ∈ {2, 3, 4,··· , 30} and two continuous variables x11, x12 lying in [0, 2π]. シミュレーションステップ x9, x10 ∈ {2, 3, 4,···· , 30} に対応する他の2つの離散変数と、2つの連続変数 x11, x12 が [0, 2π] にある。 0.87
5) Calibration of environmental model. 5)環境モデルの校正。 0.71
The details of the objective function for this domain are available in (Bliznyuk et al , 2008; Astudillo & Frazier, 2019). このドメインの目的関数の詳細は、Bliznyuk et al , 2008; Astudillo & Frazier, 2019 で確認できる。 0.65
The single discrete variable has 284 candidate values lying in the set {30.01, 30.02,··· 30.285}. 単一の離散変数は、集合 {30.01, 30.02,·· 30.285} に284の候補値を持つ。 0.72
There are three continuous variables lying in the range: x2 ∈ [7, 13], x3 ∈ [0.02, 0.12], x4 ∈ [0.01, 3]. x2 ∈ [7, 13], x3 ∈ [0.02, 0.12], x4 ∈ [0.01, 3] の3つの連続変数がある。 0.87
6) Hyper-parameter optimization. 6)ハイパーパラメータ最適化。 0.78
The type and range for different hyper-parameters considered in this domain are given in Table 5. この領域で考慮された異なるハイパーパラメータのタイプと範囲は表5で示される。 0.82
We employed the scikit-learn (Pedregosa et al , 2011) neural network implementation for this benchmark. このベンチマークには,scikit-learn(pedreg osa et al , 2011)ニューラルネットワークの実装を適用した。 0.67
7https://github.com/ zi-w/ 7https://github.com/ zi-w/ 0.34
Ensemble-Bayesian-Op timization/tree/mast er/ test_functions Ensemble-Bayesian-Op timization/tree/mast er/ test_functions 0.25
英語(論文から抽出)日本語訳スコア
Bayesian Optimization over Hybrid Spaces ハイブリッド空間上のベイズ最適化 0.75
Hyperparameter Hidden layer size Type of activation Hyperparameter Hidden Layer size Type of activation 0.83
Batch size Type of learning rate バッチサイズ 学習率の種類 0.74
Early stopping Learning rate initialization Continuous Continuous Continuous 早期停車 学習速度初期化連続連続連続連続 0.71
Alpha parameter Alphaパラメータ 0.79
Momentum Type Discrete Discrete Discrete Discrete Discrete 運動量 種類 離散離散離散離散離散離散離散 0.52
Range {40, 60,··· , 300} {40, 60,··· , 200} 範囲 {40, 60,··· , 300} {40, 60,··· , 200} 0.75
{’identity’, ’logistic’, ’tanh’, ’relu’} {’constant’, ’invscaling’, ’adaptive’} identity’, logistic’, ’tanh’, ’relu’} {‘constant’, ’invscaling’, ’adaptive’} 0.66
True/False [0.001, 1] [0.5, 1] True/False [0.001, 1] [0.5, 1] 0.78
[0.0001, 1] [0.0001, 1] 0.88
Table 5. Type and range of hyper-parameters considered for the HPO benchmark. テーブル5。 HPOベンチマークで考慮されたハイパーパラメータの種類と範囲。 0.72
(a) (d) (b) (a) (d) (b) 0.85
(e) (c) Figure 4. (e) (c) 図4。 0.82
Results comparing the proposed HyBO approach with state-of-the-art baselines on multiple real world benchmarks. その結果,複数の実世界ベンチマークにおけるhyboアプローチと最先端のベースラインを比較した。 0.57
These figures also contain HyBO without marginalization and Cont-BO results. これらの数字は、マージン化やcont-bo結果のないhyboも含んでいる。 0.41
C. Additional Results Results for real-world benchmarks. C. 実世界のベンチマークにおける追加結果 0.60
Figure 4 extends the plots of Figure 3 by including the performance of Cont-BO and HyBO w/o Marg on the real-world benchmarks. 図4は、実世界のベンチマークでCont-BOとHyBO w/o Margのパフォーマンスを含めることで、図3のプロットを拡張します。 0.59
The results show similar trend where Cont-BO performs worse than all other methods showing the need to take into account the hybrid input structure. その結果、Cont-BOはハイブリッドな入力構造を考慮する必要のある他の方法よりも性能が劣る傾向を示した。 0.74
Also, the performance of HyBO w/o Marg remains similar to HyBO (except on calibration of environment model) demonstrating the effective modeling strength of additive hybrid diffusion kernel. また、hybo w/o margの性能は(環境モデルのキャリブレーションを除いて)hyboと似ており、加法ハイブリッド拡散核の効果的なモデリング強度を示している。 0.71
Comparison with (Garrido-Merch´an & Hern´andezLobato, 2020) As mentioned in our related work, this is an interesting approach for BO over discrete spaces but it is specific to discrete spaces alone. Garrido-Merch ́an & Hern ́andezLobato, 2020) 関連研究で述べたように、これは離散空間上のBOにとって興味深いアプローチであるが、離散空間のみに特有である。
訳抜け防止モード: 本研究で述べた(garrido - merch ́an & hern ́andezlobato, 2020)との比較 これは離散空間上のboの興味深いアプローチですが 離散空間のみに特有である。
0.72
Since our problem setting considers hybrid input spaces, we performed experiments using this method for the discrete part and using the standard 問題設定はハイブリッドな入力空間を考えるため,この手法を離散部分に適用し,標準を用いて実験を行った。 0.81
Benchmark Synthetic Function 1 Synthetic Function 2 Synthetic Function 3 Synthetic Function 4 ベンチマーク合成機能1 合成機能2 合成機能3 合成機能4 0.79
HyBO G-M et al Vanilla BO 79.7 394.6 81.1 395.2 HyBO G-M et al Vanilla BO 79.7 394.6 81.1 395.2 0.62
86.2 407 135 456.8 86.2 407 135 456.8 0.65
99.4 420 143 458 99.4 420 143 458 0.84
Table 6. Results for additional baseline experiments 表6。 追加のベースライン実験結果 0.73
BO approach for the continuous part with HyBO’s AFO procedure. BOはHyBOのAFOプロシージャの継続的部分に対してアプローチする。 0.74
Results of this approach (referred as G-M et al ,) on the 4 synthetic benchmarks are shown in Table 6. G-M et al と略す)の4つの総合的なベンチマークの結果が表6に示されている。 0.67
The best function value achieved after 200 iterations and averaged over 25 different runs (same configuration as described in the main paper) is shown. 200回のイテレーションで達成された最高の関数値と25回以上の実行(メインペーパーに記載されているような構成)が示す。 0.76
We also add another baseline named Vanilla BO (GP with RBF kernel to model hybrid space + HyBO’s AFO procedure) in Table 6. また、テーブル6にVanilla BO (GP with RBF kernel to model hybrid space + HyBO's AFO procedure) という別のベースラインを追加します。 0.87
It is evident from the results that HyBO performs significantly better. その結果,HyBOの性能は著しく向上した。 0.61
020406080100Number of iterations6543210Bes t (log) function valuePressure Vessel Design020406080100Nu mber of iterations321012Best (log) function valueWelded Beam Design020406080100Nu mber of iterations64202Best (log) function valueEnvironment Model020406080100Num ber of iterations2.42.62.83 .03.23.4Best function value1e3Speed Reducer Design020406080100Nu mber of iterations5.04.54.03 .53.02.52.01.51.00.5 Best function valuePush Robot 02040606080100number of iterations6543210bes t (log) function value pressure vessel design020406080100nu mber of iterations321012best (log) function valuewelded beam design020406080100nu mber of iterations64202best (log) function valueenvironment model020406080100num ber of iterations2.42.62.83 .03.23.4best function value1e3speed reducer design020406080100nu mber of iterations5.04.54.03 .52.02.02.01.00.5bes t function valuepush robot 0.45
英語(論文から抽出)日本語訳スコア
Bayesian Optimization over Hybrid Spaces ハイブリッド空間上のベイズ最適化 0.75
References Astudillo, R. and Frazier, P. Bayesian optimization of composite functions. astudillo, r. and frazier, p. bayesian optimization of composite functionsを参照。 0.81
volume 97 of Proceedings of Machine Learning Research, pp. 第97巻 機械学習研究の成果, pp。 0.64
354–363. PMLR, 09–15 Jun 2019. 354–363. PMLR, 09-15 Jun 2019 0.80
Auer, P., Cesa-Bianchi, N., Freund, Y., and Schapire, R. E. The nonstochastic multiarmed bandit problem. auer, p., cesa-bianchi, n., freund, y. and schapire, r. e. the nonstochastic multiarmed bandit problem。 0.82
SIAM Journal of Computing, 32(1):48–77, 2002. SIAM Journal of Computing, 32(1):48-77, 2002 0.87
Baptista, R. and Poloczek, M. Bayesian optimization of combinatorial structures. Baptista, R. and Poloczek, M. Bayesian optimization of combinatorial structure。 0.91
In Proceedings of the 35th International Conference on Machine Learning, pp. 第35回機械学習国際会議紀要, pp. 0.60
462–471, 2018. 462–471, 2018. 0.84
Belakaria, S., Deshwal, A., and Doppa, J. R. Max-value entropy search for multi-objective Bayesian optimization. Belakaria, S., Deshwal, A., and Doppa, J. R. Max-value entropy search for multi-jective Bayesian optimization。 0.86
In NeurIPS, 2019. 2019年、NeurIPS。 0.68
Belakaria, S., Deshwal, A., and Doppa, J. R. Max-value entropy search for multi-objective Bayesian optimization with constraints. Belakaria, S., Deshwal, A., and Doppa, J. R. Max-value entropy search for multi-jective Bayesian optimization with constraints。 0.88
CoRR, abs/2009.01721, 2020a. CoRR, abs/2009.01721, 2020a 0.68
URL https://arxiv.org/ab s/2009.01721. URL https://arxiv.org/ab s/2009.01721 0.46
Belakaria, S., Deshwal, A., and Doppa, J. R. Multi-fidelity multi-objective Bayesian optimization: An output space entropy search approach. Belakaria, S., Deshwal, A., and Doppa, J. R. Multi-fidelity multi-jective Bayesian optimization: an output space entropy search approach。 0.91
In AAAI conference on Artificial Intelligence (AAAI), 2020b. AAAI Conference on Artificial Intelligence (AAAI)、2020年。 0.77
Belakaria, S., Deshwal, A., and Doppa, J. R. Uncertainty aware search framework for multi-objective Bayesian optimization with constraints. Belakaria, S., Deshwal, A., and Doppa, J. R. Uncertainty aware search framework for multi-jective Bayesian optimization with constraints。 0.92
CoRR, abs/2008.07029, 2020c. CoRR, abs/2008.07029, 2020c 0.70
URL https://arxiv.org/ab s/2008. URL https://arxiv.org/ab s/2008 0.54
07029. Belakaria, S., Deshwal, A., and Doppa, J. R. Informationtheoretic multi-objective Bayesian optimization with continuous approximations. 07029. Belakaria, S., Deshwal, A., and Doppa, J. R. Informationtheoretic multi-objective Bayesian Optimization with continuous approximations 0.89
CoRR, abs/2009.05700, 2020d. CoRR, abs/2009.05700, 2020d 0.69
URL https://arxiv.org/ab s/2009.05700. URL https://arxiv.org/ab s/2009.05700 0.46
Belakaria, S., Deshwal, A., Jayakodi, N. K., and Doppa, J. R. Uncertainty-aware search framework for multi-objective Bayesian optimization. Belakaria, S., Deshwal, A., Jayakodi, N. K., and Doppa, J. R. Uncertainty-aware search framework for multi-objective Bayesian optimization。 0.89
In AAAI, 2020e. 2020年、AAAI。 0.70
Belakaria, S., Jackson, D., Cao, Y., Doppa, J. R., and Lu, X. Belakaria, S., Jackson, D., Cao, Y., Doppa, J. R., Lu, X。 0.82
Machine learning enabled fast multi-objective optimization for electrified aviation power system design. 機械学習は、電化された航空電力システム設計のための高速多目的最適化を可能にした。 0.49
In IEEE Energy Conversion Congress and Exposition (ECCE), 2020f. IEEE Energy Conversion Congress and Exposition (ECCE) 2020f。 0.71
Bergstra, J., Bardenet, R., Bengio, Y., and K´egl, B. Algorithms for hyper-parameter optimization. Bergstra, J., Bardenet, R., Bengio, Y., K ́egl, B. Algorithms for hyper-parameter optimization。 0.95
In ShaweTaylor, J., Zemel, R. S., Bartlett, P. L., Pereira, F., and Weinberger, K. Q. ShaweTaylor, J., Zemel, R. S., Bartlett, P. L., Pereira, F., Weinberger, K. Q。 0.85
(eds. ), Advances in Neural Information Processing Systems 24, pp. (eds)。 ), 神経情報処理システムの進歩24, pp。 0.73
2546–2554, 2011. 2546–2554, 2011. 0.84
Bliznyuk, N., Ruppert, D., Shoemaker, C., Regis, R., Wild, S., and Mugunthan, P. Bayesian calibration and uncertainty analysis for computationally expensive models using optimization and radial basis function approximation. bliznyuk, n., ruppert, d., shoemaker, c., regis, r., wild, s. and mugunthan, p. bayesian calibration and uncertainty analysis for computationally expensive models using optimization and radial basis function approximation (英語)
訳抜け防止モード: Bliznyuk, N., Ruppert, D., Shoemaker, C. Regis, R., Wild, S. and Mugunthan, P. Bayesian calibration 最適化と放射基底関数近似を用いた計算コストの高いモデルの不確実性解析
0.91
Journal of Computational and Graphical Statistics, 17 (2):270–294, 2008. Journal of Computational and Graphical Statistics, 17 (2):270–294, 2008 0.92
Cagnina, L., Esquivel, S., and Coello, C. Solving engineering optimization problems with the simple constrained particle swarm optimizer. Cagnina, L., Esquivel, S., and Coello, C. Solving Engineering Optimization problem with the simple constrained Particle Swarm Optimizationr。 0.82
Informatica, 32:319– 326, 2008. Informatica, 32:319–326, 2008 0.89
Chung, F. R. and Graham, F. C. Spectral graph theory. Chung, F. R. and Graham, F. C. Spectral graph theory 0.96
Number 92. American Mathematical Soc., 1997. 背番号92。 1997年、アメリカ数学博士。 0.69
Daxberger, E. Personal communication about MiVaBO daxberger, e. mivaboの個人的コミュニケーション 0.76
implementation and code. Daxberger, E., Makarova, A., Turchetta, M., and Krause, A. Mixed-variable bayesian optimization. 実装とコード。 Daxberger, E., Makarova, A., Turchetta, M. and Krause, A. Mixed-variable Bayesian Optimization。 0.79
In Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, IJCAI-20, pp. 第20回人工知能国際合同会議報告, IJCAI-20, pp. 0.66
2633–2639, 7 2020. 2633–2639, 7 2020. 0.88
Deb, K. and Goyal, M. A combined genetic adaptive search (GeneAS) for engineering design. Deb, K. and Goyal, M. A combined genetic adapt search (GeneAS) for engineering design。 0.87
Computer Science and Informatics, 26:30–45, 1996. コンピュータサイエンス・インフォマティクス、26:30-45、1996年。 0.54
Deshwal, A., Belakaria, S., and Doppa, J. R. Scalable combinatorial Bayesian optimization with tractable statistical models. deshwal, a., belakaria, s. and doppa, j. r. scalable combinatorial bayesian optimization with tractable statistical models (英語) 0.85
CoRR, abs/2008.08177, 2020a. CoRR, abs/2008.08177, 2020a. 0.69
URL https://arxiv.org/ab s/2008.08177. URL https://arxiv.org/ab s/2008.08177 0.46
Deshwal, A., Belakaria, S., Doppa, J. R., and Fern, A. Optimizing discrete spaces via expensive evaluations: A learning to search framework. Deshwal, A., Belakaria, S., Doppa, J. R., Fern, A. 高価な評価によって離散空間を最適化する。
訳抜け防止モード: Deshwal, A., Belakaria, S., Doppa, J. R. そしてFern, A. 高価な評価による離散空間の最適化 : 検索フレームワークの学習
0.85
In AAAI Conference on Artificial Intelligence (AAAI), 2020b. AAAI Conference on Artificial Intelligence (AAAI)、2020年。 0.78
Deshwal, A., Belakaria, S., and Doppa, J. R. Mercer features In Deshwal, A., Belakaria, S., Doppa, J. R. Mercer が登場 0.83
for efficient combinatorial Bayesian optimization. 効率的な組合せベイズ最適化のためです 0.61
AAAI, 2021. AAAI、2021年。 0.73
Duvenaud, D. K., Nickisch, H., and Rasmussen, C. E. Additive gaussian processes. Duvenaud, D. K., Nickisch, H. and Rasmussen, C. E. Additive gaussian process。 0.94
In Shawe-Taylor, J., Zemel, R. S., Bartlett, P. L., Pereira, F., and Weinberger, K. Q. Shawe-Taylor, J., Zemel, R. S., Bartlett, P. L., Pereira, F., Weinberger, K. Q。 0.91
(eds. ), Advances in Neural Information Processing Systems 24, pp. (eds)。 ), 神経情報処理システムの進歩24, pp。 0.73
226–234, 2011. 226–234, 2011. 0.84
Falkner, S., Klein, A., and Hutter, F. BOHB: robust and efficient hyper-parameter optimization at scale. Falkner, S., Klein, A. and Hutter, F. BOHB: 大規模で堅牢で効率的なハイパーパラメータ最適化。 0.84
In Proceedings of the 35th International Conference on Machine Learning (ICML), pp. 第35回機械学習国際会議(ICML)に参加して 0.59
1436–1445, 2018. 1436–1445, 2018. 0.84
Frazier, P. I. Frazier, P. I。 0.97
A tutorial on bayesian optimization. ベイズ最適化に関するチュートリアル。 0.64
arXiv preprint arXiv:1807.02811, 2018. arXiv arXiv:1807.02811, 2018 0.79
Garrido-Merch´an, E. C. and Hern´andez-Lobato, D. Dealing with categorical and integer-valued variables in bayesian optimization with gaussian processes. Garrido-Merch ́an, E. C. and Hern ́andez-Lobato, D. Dealing with categorical and integer-valued variables in bayesian optimization with Gaussian process。 0.67
Neurocomputing, 380:20–35, 2020. 神経計算、380:20-35, 2020。 0.49
英語(論文から抽出)日本語訳スコア
Bayesian Optimization over Hybrid Spaces ハイブリッド空間上のベイズ最適化 0.75
Gijsbers, P., LeDell, E., Poirier, S., Thomas, J., Bischl, B., and Vanschoren, J. Gijsbers, P., LeDell, E., Poirier, S., Thomas, J., Bischl, B., Vanschoren, J。 0.78
An open source automl benchmark. オープンソースのautomlベンチマーク。 0.74
arXiv preprint arXiv:1907.00909., 2019. arXiv preprint arXiv:1907.00909., 2019 0.81
Accepted at AutoML Workshop at ICML 2019. ICML 2019のAutoML Workshopで受講。 0.71
Greenhill, S., Rana, S., Gupta, S., Vellanki, P., and Venkatesh, S. Bayesian optimization for adaptive experimental design: A review. Greenhill, S., Rana, S., Gupta, S., Vellanki, P., Venkatesh, S. Bayesian Optimization for adapt experimental design: A review. 0.83
IEEE Access, 8:13937–13948, 2020. IEEE Access, 8:13937–13948, 2020。 0.76
Gretton, A., Borgwardt, K. M., Rasch, M. J., Sch¨olkopf, B., and Smola, A. Gretton, A., Borgwardt, K. M., Rasch, M. J., Sch solkopf, B., Smola, A。 0.89
A kernel two-sample test. カーネルの2サンプルテスト。 0.74
Journal of Machine Learning Research, 13(1):723–773, 2012. Journal of Machine Learning Research, 13(1):723–773, 2012 0.90
Hansen, N. The cma evolution strategy: A tutorial. hansen, n. the cma evolution strategy: チュートリアル。 0.67
arXiv preprint arXiv:1604.00772, 2016. arXiv arXiv:1604.00772, 2016 0.81
Hutter, F., Hoos, H. H., and Leyton-Brown, K. Hutter, F., Hoos, H. H., and Leyton-Brown, K。 0.97
Sequential model-based optimization for general algorithm configuration (extended version). 一般アルゴリズム構成のための逐次モデルに基づく最適化(拡張版)。 0.76
Technical Report TR-2010-10, University of British Columbia, Department of Computer Science, 2010. 技術報告 tr-2010-10, university of british columbia, department of computer science, 2010 0.86
Available online: http://www.cs.ubc.ca /˜hutter/papers/10-TR- SMAC.pdf. オンライン版: http://www.cs.ubc.ca / shutter/papers/10-TR -SMAC.pdf。 0.26
Hutter, F., Hoos, H. H., and Leyton-Brown, K. Sequential model-based optimization for general algorithm configuration. Hutter, F., Hoos, H. H., and Leyton-Brown, K. Sequential model-based optimization for general algorithm configuration。 0.89
In International conference on Learning and Intelligent Optimization, pp. 学習と知能最適化に関する国際会議, pp。 0.71
507–523, 2011. 507–523, 2011. 0.84
Kannan, B. K. and Kramer, S. N. An augmented lagrange multiplier based method for mixed integer discrete continuous optimization and its applications to mechanical design. kannan, b. k. and kramer, s. n. a augmented lagrange multiplier based method for mixed integer discrete continuous optimization and its applications to mechanical design (英語) 0.85
Journal of Mechanical Design, 116(2):405–411, 06 1994. Journal of Mechanical Design, 116(2):405–411, 06 1994 0.89
Kondor, R. and Lafferty, J. Diffusion kernels on graphs and other discrete structures. Kondor, R. and Lafferty, J. Diffusion kernels on graphs and other discrete structure 0.84
In Proceedings of the 19th International Conference on Machine Learning, volume 2002, pp. 第19回機械学習国際会議報告, 2002, pp。 0.50
315–322, 2002. 315–322, 2002. 0.84
Kondor, R. and Vert, J.-P. Diffusion kernels. Kondor, R. and Vert, J.-P. Diffusion kernels 0.87
Kernel methods in computational biology, pp. カーネルメソッド 計算生物学で p。 0.63
171–192, 2004. 171–192, 2004. 0.84
Lafferty, J. and Lebanon, G. Diffusion kernels on statistical manifolds. 統計多様体上のLafferty, J. and Lebanon, G. Diffusion kernel 0.88
Journal of Machine Learning Research, 6(1): 129–163, 2005. journal of machine learning research, 6(1): 129–163, 2005年。 0.91
Li, L., Jamieson, K. G., DeSalvo, G., Rostamizadeh, A., and Talwalkar, A. Hyperband: a novel bandit-based approach to hyper-parameter optimization. Li, L., Jamieson, K. G., DeSalvo, G., Rostamizadeh, A., and Talwalkar, A. Hyperband: ハイパーパラメータ最適化のための新しい帯域幅ベースのアプローチ。 0.82
Journal of Machine Learning Research (JMLR), 18:185:1–185:52, 2017. Journal of Machine Learning Research (JMLR), 18:185:1–185:52, 2017 0.77
Mania, H., Ramdas, A., Wainwright, M. J., Jordan, M. I., and Recht, B. Mania, H., Ramdas, A., Wainwright, M. J., Jordan, M. I., Recht, B。 0.87
On kernel methods for covariates that are rankings. ランキングである共変量に対するカーネルメソッドについて。 0.50
Electronic Journal of Statistics, 12(2):2537– 2577, 2018. Electronic Journal of Statistics, 12(2):2537–2577, 2018 0.84
Micchelli, C. A., Xu, Y., and Zhang, H. Universal kernels. Micchelli, C. A., Xu, Y., Zhang, H. Universal kernels 0.80
Journal of Machine Learning Research, 7(Dec):2651– 2667, 2006. journal of machine learning research, 7(dec):2651–2667, 2006年。 0.88
Mockus, J., Tiesis, V., and Zilinskas, A. Mockus, J., Tiesis, V., Zilinskas, A。 0.71
The application of bayesian methods for seeking the extremum. 極端探索のためのベイズ法の適用 0.55
Towards Global Optimization, 2(117-129), 1978. グローバル最適化に向けて, 2 117-129, 1978。 0.75
Neal, R. M. Slice sampling. ニール、R.M.スライスサンプリング。 0.62
Annals of statistics, 31(3): Annals of statistics, 31(3) 0.68
705–741, 6 2003. 705–741, 6 2003. 0.88
Oh, C., Tomczak, J., Gavves, E., and Welling, M. Combinatorial bayesian optimization using the graph cartesian product. O, C., Tomczak, J., Gavves, E., and Welling, M. Combinatorial bayesian optimization using the graph cartesian product。 0.86
In Advances in Neural Information Processing Systems, pp. ニューラル・インフォメーション・プロセッシング・システムにおける進歩, pp. 0.59
2910–2920, 2019. 2910–2920, 2019. 0.84
Pedregosa, F., Varoquaux, G., Gramfort, A., Michel, V., Thirion, B., Grisel, O., Blondel, M., Prettenhofer, P., Weiss, R., Dubourg, V., Vanderplas, J., Passos, A., Cournapeau, D., Brucher, M., Perrot, M., and Duchesnay, E. Scikit-learn: machine learning in python. pedregosa, f., varoquaux, g., gramfort, a., michel, v., thirion, b., grisel, o., blondel, m., prettenhofer, p., weiss, r., dubourg, v., vanderplas, j., passos, a., cournapeau, d., brucher, m., perrot, m. and duchesnay, e. scikit-learn: machine learning in python. 0.77
Journal of Machine Learning Research, 12:2825–2830, 2011. Journal of Machine Learning Research, 12:2825–2830, 2011 0.79
Rahimi, A. and Recht, B. Rahimi, A. and Recht, B 0.80
Random features for large-scale In Advances in Neural Information ニューラルネットワークの大規模進歩のためのランダム特徴 0.66
kernel machines. Processing Systems 20, pp. カーネルマシン。 処理システム20, pp。 0.70
1177–1184, 2007. 1177–1184, 2007. 0.84
Rasmussen, C. E. and Williams, C. K. I. Gaussian processes for machine learning. Rasmussen, C. E. and Williams, C. K. I. Gaussian process for machine learning 0.93
Adaptive computation and machine learning. 適応計算と機械学習。 0.71
MIT Press, 2006. 2006年、MIT出版。 0.65
Reklaitis, G. V., Ravindran, A., and Ragsdell, K. M. Engineering optimization: methods and applications. Reklaitis, G. V., Ravindran, A., Ragsdell, K. M. Engineering Optimization: Method and Applications 0.87
Wiley New York, 1983. 1983年、ニューヨーク。 0.48
Roustant, O., Padonou, E., Deville, Y., Cl´ement, A., Perrin, G., Giorla, J., and Wynn, H. Group kernels for gaussian process metamodels with categorical inputs. Roustant, O., Padonou, E., Deville, Y., Cl ́ement, A., Perrin, G., Giorla, J., and Wynn, H. Group kernels for gaussian process metamodels with categorical inputs。 0.88
SIAM/ASA Journal on Uncertainty Quantification, 8(2):775–806, 2020. SIAM/ASA Journal on Uncertainity Quantification, 8(2):775–806, 2020 0.86
Ru, B., Alvi, A. S., Nguyen, V., Osborne, M. A., and Roberts, S. J. Bayesian optimisation over multiple continuous and categorical inputs. Ru, B., Alvi, A. S., Nguyen, V., Osborne, M. A., and Roberts, S. J. Bayesian optimization over multiple continuous and categorical inputs。 0.91
In International Conference on Machine Learning (ICML), 2020. 2020年、国際機械学習会議(ICML)に参加。 0.75
Shahriari, B., Swersky, K., Wang, Z., Adams, R. P., and de Freitas, N. Taking the human out of the loop: A review of bayesian optimization. shahriari, b., swersky, k., wang, z., adams, r. p., de freitas, n. taking the human out of the loop: a review of bayesian optimization (英語) 0.64
Proceedings of the IEEE, 104 (1):148–175, 2016. IEEEの成果: 104 (1):148–175, 2016 0.74
Sriperumbudur, B. K., Fukumizu, K., and Lanckriet, G. R. Universality, characteristic kernels and rkhs embedding of measures. Sriperumbudur, B. K., Fukumizu, K. and Lanckriet, G. R. Universality, characteristic kernels and rkhs embedded of measures。 0.90
Journal of Machine Learning Research, 12 (7), 2011. journal of machine learning research, 12 (7), 2011年。 0.78
Steinwart, I. Steinwart, I。 0.81
On the influence of the kernel on the consistency of support vector machines. サポートベクトルマシンの整合性に及ぼすカーネルの影響について 0.67
Journal of Machine Learning Research, 2(Nov):67–93, 2001. Journal of Machine Learning Research, 2(Nov):67-93, 2001 0.92
英語(論文から抽出)日本語訳スコア
Bayesian Optimization over Hybrid Spaces ハイブリッド空間上のベイズ最適化 0.75
Steinwart, I. and Christmann, A. Steinwart, I. and Christmann, A. 0.94
Support vector machines. ベクトルマシンのサポート。 0.86
Springer Science & Business Media, 2008. スプリンガー・サイエンス&ビジネス・メディア、2008年。 0.44
Steinwart, I., Thomann, P., and Schmid, N. Steinwart, I., Thomann, P., Schmid, N。 0.74
Learning with hierarchical gaussian kernels. 階層ガウスカーネルによる学習。 0.61
arXiv preprint arXiv:1612.00824, 2016. arXiv preprint arXiv:1612.00824, 2016 0.80
Tanabe, R. and Ishibuchi, H. An easy-to-use real-world multi-objective optimization problem suite. 田辺, R. and Ishibuchi, H. 実世界の多目的最適化問題スイート 0.66
Applied Soft Computing, 89:106078, 2020. Applied Soft Computing, 89:106078, 2020。 0.91
Tuˇsar, T., Brockhoff, D., and Hansen, N. Mixed-integer benchmark problems for single-and bi-objective optimization. T., T., Brockhoff, D., and Hansen, N. Mixed-integer benchmark problem for single- and bi-jective optimization。 0.79
In Proceedings of the Genetic and Evolutionary Computation Conference, pp. the genetic and evolutionary computation conference, pp。 0.49
718–726, 2019. 718–726, 2019. 0.84
Verel, S., Derbel, B., Liefooghe, A., Aguirre, H., and Tanaka, K. A surrogate model based on walsh decomposition for pseudo-boolean functions. verel, s., derbel, b., liefooghe, a., aguirre, h., and tanaka, k. 擬似ボア関数のウォルシュ分解に基づくサロゲートモデル。
訳抜け防止モード: Verel, S., Derbel, B., Liefooghe, A. Aguirre, H. and Tanaka, K. 擬ブール関数のウォルシュ分解に基づく代理モデル。
0.70
In International Conference on Parallel Problem Solving from Nature, pp. international conference on parallel problem solve from nature, pp. (英語) 0.81
181–193. Springer, 2018. 181–193. 2018年、スプリンガー。 0.61
Wang, Z., Gehring, C., Kohli, P., and Jegelka, S. Batched large-scale bayesian optimization in high-dimensional spaces. Wang, Z., Gehring, C., Kohli, P., and Jegelka, S. Batched large-scale bayesian optimization in high-dimensional space。 0.92
In International Conference on Artificial Intelligence and Statistics, pp. International Conference on Artificial Intelligence and Statistics, pp。 0.72
745–754, 2018. 745–754, 2018. 0.84
Zhou, Z., Belakaria, S., Deshwal, A., Hong, W., Doppa, J. R., Pande, P. P., and Heo, D. Design of multi-output switched-capacitor voltage regulator via machine learning. Zhou, Z., Belakaria, S., Deshwal, A., Hong, W., Doppa, J. R., Pande, P. P., and Heo, D. 機械学習によるマルチ出力切換キャパシタ電圧制御器の設計 0.90
In DATE, 2020. 2020年、DATE。 0.73
                             ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。