論文の概要: Probability Distribution of Hypervolume Improvement in Bi-objective Bayesian Optimization
- arxiv url: http://arxiv.org/abs/2205.05505v3
- Date: Mon, 6 May 2024 11:11:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-08 03:49:02.125667
- Title: Probability Distribution of Hypervolume Improvement in Bi-objective Bayesian Optimization
- Title（参考訳）: 双目的ベイズ最適化における超体積改善の確率分布
- Authors: Hao Wang, Kaifeng Yang, Michael Affenzeller,
- Abstract要約: ハイパーボリューム改善(HVI)は、多目的ベイズ最適化アルゴリズムで一般的に用いられる。
両目的問題に対するHVIの確率分布の正確な表現を提供する。
本稿では,新たな取得関数である$varepsilon$-PoHVIを提案する。
- 参考スコア（独自算出の注目度）: 5.586361810914231
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hypervolume improvement (HVI) is commonly employed in multi-objective Bayesian optimization algorithms to define acquisition functions due to its Pareto-compliant property. Rather than focusing on specific statistical moments of HVI, this work aims to provide the exact expression of HVI's probability distribution for bi-objective problems. Considering a bi-variate Gaussian random variable resulting from Gaussian process (GP) modeling, we derive the probability distribution of its hypervolume improvement via a cell partition-based method. Our exact expression is superior in numerical accuracy and computation efficiency compared to the Monte Carlo approximation of HVI's distribution. Utilizing this distribution, we propose a novel acquisition function - $\varepsilon$-probability of hypervolume improvement ($\varepsilon$-PoHVI). Experimentally, we show that on many widely-applied bi-objective test problems, $\varepsilon$-PoHVI significantly outperforms other related acquisition functions, e.g., $\varepsilon$-PoI, and expected hypervolume improvement, when the GP model exhibits a large the prediction uncertainty.
- Abstract（参考訳）: ハイパーボリューム改善(HVI)は、多目的ベイズ最適化アルゴリズムにおいて、パレートに準拠する性質から取得関数を定義するために一般的に用いられる。
HVIの特定の統計モーメントに焦点をあてるのではなく、両目的問題に対するHVIの確率分布の正確な表現を提供することを目的としている。
ガウス過程(GP)モデリングによる二変量ガウス確率変数を考慮し,セル分割法による超体積改善の確率分布を導出する。
我々は,HVI分布のモンテカルロ近似と比較して,数値的精度と計算効率が優れている。
この分布を利用することで、超体積改善の確率$\varepsilon$-PoHVIという新しい取得関数を提案する。
実験により,広範に応用された両対象検定問題において,GPモデルが大きな予測不確実性を示す場合,$\varepsilon$-PoHVIは,他の関連する取得関数,例えば$\varepsilon$-PoIよりも有意に優れ,超体積改善が期待できることを示した。
関連論文リスト
- EigenVI: score-based variational inference with orthogonal function expansions [23.696028065251497]
EigenVIはブラックボックス変分推論(BBVI)のための固有値に基づくアプローチである
我々はEigenVIを用いて様々なターゲット分布を近似し、例えば後方dbのベイズモデルのベンチマークスイートを含む。
論文 参考訳（メタデータ） (2024-10-31T15:48:34Z) - Extending Mean-Field Variational Inference via Entropic Regularization: Theory and Computation [2.2656885622116394]
変分推論 (VI) は高次元ベイズモデルに対する近似推論の一般的な方法として登場した。
エントロピー正則化を通したナイーブ平均場を拡張する新しいVI法を提案する。
我々は,$Xi$-variational rearsが真の後縁依存性を効果的に回復することを示した。
論文 参考訳（メタデータ） (2024-04-14T01:40:11Z) - Efficient expectation propagation for posterior approximation in
high-dimensional probit models [1.433758865948252]
ベイジアンプロビット回帰における後部分布の予測伝搬(EP)近似に着目した。
拡張多変量スキュー正規分布における結果の活用方法を示し,EPルーチンの効率的な実装を導出する。
これにより、EPは、詳細なシミュレーション研究で示されているように、高次元設定に挑戦する上でも実現可能である。
論文 参考訳（メタデータ） (2023-09-04T14:07:19Z) - Ensemble Multi-Quantiles: Adaptively Flexible Distribution Prediction
for Uncertainty Quantification [4.728311759896569]
本稿では,機械学習における不確実性を定量化するために,分布予測の新しい,簡潔かつ効果的な手法を提案する。
これは回帰タスクにおいて$mathbbP(mathbfy|mathbfX=x)$の適応的に柔軟な分布予測を組み込む。
UCIデータセットからの大規模な回帰タスクでは、EMQが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2022-11-26T11:45:32Z) - Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。
本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。
MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
論文 参考訳（メタデータ） (2022-10-26T10:12:31Z) - Efficient Approximation of Expected Hypervolume Improvement using
Gauss-Hermite Quadrature [0.0]
ガウス・ハーマイト二次構造はモンテカルロの独立性および相関性のある予測密度に対する正確な代替物である。
独立性および相関性のある予測密度に対するモンテカルロの正確な代替であることを示す。
論文 参考訳（メタデータ） (2022-06-15T22:09:48Z) - Loss function based second-order Jensen inequality and its application
to particle variational inference [112.58907653042317]
粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。
PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。
我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
論文 参考訳（メタデータ） (2021-06-09T12:13:51Z) - Likelihood-Free Inference with Deep Gaussian Processes [70.74203794847344]
サーロゲートモデルは、シミュレータ評価の回数を減らすために、可能性のない推論に成功している。
本稿では,より不規則な対象分布を扱えるディープガウス過程(DGP)サロゲートモデルを提案する。
本実験は,DGPがマルチモーダル分布を持つ目的関数上でGPよりも優れ,単調な場合と同等の性能を維持できることを示す。
論文 参考訳（メタデータ） (2020-06-18T14:24:05Z) - Randomised Gaussian Process Upper Confidence Bound for Bayesian
Optimisation [60.93091603232817]
改良されたガウス過程上信頼境界(GP-UCB)取得関数を開発した。
これは、分布から探索・探索トレードオフパラメータをサンプリングすることによって行われる。
これにより、期待されるトレードオフパラメータが、関数のベイズ的後悔に縛られることなく、問題によりよく適合するように変更できることが証明される。
論文 参考訳（メタデータ） (2020-06-08T00:28:41Z) - Gaussianization Flows [113.79542218282282]
そこで本研究では,サンプル生成における効率のよい繰り返しと効率のよい逆変換を両立できる新しい型正規化フローモデルを提案する。
この保証された表現性のため、サンプル生成の効率を損なうことなく、マルチモーダルなターゲット分布をキャプチャできる。
論文 参考訳（メタデータ） (2020-03-04T08:15:06Z) - Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
確率分布が未知な分布の不確実性の下でBQOについて検討する。
標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。
この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
論文 参考訳（メタデータ） (2020-01-19T12:00:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。