論文の概要: Probability Distribution of Hypervolume Improvement in Bi-objective
Bayesian Optimization
- arxiv url: http://arxiv.org/abs/2205.05505v2
- Date: Thu, 12 May 2022 09:21:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-13 12:24:05.058973
- Title: Probability Distribution of Hypervolume Improvement in Bi-objective
Bayesian Optimization
- Title(参考訳): 双目的ベイズ最適化における超体積改善の確率分布
- Authors: Hao Wang, Kaifeng Yang, Michael Affenzeller, Michael Emmerich
- Abstract要約: この研究は、ベイズ最適化の双目的一般化のための超体積改善(HVI)の確率分布の正確な表現を提供する。
モンテカルロサンプリングによる近似よりも正確な分布の数値的精度と効率が優れていることを示す。
- 参考スコア(独自算出の注目度): 5.381790995882069
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work provides the exact expression of the probability distribution of
the hypervolume improvement (HVI) for bi-objective generalization of Bayesian
optimization. Here, instead of a single-objective improvement, we consider the
improvement of the hypervolume indicator concerning the current best
approximation of the Pareto front. Gaussian process regression models are
trained independently on both objective functions, resulting in a bi-variate
separated Gaussian distribution serving as a predictive model for the
vector-valued objective function. Some commonly HVI-based acquisition functions
(probability of improvement and upper confidence bound) are also leveraged with
the help of the exact distribution of HVI. In addition, we show the superior
numerical accuracy and efficiency of the exact distribution compared to the
commonly used approximation by Monte-Carlo sampling. Finally, we benchmark
distribution-leveraged acquisition functions on the widely applied ZDT problem
set, demonstrating a significant advantage of using the exact distribution of
HVI in multi-objective Bayesian optimization.
- Abstract(参考訳): この研究は、ベイズ最適化の双目的一般化のための超体積改善(HVI)の確率分布の正確な表現を提供する。
ここでは,単一目的の改善ではなく,パレート前線の現在の最良近似に関するハイパーボリューム指標の改善を検討する。
ガウス過程回帰モデルは、両方の目的関数に基づいて独立に訓練され、ベクトル値の対象関数の予測モデルとして機能する二変量分離ガウス分布となる。
いくつかのHVIベースの取得関数(改善の確率と高信頼境界)もHVIの正確な分布の助けを借りて活用される。
さらに,モンテカルロサンプリングによる近似よりも正確な分布の数値的精度と効率が優れていることを示す。
最後に,広く適用されたzdt問題集合上での分布平均取得関数のベンチマークを行い,多目的ベイズ最適化におけるhviの正確な分布の利点を示す。
関連論文リスト
- Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳(メタデータ) (2024-01-29T02:08:40Z) - On diffusion-based generative models and their error bounds: The
log-concave case with full convergence estimates [3.8447306272420816]
我々は,強い対数空間データ分布を仮定して,拡散に基づく生成モデルの収束挙動を理論的に保証する。
我々は、モチベーションの例を通して、未知の平均を持つガウス分布からサンプリングし、我々のアプローチの強力さを実証する。
この手法はサンプリングアルゴリズムにおいて最もよく知られた収束率をもたらす。
論文 参考訳(メタデータ) (2023-11-22T18:40:45Z) - Efficient expectation propagation for posterior approximation in
high-dimensional probit models [1.433758865948252]
ベイジアンプロビット回帰における後部分布の予測伝搬(EP)近似に着目した。
拡張多変量スキュー正規分布における結果の活用方法を示し,EPルーチンの効率的な実装を導出する。
これにより、EPは、詳細なシミュレーション研究で示されているように、高次元設定に挑戦する上でも実現可能である。
論文 参考訳(メタデータ) (2023-09-04T14:07:19Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳(メタデータ) (2022-09-27T07:58:25Z) - Distributional Gradient Boosting Machines [77.34726150561087]
私たちのフレームワークはXGBoostとLightGBMをベースにしています。
我々は,このフレームワークが最先端の予測精度を実現することを示す。
論文 参考訳(メタデータ) (2022-04-02T06:32:19Z) - Gaussian Graphical Models as an Ensemble Method for Distributed Gaussian
Processes [8.4159776055506]
我々はガウスの専門家の予測をガウス図形モデル(GGM)により集約する新しいアプローチを提案する。
まず、予測最大化(EM)アルゴリズムを用いて、潜伏変数と観測変数の合同分布を推定する。
我々の新しい手法は他の最先端のDGP手法よりも優れている。
論文 参考訳(メタデータ) (2022-02-07T15:22:56Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳(メタデータ) (2021-06-30T11:00:24Z) - Loss function based second-order Jensen inequality and its application
to particle variational inference [112.58907653042317]
粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。
PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。
我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
論文 参考訳(メタデータ) (2021-06-09T12:13:51Z) - Stochastic Learning Approach to Binary Optimization for Optimal Design
of Experiments [0.0]
本稿では,偏微分方程式などの数学モデルによるベイズ逆問題に対する最適実験設計 (OED) のための二項最適化への新しいアプローチを提案する。
OEDユーティリティ関数、すなわち正規化された最適性勾配はベルヌーイ分布に対する期待の形で目的関数にキャストされる。
この目的を確率的最適化ルーチンを用いて最適な観測方針を求めることで解決する。
論文 参考訳(メタデータ) (2021-01-15T03:54:12Z) - Gaussianization Flows [113.79542218282282]
そこで本研究では,サンプル生成における効率のよい繰り返しと効率のよい逆変換を両立できる新しい型正規化フローモデルを提案する。
この保証された表現性のため、サンプル生成の効率を損なうことなく、マルチモーダルなターゲット分布をキャプチャできる。
論文 参考訳(メタデータ) (2020-03-04T08:15:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。