論文の概要: Differentiable Expected Hypervolume Improvement for Parallel Multi-Objective Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2006.05078v3
• Date: Fri, 23 Oct 2020 04:20:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 13:14:34.160030
• Title: Differentiable Expected Hypervolume Improvement for Parallel Multi-Objective Bayesian Optimization
• Title（参考訳）: 並列多目的ベイズ最適化のための微分可能なハイパーボリューム改善
• Authors: Samuel Daulton, Maximilian Balandat, Eytan Bakshy
• Abstract要約: 我々は、期待されるハイパー改善(EHVI)を用いた多目的BOのプログラミングモデルとハードウェアアクセラレーションの最近の進歩を活用する。 我々は、EHVIを並列な制約付き評価設定に拡張する取得関数であるq-Expected Hyper Improvement (qEHVI) の新規な定式化を導出する。 実験により,qEHVIは実運用シナリオの多くで計算可能であり,壁面時間のごく一部で最先端の多目的BOアルゴリズムより優れていることが示された。
• 参考スコア（独自算出の注目度）: 11.956059322407437
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In many real-world scenarios, decision makers seek to efficiently optimize multiple competing objectives in a sample-efficient fashion. Multi-objective Bayesian optimization (BO) is a common approach, but many of the best-performing acquisition functions do not have known analytic gradients and suffer from high computational overhead. We leverage recent advances in programming models and hardware acceleration for multi-objective BO using Expected Hypervolume Improvement (EHVI)---an algorithm notorious for its high computational complexity. We derive a novel formulation of q-Expected Hypervolume Improvement (qEHVI), an acquisition function that extends EHVI to the parallel, constrained evaluation setting. qEHVI is an exact computation of the joint EHVI of q new candidate points (up to Monte-Carlo (MC) integration error). Whereas previous EHVI formulations rely on gradient-free acquisition optimization or approximated gradients, we compute exact gradients of the MC estimator via auto-differentiation, thereby enabling efficient and effective optimization using first-order and quasi-second-order methods. Our empirical evaluation demonstrates that qEHVI is computationally tractable in many practical scenarios and outperforms state-of-the-art multi-objective BO algorithms at a fraction of their wall time.
• Abstract（参考訳）: 多くの実世界のシナリオにおいて、意思決定者はサンプル効率の良い方法で複数の競合する目標を効率的に最適化しようとする。 多目的ベイズ最適化(BO)は一般的な手法であるが、最も優れた獲得関数の多くは解析的な勾配が分かっておらず、高い計算オーバーヘッドに悩まされている。 我々は,予測ハイパーボリューム改善(EHVI)を用いた多目的BOのプログラミングモデルとハードウェアアクセラレーションの最近の進歩を活用する。 我々は、EHVIを並列な制約付き評価設定に拡張する取得関数q-Expected Hypervolume Improvement (qEHVI) の新たな定式化を導出する。 qEHVI は q の新しい候補点(モンテカルロ積分誤差まで)の合同 EHVI の正確な計算である。 従来のEHVIの定式化は、勾配なしの取得最適化や近似勾配に依存するが、自動微分によりMC推定器の正確な勾配を計算することにより、一階法と準二階法の効率よく効率的な最適化を可能にする。 実験により,qEHVIは実運用シナリオで計算可能であり,壁面時間の一部で最先端の多目的BOアルゴリズムより優れていた。

関連論文リスト

• Unexpected Improvements to Expected Improvement for Bayesian Optimization [23.207497480389208]
  提案するLogEIは,メンバが標準値と同一あるいはほぼ等しい最適値を持つが,数値的最適化が極めて容易な,新たな獲得関数群である。 実験結果から,LogEIファミリーの獲得関数は,標準関数の最適化性能を大幅に向上し,最近の最先端の獲得関数の性能に匹敵する結果が得られた。
  論文  参考訳（メタデータ） (2023-10-31T17:59:56Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
  本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。 木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。 3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
  論文  参考訳（メタデータ） (2022-09-09T14:58:43Z)
• An Online Prediction Approach Based on Incremental Support Vector Machine for Dynamic Multiobjective Optimization [19.336520152294213]
  インクリメンタルサポートベクトルマシン(ISVM)に基づく新しい予測アルゴリズムを提案する。 動的多目的最適化問題(DMOP)の解決をオンライン学習プロセスとして扱う。 提案アルゴリズムは動的多目的最適化問題に効果的に取り組むことができる。
  論文  参考訳（メタデータ） (2021-02-24T08:51:23Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Batch Sequential Adaptive Designs for Global Optimization [5.825138898746968]
  効率的なグローバル最適化(EGO)は、高価なブラックボックス最適化問題に対する最も一般的なSAD手法の1つである。 これらの複数点のEGO法では、重い計算とポイントのクラスタリングが障害となる。 本研究では, 改良されたサンプリング/インポータンス・リサンプリング(SIR)法を用いて, 「加速EGO」と呼ばれる新しいバッチSAD法を転送する。 提案したSADの効率は,次元が2～12の9つの古典的テスト関数によって検証される。
  論文  参考訳（メタデータ） (2020-10-21T01:11:35Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)
• Parallel Predictive Entropy Search for Multi-objective Bayesian Optimization with Constraints [0.0]
  実世界の問題は、しばしば複数の制約の下で複数の目的を最適化する。 本稿では,ブラックボックス関数の同時最適化のための情報ベースバッチ手法であるPESMOCを紹介する。 繰り返して、PESMOCはブラックボックスを評価するための入力場所のバッチを選択する。
  論文  参考訳（メタデータ） (2020-04-01T17:37:58Z)
• aphBO-2GP-3B: A budgeted asynchronous parallel multi-acquisition functions for constrained Bayesian optimization on high-performing computing architecture [4.738678765150249]
  非同期制約付きバッチ並列ベイズ最適化法を提案する。 この方法の利点は3倍である。 aphBO-2GP-3Bフレームワークは2つの高忠実度産業応用を用いて実証されている。
  論文  参考訳（メタデータ） (2020-03-20T18:02:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。