論文の概要: Unexpected Improvements to Expected Improvement for Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2310.20708v1
• Date: Tue, 31 Oct 2023 17:59:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 13:41:09.429430
• Title: Unexpected Improvements to Expected Improvement for Bayesian Optimization
• Title（参考訳）: ベイズ最適化における期待外の改善
• Authors: Sebastian Ament, Samuel Daulton, David Eriksson, Maximilian Balandat, Eytan Bakshy
• Abstract要約: 提案するLogEIは,メンバが標準値と同一あるいはほぼ等しい最適値を持つが,数値的最適化が極めて容易な,新たな獲得関数群である。 実験結果から,LogEIファミリーの獲得関数は,標準関数の最適化性能を大幅に向上し,最近の最先端の獲得関数の性能に匹敵する結果が得られた。
• 参考スコア（独自算出の注目度）: 23.207497480389208
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Expected Improvement (EI) is arguably the most popular acquisition function in Bayesian optimization and has found countless successful applications, but its performance is often exceeded by that of more recent methods. Notably, EI and its variants, including for the parallel and multi-objective settings, are challenging to optimize because their acquisition values vanish numerically in many regions. This difficulty generally increases as the number of observations, dimensionality of the search space, or the number of constraints grow, resulting in performance that is inconsistent across the literature and most often sub-optimal. Herein, we propose LogEI, a new family of acquisition functions whose members either have identical or approximately equal optima as their canonical counterparts, but are substantially easier to optimize numerically. We demonstrate that numerical pathologies manifest themselves in "classic" analytic EI, Expected Hypervolume Improvement (EHVI), as well as their constrained, noisy, and parallel variants, and propose corresponding reformulations that remedy these pathologies. Our empirical results show that members of the LogEI family of acquisition functions substantially improve on the optimization performance of their canonical counterparts and surprisingly, are on par with or exceed the performance of recent state-of-the-art acquisition functions, highlighting the understated role of numerical optimization in the literature.
• Abstract（参考訳）: 期待改善 (ei) はおそらくベイズ最適化において最も人気のある獲得関数であり、数え切れないほど成功したアプリケーションを見出しているが、その性能は近年の手法に匹敵することが多い。 特に、並列および多目的設定を含むEIとその変種は、多くの領域でその取得値が数値的に消滅するため、最適化が難しい。 この難易度は一般に、観察数、探索空間の次元性、あるいは制約の数が増えるにつれて増大し、結果として文学的およびしばしば最適でない性能をもたらす。 本稿では,各メンバーが同じあるいはほぼ同等の最適値を持つ新たな獲得関数群であるLogEIを提案するが,数値的最適化は極めて容易である。 古典的"解析ei,期待超容積改善 (ehvi) ,制約付き, ノイズ, パラレル変種において, 数値病理が現れることを実証し, これらの病理を治療する対応する再構成法を提案する。 実験の結果,LogEIファミリーの獲得関数は,その最適化性能を大幅に向上し,最近の最先端の獲得関数の性能に匹敵するものであることが明らかとなり,文献における数値最適化の役割が過小評価されている。

関連論文リスト

• Benchmarking Optimizers for Qumode State Preparation with Variational Quantum Algorithms [10.941053143198092]
  この分野の進歩と潜在的な応用により、クォーモックへの関心が高まっている。 本稿では,変分量子アルゴリズムを用いて状態準備に使用する各種パラメータのパフォーマンスベンチマークを提供することにより,このギャップを埋めることを目的とする。
  論文  参考訳（メタデータ） (2024-05-07T17:15:58Z)
• A Corrected Expected Improvement Acquisition Function Under Noisy Observations [22.63212972670109]
  期待される改善の順序 (EI) はベイズ最適化において最も広く用いられている政策の一つである。 既存の解に関する不確実性は、多くの解析的EI型法で無視されることが多い。 本稿では,ガウス過程(GP)モデルによって提供される共分散情報を組み込むことで,その閉形式表現を補正するEIの修正を提案する。
  論文  参考訳（メタデータ） (2023-10-08T13:50:39Z)
• DeepHive: A multi-agent reinforcement learning approach for automated discovery of swarm-based optimization policies [0.0]
  Swarm内の各エージェントの状態は、設計空間内の現在の位置と関数値として定義される。 提案手法は,様々なベンチマーク最適化関数を用いて検証し,他のグローバル最適化手法との比較を行った。
  論文  参考訳（メタデータ） (2023-03-29T18:08:08Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Optimizer Amalgamation [124.33523126363728]
  私たちは、Amalgamationという新しい問題の研究を動機付けています。"Teacher"アマルガメーションのプールを、より強力な問題固有のパフォーマンスを持つ単一の"学生"にどのように組み合わせるべきなのでしょうか? まず、勾配降下による解析のプールをアマルガメートする3つの異なるメカニズムを定義する。 また, プロセスの分散を低減するため, 目標を摂動させることでプロセスの安定化を図る。
  論文  参考訳（メタデータ） (2022-03-12T16:07:57Z)
• Rectified Max-Value Entropy Search for Bayesian Optimization [54.26984662139516]
  我々は、相互情報の概念に基づいて、修正されたMES取得関数を開発する。 その結果、RMESは、いくつかの合成関数ベンチマークと実世界の最適化問題において、MESよりも一貫した改善を示している。
  論文  参考訳（メタデータ） (2022-02-28T08:11:02Z)
• Are we Forgetting about Compositional Optimisers in Bayesian Optimisation? [66.39551991177542]
  本稿では,グローバル最適化のためのサンプル手法を提案する。 この中、重要なパフォーマンス決定の自明さは、取得機能を最大化することです。 3958実験における機能最適化手法の実証的利点を強調する。
  論文  参考訳（メタデータ） (2020-12-15T12:18:38Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)
• Differentiable Expected Hypervolume Improvement for Parallel Multi-Objective Bayesian Optimization [11.956059322407437]
  我々は、期待されるハイパー改善(EHVI)を用いた多目的BOのプログラミングモデルとハードウェアアクセラレーションの最近の進歩を活用する。 我々は、EHVIを並列な制約付き評価設定に拡張する取得関数であるq-Expected Hyper Improvement (qEHVI) の新規な定式化を導出する。 実験により,qEHVIは実運用シナリオの多くで計算可能であり,壁面時間のごく一部で最先端の多目的BOアルゴリズムより優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-09T06:57:47Z)
• Composition of kernel and acquisition functions for High Dimensional Bayesian Optimization [0.1749935196721634]
  目的関数の追加性を用いて、ベイズ最適化のカーネルと取得関数の両方をマッピングする。 このap-proachは確率的代理モデルの学習/更新をより効率的にする。 都市給水システムにおけるポンプの制御を実運用に適用するための結果が提示された。
  論文  参考訳（メタデータ） (2020-03-09T15:45:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。