論文の概要: What do you Mean? The Role of the Mean Function in Bayesian Optimisation

• arxiv url: http://arxiv.org/abs/2004.08349v2
• Date: Fri, 8 May 2020 11:54:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 12:39:11.547123
• Title: What do you Mean? The Role of the Mean Function in Bayesian Optimisation
• Title（参考訳）: どういう意味ですか。 ベイズ最適化における平均関数の役割
• Authors: George De Ath and Jonathan E. Fieldsend and Richard M. Everson
• Abstract要約: 収束速度は平均関数の選択に敏感に依存できることを示す。 設計次元について、最低の観測値に等しい定数平均関数を使用する$ge5$が、常に最良の選択であることがわかった。
• 参考スコア（独自算出の注目度）: 0.03305438525880806
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian optimisation is a popular approach for optimising expensive black-box functions. The next location to be evaluated is selected via maximising an acquisition function that balances exploitation and exploration. Gaussian processes, the surrogate models of choice in Bayesian optimisation, are often used with a constant prior mean function equal to the arithmetic mean of the observed function values. We show that the rate of convergence can depend sensitively on the choice of mean function. We empirically investigate 8 mean functions (constant functions equal to the arithmetic mean, minimum, median and maximum of the observed function evaluations, linear, quadratic polynomials, random forests and RBF networks), using 10 synthetic test problems and two real-world problems, and using the Expected Improvement and Upper Confidence Bound acquisition functions. We find that for design dimensions $\ge5$ using a constant mean function equal to the worst observed quality value is consistently the best choice on the synthetic problems considered. We argue that this worst-observed-quality function promotes exploitation leading to more rapid convergence. However, for the real-world tasks the more complex mean functions capable of modelling the fitness landscape may be effective, although there is no clearly optimum choice.
• Abstract（参考訳）: ベイズ最適化は高価なブラックボックス関数を最適化するための一般的なアプローチである。 次に評価すべき場所は、搾取と探査のバランスをとる取得機能を最大化することで選択される。 ベイズ最適化における選択の代理モデルであるガウス過程は、観測された関数値の算術平均に等しい定数平均関数でしばしば使用される。 その結果,収束率は平均関数の選択に敏感に依存できることがわかった。 平均関数(観測された関数評価値の算術平均,最小,中央値,最大値,線形,二次多項式,ランダムフォレスト,rpfネットワーク)を10の合成テスト問題と2つの実世界問題を用いて実験的に検討し,期待値の改善と高信頼境界獲得関数を用いて実験を行った。 設計次元に対して、最低の観察された品質値と同等の定数平均関数を用いた$\ge5$は、考慮された合成問題において一貫して最良の選択である。 我々は、この最悪の観測された品質関数は、より迅速な収束につながる搾取を促進すると論じている。 しかし、現実世界のタスクでは、フィットネスランドスケープをモデル化できるより複雑な平均関数は効果的であるが、明確な最適選択はない。

関連論文リスト

• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• On the development of a Bayesian optimisation framework for complex unknown systems [11.066706766632578]
  本稿では, ベイズ最適化アルゴリズムを様々な合成試験関数に対して実験的に検討し, 比較する。 取得関数の選択とトレーニングサンプル数,取得関数の正確な計算,モンテカルロに基づくアプローチについて検討する。
  論文  参考訳（メタデータ） (2022-07-19T09:50:34Z)
• Rectified Max-Value Entropy Search for Bayesian Optimization [54.26984662139516]
  我々は、相互情報の概念に基づいて、修正されたMES取得関数を開発する。 その結果、RMESは、いくつかの合成関数ベンチマークと実世界の最適化問題において、MESよりも一貫した改善を示している。
  論文  参考訳（メタデータ） (2022-02-28T08:11:02Z)
• Asymptotic convergence rates for averaging strategies [10.639022684335293]
  並列二次ブラックボックス最適化は、$lambda$並列評価の$f$を使って関数の最適値を推定する。 $lambda$評価の中で$mu$の最高の個人を評価することは、単にベストを拾うよりも、関数の最適性をよりよく見積もることが知られている。
  論文  参考訳（メタデータ） (2021-08-10T14:09:46Z)
• Bayesian Optimization for Min Max Optimization [77.60508571062958]
  そこで我々は,最適化すべき関数が事前に分かっていないような設定でMin Max Optimizationを実行するアルゴリズムを提案する。 我々は,改善を期待する2つの獲得機能とガウス過程の上部信頼境界を拡張した。 これらの取得機能は、ベンチマーク設定よりも高速に収束する、より良いソリューションを可能にすることを示す。
  論文  参考訳（メタデータ） (2021-07-29T06:49:34Z)
• Regret Bounds for Gaussian-Process Optimization in Large Domains [40.92207267407271]
  最適化戦略から得られる解の準最適性(ベイズ的単純後悔)の上限を与える。 これらの後悔の境界は、評価の数、ドメインサイズ、および検索された関数値の最適性の関係を照らす。 特に、評価の数が小さすぎて大域的な最適値が見つからなかったとしても、非自明な関数値を見つけることができる。
  論文  参考訳（メタデータ） (2021-04-29T05:19:03Z)
• Finding Global Minima via Kernel Approximations [90.42048080064849]
  関数評価のみに基づく滑らかな関数のグローバル最小化を考える。 本稿では,近似関数を共同でモデル化し,大域的最小値を求める手法を検討する。
  論文  参考訳（メタデータ） (2020-12-22T12:59:30Z)
• Are we Forgetting about Compositional Optimisers in Bayesian Optimisation? [66.39551991177542]
  本稿では,グローバル最適化のためのサンプル手法を提案する。 この中、重要なパフォーマンス決定の自明さは、取得機能を最大化することです。 3958実験における機能最適化手法の実証的利点を強調する。
  論文  参考訳（メタデータ） (2020-12-15T12:18:38Z)
• Bayesian Optimization of Risk Measures [7.799648230758491]
  我々は、$rho[F(x, W) ]$ という形の目的関数のベイズ最適化を考える。 目的関数の構造を利用してサンプリング効率を大幅に向上する新しいベイズ最適化アルゴリズム群を提案する。
  論文  参考訳（メタデータ） (2020-07-10T18:20:46Z)
• Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
  大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。 このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。 本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。 先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
  論文  参考訳（メタデータ） (2020-03-27T06:18:49Z)
• Composition of kernel and acquisition functions for High Dimensional Bayesian Optimization [0.1749935196721634]
  目的関数の追加性を用いて、ベイズ最適化のカーネルと取得関数の両方をマッピングする。 このap-proachは確率的代理モデルの学習/更新をより効率的にする。 都市給水システムにおけるポンプの制御を実運用に適用するための結果が提示された。
  論文  参考訳（メタデータ） (2020-03-09T15:45:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。