論文の概要: Are we Forgetting about Compositional Optimisers in Bayesian Optimisation?

• arxiv url: http://arxiv.org/abs/2012.08240v2
• Date: Thu, 17 Dec 2020 12:20:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-07 05:34:30.225450
• Title: Are we Forgetting about Compositional Optimisers in Bayesian Optimisation?
• Title（参考訳）: ベイズ最適化における構成最適化の課題
• Authors: Antoine Grosnit, Alexander I. Cowen-Rivers, Rasul Tutunov, Ryan-Rhys Griffiths, Jun Wang, Haitham Bou-Ammar
• Abstract要約: 本稿では,グローバル最適化のためのサンプル手法を提案する。 この中、重要なパフォーマンス決定の自明さは、取得機能を最大化することです。 3958実験における機能最適化手法の実証的利点を強調する。
• 参考スコア（独自算出の注目度）: 66.39551991177542
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian optimisation presents a sample-efficient methodology for global optimisation. Within this framework, a crucial performance-determining subroutine is the maximisation of the acquisition function, a task complicated by the fact that acquisition functions tend to be non-convex and thus nontrivial to optimise. In this paper, we undertake a comprehensive empirical study of approaches to maximise the acquisition function. Additionally, by deriving novel, yet mathematically equivalent, compositional forms for popular acquisition functions, we recast the maximisation task as a compositional optimisation problem, allowing us to benefit from the extensive literature in this field. We highlight the empirical advantages of the compositional approach to acquisition function maximisation across 3958 individual experiments comprising synthetic optimisation tasks as well as tasks from Bayesmark. Given the generality of the acquisition function maximisation subroutine, we posit that the adoption of compositional optimisers has the potential to yield performance improvements across all domains in which Bayesian optimisation is currently being applied.
• Abstract（参考訳）: ベイズ最適化は、グローバル最適化のためのサンプル効率のよい方法論を提供する。 このフレームワークの中で重要な性能決定サブルーチンは、取得関数の最大化であり、取得関数は非凸であり、したがって最適化が非自明であるという事実に複雑である。 本稿では,取得関数を最大化するためのアプローチに関する包括的実証研究を行う。 加えて、人気獲得関数の新規かつ数学的に等価な合成形式を導出することにより、最大化タスクを構成最適化問題として再キャストし、この分野の広範な文献から恩恵を受けることができる。 合成最適化タスクとベイズマルクのタスクからなる3958個の個別実験に対して, 獲得関数の最大化に対する構成的アプローチの実証的利点を強調した。 獲得関数最大化サブルーチンの一般性を考えると、合成オプティマイザの採用はベイズ最適化が現在適用されているすべての領域で性能改善をもたらす可能性があると仮定する。

関連論文リスト

• A General Framework for User-Guided Bayesian Optimization [51.96352579696041]
  コラボ (ColaBO) は、典型的なカーネル構造を超越した事前信念のための最初のベイズ原理の枠組みである。 我々は,ColaBOの事前情報が正確である場合に最適化を著しく高速化し,ミスリード時のほぼ既定性能を維持する能力を実証的に実証した。
  論文  参考訳（メタデータ） (2023-11-24T18:27:26Z)
• Optimistic Optimization of Gaussian Process Samples [30.226274682578172]
  競合する、計算的により効率的でグローバルな最適化フレームワークは楽観的な最適化であり、これは探索空間の幾何学に関する事前知識を相似関数として利用している。 幾何的探索と確率的探索の間には新たな研究領域があり、ベイズ最適化の重要な機能を保ちながら、従来のベイズ最適化よりも大幅に高速に実行される方法がある。
  論文  参考訳（メタデータ） (2022-09-02T09:06:24Z)
• On the development of a Bayesian optimisation framework for complex unknown systems [11.066706766632578]
  本稿では, ベイズ最適化アルゴリズムを様々な合成試験関数に対して実験的に検討し, 比較する。 取得関数の選択とトレーニングサンプル数,取得関数の正確な計算,モンテカルロに基づくアプローチについて検討する。
  論文  参考訳（メタデータ） (2022-07-19T09:50:34Z)
• Non-Convex Optimization with Certificates and Fast Rates Through Kernel Sums of Squares [68.8204255655161]
  非最適化近似問題を考える。 本稿では,最優先計算を保証するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-04-11T09:37:04Z)
• Optimizer Amalgamation [124.33523126363728]
  私たちは、Amalgamationという新しい問題の研究を動機付けています。"Teacher"アマルガメーションのプールを、より強力な問題固有のパフォーマンスを持つ単一の"学生"にどのように組み合わせるべきなのでしょうか? まず、勾配降下による解析のプールをアマルガメートする3つの異なるメカニズムを定義する。 また, プロセスの分散を低減するため, 目標を摂動させることでプロセスの安定化を図る。
  論文  参考訳（メタデータ） (2022-03-12T16:07:57Z)
• Optimizing Bayesian acquisition functions in Gaussian Processes [0.0]
  本稿では,最大改善確率や期待改善率などの異なる取得機能について分析する。 また, 時間分析とともに, 選択した初期試料の位置の重要性も示した。
  論文  参考訳（メタデータ） (2021-11-09T03:25:15Z)
• Bayesian Optimization for Min Max Optimization [77.60508571062958]
  そこで我々は,最適化すべき関数が事前に分かっていないような設定でMin Max Optimizationを実行するアルゴリズムを提案する。 我々は,改善を期待する2つの獲得機能とガウス過程の上部信頼境界を拡張した。 これらの取得機能は、ベンチマーク設定よりも高速に収束する、より良いソリューションを可能にすることを示す。
  論文  参考訳（メタデータ） (2021-07-29T06:49:34Z)
• BOSH: Bayesian Optimization by Sampling Hierarchically [10.10241176664951]
  本稿では,階層的なガウス過程と情報理論の枠組みを組み合わせたBOルーチンを提案する。 BOSHは, ベンチマーク, シミュレーション最適化, 強化学習, ハイパーパラメータチューニングタスクにおいて, 標準BOよりも効率的で高精度な最適化を実現する。
  論文  参考訳（メタデータ） (2020-07-02T07:35:49Z)
• Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
  大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。 このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。 本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。 先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
  論文  参考訳（メタデータ） (2020-03-27T06:18:49Z)
• Composition of kernel and acquisition functions for High Dimensional Bayesian Optimization [0.1749935196721634]
  目的関数の追加性を用いて、ベイズ最適化のカーネルと取得関数の両方をマッピングする。 このap-proachは確率的代理モデルの学習/更新をより効率的にする。 都市給水システムにおけるポンプの制御を実運用に適用するための結果が提示された。
  論文  参考訳（メタデータ） (2020-03-09T15:45:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。