論文の概要: Bayesian Optimization with Informative Covariance

• arxiv url: http://arxiv.org/abs/2208.02704v1
• Date: Thu, 4 Aug 2022 15:05:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-05 12:16:31.142505
• Title: Bayesian Optimization with Informative Covariance
• Title（参考訳）: 情報共分散を用いたベイズ最適化
• Authors: Afonso Eduardo, Michael U. Gutmann
• Abstract要約: 探索空間の特定の領域の好みを符号化するために非定常性を利用する新しい情報共分散関数を提案する。 より弱い事前情報の下でも高次元での最適化のサンプル効率を向上できることを実証する。
• 参考スコア（独自算出の注目度）: 13.113313427848828
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian Optimization is a methodology for global optimization of unknown and expensive objectives. It combines a surrogate Bayesian regression model with an acquisition function to decide where to evaluate the objective. Typical regression models are Gaussian processes with stationary covariance functions, which, however, are unable to express prior input-dependent information, in particular information about possible locations of the optimum. The ubiquity of stationary models has led to the common practice of exploiting prior information via informative mean functions. In this paper, we highlight that these models can lead to poor performance, especially in high dimensions. We propose novel informative covariance functions that leverage nonstationarity to encode preferences for certain regions of the search space and adaptively promote local exploration during the optimization. We demonstrate that they can increase the sample efficiency of the optimization in high dimensions, even under weak prior information.
• Abstract（参考訳）: ベイズ最適化 (Bayesian Optimization) は、未知および高価な目的を大域的に最適化するための方法論である。 代理ベイズ回帰モデルと取得関数を組み合わせることで、目的をどこで評価するかを決定する。 典型的な回帰モデルは、定常共分散関数を持つガウス過程であり、これは、しかしながら、事前の入力依存情報、特に最適な位置に関する情報を表現できない。 定常モデルの普及により、情報的平均関数による事前情報の利用が一般的になった。 本稿では,これらのモデルが特に高次元において性能低下につながることを強調する。 非定常性を利用して探索空間の特定の領域の好みを符号化し、最適化中の局所探索を適応的に促進する新しい情報共分散関数を提案する。 より弱い事前情報の下でも高次元での最適化のサンプル効率を向上できることを実証する。

関連論文リスト

• Respecting the limit:Bayesian optimization with a bound on the optimal value [3.004066195320147]
  我々は、最小値の正確な知識があるか、または、おそらくその値に対するより低いバウンドを持つかのシナリオについて研究する。 本稿では,有界情報を組み込んだ新たなサロゲートモデルであるSlogGPについて述べる。
  論文  参考訳（メタデータ） (2024-11-07T14:27:49Z)
• Bayesian Optimisation of Functions on Graphs [33.97967750232631]
  一般,大規模,潜在的に未知のグラフ上で定義された関数を最適化する新しいベイズ最適化フレームワークを提案する。 グラフ上の適切なカーネルの学習を通じて、我々のフレームワークは対象関数の振る舞いに適応する利点がある。 局所モデリング手法は,提案手法の効率性をさらに保証する。
  論文  参考訳（メタデータ） (2023-06-08T15:50:35Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Pre-training helps Bayesian optimization too [49.28382118032923]
  機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-07-07T04:42:54Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• Approximate Bayesian Optimisation for Neural Networks [6.921210544516486]
  モデル選択の重要性を強調するために、機械学習アルゴリズムを自動化するための一連の作業が行われた。 理想主義的な方法で解析的トラクタビリティと計算可能性を解決する必要性は、効率と適用性を確保することを可能にしている。
  論文  参考訳（メタデータ） (2021-08-27T19:03:32Z)
• Are we Forgetting about Compositional Optimisers in Bayesian Optimisation? [66.39551991177542]
  本稿では,グローバル最適化のためのサンプル手法を提案する。 この中、重要なパフォーマンス決定の自明さは、取得機能を最大化することです。 3958実験における機能最適化手法の実証的利点を強調する。
  論文  参考訳（メタデータ） (2020-12-15T12:18:38Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)
• Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
  大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。 このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。 本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。 先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
  論文  参考訳（メタデータ） (2020-03-27T06:18:49Z)
• Composition of kernel and acquisition functions for High Dimensional Bayesian Optimization [0.1749935196721634]
  目的関数の追加性を用いて、ベイズ最適化のカーネルと取得関数の両方をマッピングする。 このap-proachは確率的代理モデルの学習/更新をより効率的にする。 都市給水システムにおけるポンプの制御を実運用に適用するための結果が提示された。
  論文  参考訳（メタデータ） (2020-03-09T15:45:57Z)
• Finding Optimal Points for Expensive Functions Using Adaptive RBF-Based Surrogate Model Via Uncertainty Quantification [11.486221800371919]
  本稿では,適応的放射基底関数 (RBF) を用いた不確実性定量化によるサロゲートモデルを用いた新しいグローバル最適化フレームワークを提案する。 まずRBFに基づくベイズ代理モデルを用いて真の関数を近似し、新しい点が探索されるたびにRBFのパラメータを適応的に推定し更新することができる。 次に、モデル誘導選択基準を用いて、関数評価のための候補セットから新しい点を識別する。
  論文  参考訳（メタデータ） (2020-01-19T16:15:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。