論文の概要: BOOST: Bayesian Optimization with Optimal Kernel and Acquisition Function Selection Technique

• arxiv url: http://arxiv.org/abs/2508.02332v1
• Date: Mon, 04 Aug 2025 12:08:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:22.32116
• Title: BOOST: Bayesian Optimization with Optimal Kernel and Acquisition Function Selection Technique
• Title（参考訳）: BOOST: 最適カーネルと獲得関数選択法によるベイズ最適化
• Authors: Joon-Hyun Park, Mujin Cheon, Dong-Yeun Koh,
• Abstract要約: 本稿では,カーネルと取得関数のペア選択を自動化する,シンプルで効果的なフレームワークBOOSTを提案する。 BOOSTは、カーネル獲得関数ペアのパフォーマンスを予測し、高価な評価の前に最も適切な構成を特定する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The performance of Bayesian optimization (BO), a highly sample-efficient method for expensive black-box problems, is critically governed by the selection of its hyperparameters, including the kernel and acquisition functions. This presents a challenge: an inappropriate combination of these can lead to poor performance and wasted evaluations. While individual improvements to kernel functions (e.g., tree-based kernels, deep kernel learning) and acquisition functions (e.g., multi-step lookahead, tree-based planning) have been explored, the joint and autonomous selection of the best pair of these fundamental hyperparameters has been overlooked. This forces practitioners to rely on heuristics or costly manual training. We propose a simple yet effective framework, BOOST (Bayesian Optimization with Optimal Kernel and Acquisition Function Selection Technique), that automates this selection. BOOST utilizes a lightweight, offline evaluation stage to predict the performance of various kernel-acquisition function pairs and identify the most suitable configuration before expensive evaluations. BOOST partitions data-in-hand into two subsets: a reference subset and a query subset, and it prepares all possible kernel-acquisition pairs from the user's chosen candidates. For each configuration, BOOST conducts internal BO runs using the reference subset, evaluating how effectively each pair guides the search toward the optimum in the unknown query subset, thereby identifying the configuration with the best retrospective performance for future optimization. Experiments on both synthetic benchmark functions and real-world hyperparameter optimization tasks demonstrate that BOOST consistently outperforms standard BO approaches with fixed hyperparameters, highlighting its effectiveness and robustness in diverse problem landscapes.
• Abstract（参考訳）: 高価なブラックボックス問題に対する高サンプリング効率の手法であるベイズ最適化(BO)の性能は、カーネルや取得関数を含むハイパーパラメータの選択によって決定的に制御される。 これらの不適切な組み合わせは、パフォーマンスの低下と無駄な評価につながる可能性がある。 カーネル関数(例えば、ツリーベースカーネル、ディープカーネル学習)と取得関数(例えば、マルチステップルックアヘッド、ツリーベース計画)の個別の改善が検討されているが、これらの基本的なハイパーパラメータの最良のペアの結合と自律的選択は見過ごされている。 これにより、実践者はヒューリスティックや高価な手作業の訓練に頼らざるを得なくなる。 本稿では,BOOST(Bayesian Optimization with Optimal Kernel and Acquisition Function Selection Technique)を提案する。 BOOSTは、軽量でオフラインな評価段階を利用して、カーネル獲得関数ペアのパフォーマンスを予測し、高価な評価の前に最も適切な構成を特定する。 BOOSTはデータ-in-handを参照サブセットとクエリサブセットの2つのサブセットに分割する。 各構成について、BOOSTは参照サブセットを使用して内部BOを実行し、各ペアが未知のクエリサブセットの最適方向の探索を効果的にガイドし、将来の最適化に最適な振り返り性能で構成を識別する方法について評価する。 合成ベンチマーク関数と実世界のハイパーパラメータ最適化タスクの両方の実験により、BOOSTは固定されたハイパーパラメータによる標準BOアプローチよりも一貫して優れており、多様な問題環境におけるその有効性と堅牢性を強調している。

関連論文リスト

• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• A General Framework for User-Guided Bayesian Optimization [51.96352579696041]
  コラボ (ColaBO) は、典型的なカーネル構造を超越した事前信念のための最初のベイズ原理の枠組みである。 我々は,ColaBOの事前情報が正確である場合に最適化を著しく高速化し,ミスリード時のほぼ既定性能を維持する能力を実証的に実証した。
  論文  参考訳（メタデータ） (2023-11-24T18:27:26Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Pre-training helps Bayesian optimization too [49.28382118032923]
  機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-07-07T04:42:54Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• A Comparative study of Hyper-Parameter Optimization Tools [2.6097538974670935]
  我々は、4つのpythonライブラリ、すなわちOptuna、Hyperopt、Optunity、およびシーケンシャルモデルアルゴリズム構成(SMAC)の性能を比較した。 私たちは、OptunaがCASH問題とNeurIPSのブラックボックス最適化の課題に対してより良いパフォーマンスを持つことを発見した。
  論文  参考訳（メタデータ） (2022-01-17T14:49:36Z)
• Bayesian Optimization over Permutation Spaces [30.650753803587794]
  BOPS (Permutation Spaces) に対する2つのアルゴリズムの提案と評価を行った。 BOPS-Tの性能を理論的に解析し,その後悔がサブリニアに増加することを示す。 複数の合成および実世界のベンチマーク実験により、BOPS-TとBOPS-Hは、空間に対する最先端のBOアルゴリズムよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-12-02T08:20:50Z)
• Bayesian Optimization for auto-tuning GPU kernels [0.0]
  GPUカーネルの最適パラメータ設定を見つけることは、たとえ自動化されても、大規模な検索スペースにとって簡単な作業ではない。 拡張性を改善した新しい文脈探索機能と,情報機能選択機構を併用した新しい獲得機能を導入する。
  論文  参考訳（メタデータ） (2021-11-26T11:26:26Z)
• Pre-trained Gaussian Processes for Bayesian Optimization [24.730678780782647]
  本稿では,HyperBO という事前学習型 BO フレームワークを提案する。 GPが既知の「地中真実」を仮定することなく, 後続の予測と, ほぼゼロの後悔をHyperBOに示す。
  論文  参考訳（メタデータ） (2021-09-16T20:46:26Z)
• BOSH: Bayesian Optimization by Sampling Hierarchically [10.10241176664951]
  本稿では,階層的なガウス過程と情報理論の枠組みを組み合わせたBOルーチンを提案する。 BOSHは, ベンチマーク, シミュレーション最適化, 強化学習, ハイパーパラメータチューニングタスクにおいて, 標準BOよりも効率的で高精度な最適化を実現する。
  論文  参考訳（メタデータ） (2020-07-02T07:35:49Z)
• Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
  大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。 このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。 本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。 先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
  論文  参考訳（メタデータ） (2020-03-27T06:18:49Z)
• Towards Automatic Bayesian Optimization: A first step involving acquisition functions [0.0]
  ベイズ最適化 (Bayesian optimization) は、ブラックボックスの最適化、すなわち解析的表現にアクセスできない関数の最先端技術である。 獲得関数を自動調整するいくつかの手法を探索し,自動ベイズ最適化に対する最初の試みを提案する。
  論文  参考訳（メタデータ） (2020-03-21T12:22:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。