論文の概要: BOOST: Bayesian Optimization with Optimal Kernel and Acquisition Function Selection Technique

• arxiv url: http://arxiv.org/abs/2508.02332v2
• Date: Tue, 30 Sep 2025 11:33:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 21:59:07.542076
• Title: BOOST: Bayesian Optimization with Optimal Kernel and Acquisition Function Selection Technique
• Title（参考訳）: BOOST: 最適カーネルと獲得関数選択法によるベイズ最適化
• Authors: Joon-Hyun Park, Mujin Cheon, Jeongsu Wi, Dong-Yeun Koh,
• Abstract要約: カーネル獲得ペアの選択を自動化する新しいフレームワークであるBOOSTを提案する。 BOOSTは、様々なカーネル獲得ペアのパフォーマンスを予測し、高価な評価にコミットする前に最も有望なペアを特定する。
• 参考スコア（独自算出の注目度）: 1.0499611180329804
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The performance of Bayesian optimization (BO), a highly sample-efficient method for expensive black-box problems, is critically governed by the selection of its hyperparameters, including the kernel and acquisition functions. This presents a significant practical challenge: an inappropriate combination can lead to poor performance and wasted evaluations. While individual improvements to kernel functions (e.g., tree-based kernels, deep kernel learning) and acquisition functions (e.g., multi-step lookahead, tree-based planning) have been actively explored, the joint and autonomous selection of the best pair has been largely overlooked, forcing practitioners to rely on heuristics or costly manual tuning. We propose BOOST (Bayesian Optimization with Optimal Kernel and Acquisition Function Selection Technique), a novel framework that automates this selection. BOOST utilizes a lightweight, offline evaluation stage to predict the performance of various kernel-acquisition pairs and identify the most promising pair before committing to expensive evaluations. Using K-means clustering, BOOST first selects initial subsets from previously observed data-in-hand and prepares all possible kernel-acquisition pairs from user-chosen candidates. For each pair, BOOST conducts internal BO runs starting with the initial subset, evaluating how many iterations are required to find the target value within the remaining data, thereby identifying the pair with the best retrospective performance for future optimization. Experiments on synthetic benchmarks and real-world hyperparameter optimization tasks demonstrate that BOOST consistently outperforms standard BO with fixed hyperparameters and state-of-the-art adaptive methods, highlighting its effectiveness and robustness in diverse problem landscapes.
• Abstract（参考訳）: 高価なブラックボックス問題に対する高サンプリング効率の手法であるベイズ最適化(BO)の性能は、カーネルや取得関数を含むハイパーパラメータの選択によって決定的に制御される。 不適切な組み合わせはパフォーマンスの低下と無駄な評価につながる可能性がある。 カーネル関数(例えば、ツリーベースのカーネル、ディープカーネル学習)と取得関数(例えば、複数ステップのルックアヘッド、ツリーベースの計画)の個別の改善が活発に検討されているが、最良のペアの結合と自律的な選択は概ね見過ごされ、実践者はヒューリスティックやコストのかかる手動チューニングに頼らざるを得なくなった。 本稿では,BOOST(Bayesian Optimization with Optimal Kernel and Acquisition Function Selection Technique)を提案する。 BOOSTは、軽量でオフラインな評価ステージを使用して、さまざまなカーネル獲得ペアのパフォーマンスを予測し、高価な評価にコミットする前に最も有望なペアを特定する。 K-meansクラスタリングを使用することで、BOOSTはまず、事前に観測されたデータから初期サブセットを選択し、ユーザ-チョーゼン候補から可能なカーネル-取得ペアをすべて準備する。 各ペアについて、BOOSTは初期サブセットから始まる内部BO実行を実行し、残りのデータ内でターゲット値を見つけるためにどれだけのイテレーションが必要かを評価し、将来の最適化のために最高のレトロスペクティブパフォーマンスを持つペアを特定する。 合成ベンチマークと実世界のハイパーパラメータ最適化タスクの実験により、BOOSTは、様々な問題領域におけるその有効性と堅牢性を強調しながら、固定されたハイパーパラメータと最先端の適応手法で標準BOを一貫して上回っていることが示された。

関連論文リスト

• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• A General Framework for User-Guided Bayesian Optimization [51.96352579696041]
  コラボ (ColaBO) は、典型的なカーネル構造を超越した事前信念のための最初のベイズ原理の枠組みである。 我々は,ColaBOの事前情報が正確である場合に最適化を著しく高速化し,ミスリード時のほぼ既定性能を維持する能力を実証的に実証した。
  論文  参考訳（メタデータ） (2023-11-24T18:27:26Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Pre-training helps Bayesian optimization too [49.28382118032923]
  機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-07-07T04:42:54Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• A Comparative study of Hyper-Parameter Optimization Tools [2.6097538974670935]
  我々は、4つのpythonライブラリ、すなわちOptuna、Hyperopt、Optunity、およびシーケンシャルモデルアルゴリズム構成(SMAC)の性能を比較した。 私たちは、OptunaがCASH問題とNeurIPSのブラックボックス最適化の課題に対してより良いパフォーマンスを持つことを発見した。
  論文  参考訳（メタデータ） (2022-01-17T14:49:36Z)
• Bayesian Optimization over Permutation Spaces [30.650753803587794]
  BOPS (Permutation Spaces) に対する2つのアルゴリズムの提案と評価を行った。 BOPS-Tの性能を理論的に解析し,その後悔がサブリニアに増加することを示す。 複数の合成および実世界のベンチマーク実験により、BOPS-TとBOPS-Hは、空間に対する最先端のBOアルゴリズムよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-12-02T08:20:50Z)
• Bayesian Optimization for auto-tuning GPU kernels [0.0]
  GPUカーネルの最適パラメータ設定を見つけることは、たとえ自動化されても、大規模な検索スペースにとって簡単な作業ではない。 拡張性を改善した新しい文脈探索機能と,情報機能選択機構を併用した新しい獲得機能を導入する。
  論文  参考訳（メタデータ） (2021-11-26T11:26:26Z)
• Pre-trained Gaussian Processes for Bayesian Optimization [24.730678780782647]
  本稿では,HyperBO という事前学習型 BO フレームワークを提案する。 GPが既知の「地中真実」を仮定することなく, 後続の予測と, ほぼゼロの後悔をHyperBOに示す。
  論文  参考訳（メタデータ） (2021-09-16T20:46:26Z)
• BOSH: Bayesian Optimization by Sampling Hierarchically [10.10241176664951]
  本稿では,階層的なガウス過程と情報理論の枠組みを組み合わせたBOルーチンを提案する。 BOSHは, ベンチマーク, シミュレーション最適化, 強化学習, ハイパーパラメータチューニングタスクにおいて, 標準BOよりも効率的で高精度な最適化を実現する。
  論文  参考訳（メタデータ） (2020-07-02T07:35:49Z)
• Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
  大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。 このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。 本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。 先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
  論文  参考訳（メタデータ） (2020-03-27T06:18:49Z)
• Towards Automatic Bayesian Optimization: A first step involving acquisition functions [0.0]
  ベイズ最適化 (Bayesian optimization) は、ブラックボックスの最適化、すなわち解析的表現にアクセスできない関数の最先端技術である。 獲得関数を自動調整するいくつかの手法を探索し,自動ベイズ最適化に対する最初の試みを提案する。
  論文  参考訳（メタデータ） (2020-03-21T12:22:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。