論文の概要: Simplifying Bayesian Optimization Via In-Context Direct Optimum Sampling

• arxiv url: http://arxiv.org/abs/2505.23913v1
• Date: Thu, 29 May 2025 18:07:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.612169
• Title: Simplifying Bayesian Optimization Via In-Context Direct Optimum Sampling
• Title（参考訳）: In-Context Direct Optimum Smplingによるベイズ最適化の簡易化
• Authors: Gustavo Sutter Pessurno de Carvalho, Mohammed Abdulrahman, Hao Wang, Sriram Ganapathi Subramanian, Marc St-Aubin, Sharon O'Sullivan, Lawrence Wan, Luis Ricardez-Sandoval, Pascal Poupart, Agustinus Kristiadi,
• Abstract要約: 代理フィッティングや獲得関数の最適化を必要としないBOに対して,完全にコンテキスト内ゼロショットのソリューションを提案する。 これは、事前訓練されたコンテキストモデルを使用して、最適点上の後方から直接サンプリングする。 プロセスベースBOと比較して,壁面時間で35倍以上の効率向上を実現した。
• 参考スコア（独自算出の注目度）: 18.852567298468742
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The optimization of expensive black-box functions is ubiquitous in science and engineering. A common solution to this problem is Bayesian optimization (BO), which is generally comprised of two components: (i) a surrogate model and (ii) an acquisition function, which generally require expensive re-training and optimization steps at each iteration, respectively. Although recent work enabled in-context surrogate models that do not require re-training, virtually all existing BO methods still require acquisition function maximization to select the next observation, which introduces many knobs to tune, such as Monte Carlo samplers and multi-start optimizers. In this work, we propose a completely in-context, zero-shot solution for BO that does not require surrogate fitting or acquisition function optimization. This is done by using a pre-trained deep generative model to directly sample from the posterior over the optimum point. We show that this process is equivalent to Thompson sampling and demonstrate the capabilities and cost-effectiveness of our foundation model on a suite of real-world benchmarks. We achieve an efficiency gain of more than 35x in terms of wall-clock time when compared with Gaussian process-based BO, enabling efficient parallel and distributed BO, e.g., for high-throughput optimization.
• Abstract（参考訳）: 高価なブラックボックス関数の最適化は、科学と工学においてユビキタスである。 この問題に対する一般的な解決策はベイズ最適化(BO)であり、一般的には2つのコンポーネントから構成される。 (i)代理モデル及び代理モデル (ii) 取得関数は、通常、各イテレーションにおいて、高価な再トレーニングと最適化ステップを必要とする。 最近の研究によって、再訓練を必要としないコンテキスト内サロゲートモデルが可能になったが、既存のBO手法のほとんど全ては、次の観測を選択するために取得関数の最大化を必要としており、モンテカルロサンプリングやマルチスタートオプティマイザのようなチューニングのための多くのノブが導入された。 本研究では,代用フィッティングや取得関数の最適化を必要としないBOに対して,完全コンテキストゼロショットのソリューションを提案する。 これは、事前訓練された深部生成モデルを用いて、最適点上の後方から直接サンプリングする。 我々は,このプロセスがトンプソンサンプリングと等価であることを示し,実世界のベンチマークを用いて基礎モデルの能力と費用対効果を実証する。 ガウスプロセスベースBOと比較すると,壁面時間で35倍以上の効率向上を実現し,高スループット最適化のための並列分散BOなどを実現する。

関連論文リスト

• Batched Energy-Entropy acquisition for Bayesian Optimization [0.0]
  本稿では,バッチ処理が可能なガウス過程を持つBOの統計物理学に基づく獲得関数を提案する。 BEEBOは最適化プロセスの探索・探索トレードオフの厳密な制御を可能にし、ヘテロスケダスティックブラックボックス問題に一般化する。
  論文  参考訳（メタデータ） (2024-10-11T13:39:47Z)
• Cost-Sensitive Multi-Fidelity Bayesian Optimization with Transfer of Learning Curve Extrapolation [55.75188191403343]
  各ユーザが事前に定義した機能であるユーティリティを導入し,BOのコストと性能のトレードオフについて述べる。 このアルゴリズムをLCデータセット上で検証した結果,従来のマルチファイルBOや転送BOベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2024-05-28T07:38:39Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• qPOTS: Efficient batch multiobjective Bayesian optimization via Pareto optimal Thompson sampling [0.0]
  多目的最適化を解くためのサンプル効率のアプローチは、プロセス・オラクル・サロゲート(GP)とMOBOOTS$である。 我々はトンプソンサンプリング(TS)に基づくアプローチ(qtextttPOTS$)を提案する。 $qtextttPOTS$は、GP後部の安価な多目的最適化を進化的アプローチで解決する。
  論文  参考訳（メタデータ） (2023-10-24T12:35:15Z)
• Predictive Modeling through Hyper-Bayesian Optimization [60.586813904500595]
  本稿では,モデル選択とBOを統合する新しい手法を提案する。 このアルゴリズムは、モデル空間のBOと関数空間のBOの間を行き来する。 サンプル効率の改善に加えて、ブラックボックス機能に関する情報も出力する。
  論文  参考訳（メタデータ） (2023-08-01T04:46:58Z)
• Pre-training helps Bayesian optimization too [49.28382118032923]
  機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-07-07T04:42:54Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• LinEasyBO: Scalable Bayesian Optimization Approach for Analog Circuit Synthesis via One-Dimensional Subspaces [11.64233949999656]
  アナログ回路合成のための1次元部分空間による高速でロバストなベイズ最適化手法を提案する。 提案アルゴリズムは,バッチサイズが15のとき,LP-EIおよびREMBOpBOと比較して最大9倍,38倍の最適化手順を高速化できる。
  論文  参考訳（メタデータ） (2021-09-01T21:25:25Z)
• BOSH: Bayesian Optimization by Sampling Hierarchically [10.10241176664951]
  本稿では,階層的なガウス過程と情報理論の枠組みを組み合わせたBOルーチンを提案する。 BOSHは, ベンチマーク, シミュレーション最適化, 強化学習, ハイパーパラメータチューニングタスクにおいて, 標準BOよりも効率的で高精度な最適化を実現する。
  論文  参考訳（メタデータ） (2020-07-02T07:35:49Z)
• Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
  大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。 このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。 本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。 先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
  論文  参考訳（メタデータ） (2020-03-27T06:18:49Z)
• Preferential Batch Bayesian Optimization [16.141259199997005]
  優先バッチベイズ最適化(PBBO)は、潜在関数の最適性を見つけるための新しいフレームワークである。 本稿では,ベイズ最適化における従来の手法の一般化と拡張について述べる。
  論文  参考訳（メタデータ） (2020-03-25T14:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。