論文の概要: Direct Regret Optimization in Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2507.06529v1
• Date: Wed, 09 Jul 2025 04:09:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 17:37:43.462566
• Title: Direct Regret Optimization in Bayesian Optimization
• Title（参考訳）: ベイズ最適化における直接回帰最適化
• Authors: Fengxue Zhang, Yuxin Chen,
• Abstract要約: 本稿では,最適モデルと非明視的獲得を共同で学習する,新たな直訳最適化手法を提案する。 提案手法はBOベースラインを一貫して上回り,より単純な後悔を減らし,より堅牢な探索を示す。
• 参考スコア（独自算出の注目度）: 10.705151736050967
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Bayesian optimization (BO) is a powerful paradigm for optimizing expensive black-box functions. Traditional BO methods typically rely on separate hand-crafted acquisition functions and surrogate models for the underlying function, and often operate in a myopic manner. In this paper, we propose a novel direct regret optimization approach that jointly learns the optimal model and non-myopic acquisition by distilling from a set of candidate models and acquisitions, and explicitly targets minimizing the multi-step regret. Our framework leverages an ensemble of Gaussian Processes (GPs) with varying hyperparameters to generate simulated BO trajectories, each guided by an acquisition function chosen from a pool of conventional choices, until a Bayesian early stop criterion is met. These simulated trajectories, capturing multi-step exploration strategies, are used to train an end-to-end decision transformer that directly learns to select next query points aimed at improving the ultimate objective. We further adopt a dense training--sparse learning paradigm: The decision transformer is trained offline with abundant simulated data sampled from ensemble GPs and acquisitions, while a limited number of real evaluations refine the GPs online. Experimental results on synthetic and real-world benchmarks suggest that our method consistently outperforms BO baselines, achieving lower simple regret and demonstrating more robust exploration in high-dimensional or noisy settings.
• Abstract（参考訳）: ベイズ最適化(BO)は高価なブラックボックス関数を最適化するための強力なパラダイムである。 従来のBO法は、通常、手作りの取得関数を別途頼りにし、基礎となる関数のモデルをサロゲートし、しばしばミオピックな方法で操作する。 本稿では,一連の候補モデルと獲得から抽出することで,最適モデルと非明視的獲得を共同で学習し,多段階の後悔を最小限に抑える,新たな直接後悔最適化手法を提案する。 提案フレームワークは,ガウス過程(GP)と様々なハイパーパラメータのアンサンブルを利用して,従来の選択プールから選択した獲得関数によって導かれる,シミュレーションされたBO軌道を生成する。 これらのシミュレートされた軌道は、多段階探索戦略を捉え、最終目的の改善を目的とした次のクエリポイントを選択することを直接学習するエンドツーエンド決定変換器の訓練に使用される。 決定変換器は、アンサンブルGPと取得からサンプリングされた豊富なシミュレーションデータを用いてオフラインでトレーニングされ、実際の評価はごく少数のGPをオンラインで洗練する。 合成および実世界のベンチマークによる実験結果から,本手法はBOベースラインを一貫して上回り,より単純な後悔を減らし,高次元あるいは雑音条件下でのより堅牢な探索を実証できることが示された。

関連論文リスト

• Online Decision-Focused Learning [63.83903681295497]
  意思決定中心学習(DFL)は、意思決定タスクで出力が使用される予測モデルを訓練するパラダイムとして、ますます人気が高まっている。 対象関数が時間とともに進化しない動的環境におけるDFLについて検討する。 決定空間が単純空間であるときと一般有界凸ポリトープであるときの両方において、期待される動的後悔の限界を確立する。
  論文  参考訳（メタデータ） (2025-05-19T10:40:30Z)
• Gradient-based Sample Selection for Faster Bayesian Optimization [11.242721310713963]
  大予算のシナリオでは、標準GPモデルを直接活用することは、計算時間とリソース要求において大きな課題に直面します。 本稿では,勾配に基づくサンプル選択ベイズ最適化(GSSBO)を提案し,BOの計算効率を向上させる。 提案手法は,ベースライン法に匹敵する最適化性能を維持しつつ,BOにおけるGPフィッティングの計算コストを大幅に削減する。
  論文  参考訳（メタデータ） (2025-04-10T13:38:15Z)
• Nonmyopic Global Optimisation via Approximate Dynamic Programming [14.389086937116582]
  我々はIDWとRBFに基づくグローバルな最適化に適した新しい非筋力的獲得戦略を導入する。 具体的には、ロールアウトやマルチステップシナリオベースの最適化スキームを含む動的プログラミングベースのパラダイムを開発する。
  論文  参考訳（メタデータ） (2024-12-06T09:25:00Z)
• qPOTS: Efficient batch multiobjective Bayesian optimization via Pareto optimal Thompson sampling [0.0]
  多目的最適化を解くためのサンプル効率のアプローチは、プロセス・オラクル・サロゲート(GP)とMOBOOTS$である。 我々はトンプソンサンプリング(TS)に基づくアプローチ(qtextttPOTS$)を提案する。 $qtextttPOTS$は、GP後部の安価な多目的最適化を進化的アプローチで解決する。
  論文  参考訳（メタデータ） (2023-10-24T12:35:15Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• Differentiable Multi-Target Causal Bayesian Experimental Design [43.76697029708785]
  本稿では,ベイズ最適設計問題に対する勾配に基づくアプローチを導入し,バッチ環境で因果モデルを学習する。 既存の手法は、一連の実験を構築するためにグリーディ近似に依存している。 そこで本稿では,最適介入対象ペアの集合を取得するための,概念的にシンプルな勾配に基づく最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-02-21T11:32:59Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。