論文の概要: Improving Bayesian Optimization via Training-Aware Conditional Diffusion Models

• arxiv url: http://arxiv.org/abs/2606.08438v1
• Date: Sun, 07 Jun 2026 03:29:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.105083
• Title: Improving Bayesian Optimization via Training-Aware Conditional Diffusion Models
• Title（参考訳）: 条件付き拡散モデルによるベイズ最適化の改善
• Authors: Yilin Zheng, Haowei Wang, Szu Hui Ng, Enlu Zhou,
• Abstract要約: 条件拡散モデル(CDM)を用いて$mathbfxstar$の分布を近似し,CDMのためのBO-インヒーレントトレーニング戦略を開発する。 我々は,CDM学習分布の構造的特性に感化されて,拡散型シーキングモード (DMS) と呼ばれる買収戦略を開発し,シーケンシャルな評価を導出する。
• 参考スコア（独自算出の注目度）: 11.030663905055361
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian optimization (BO) is a widely used approach for black-box optimization that uses a Gaussian process (GP) as a surrogate and guides sequential evaluations via an acquisition function, with the ultimate goal of locating the global optimum $\mathbf{x}^{\star}$. To align with this goal, information-based acquisition functions such as Predictive Entropy Search (PES) model $\mathbf{x}^{\star}$ as a random variable and reduce the entropy of its distribution, but approximating this distribution via traditional GP posterior sampling is computationally expensive. To address this limitation, we leverage Conditional Diffusion Models (CDMs) to efficiently approximate the distribution of $\mathbf{x}^{\star}$ and develop BO-inherent training strategies for CDMs. Motivated by the structural properties of the CDM-learned distribution, we further develop an acquisition strategy termed Diffusion-based Mode Seeking (DMS) to guide the sequential evaluation. We establish a sub-optimality guarantee for the CDM-learned distribution and demonstrate through extensive experiments that DMS outperforms standard BO baselines.
• Abstract（参考訳）: ベイズ最適化(英: Bayesian optimization, BO)は、ガウス過程(GP)をサロゲートとして使用し、グローバル最適値 $\mathbf{x}^{\star}$ を測ることの最終的な目標として、取得関数を介して逐次評価を導出するブラックボックス最適化のアプローチである。 この目的に合わせるために、予測エントロピー探索(PES)モデル $\mathbf{x}^{\star}$ のような情報ベースの取得関数をランダム変数として、その分布のエントロピーを減少させるが、従来のGP予備サンプリングによるこの分布の近似は計算コストがかかる。 この制限に対処するために、条件拡散モデル(CDM)を用い、$\mathbf{x}^{\star}$の分布を効率的に近似し、CDMのためのBO-インヒーレントトレーニング戦略を開発する。 本研究は,CDM学習分布の構造的特性に触発され,拡散型モード探索(DMS)と呼ばれる買収戦略をさらに発展させ,シーケンシャルな評価を導出する。 我々は、CDM学習分布に対する準最適保証を確立し、DMSが標準BOベースラインより優れていることを示す広範な実験を通して実証する。

関連論文リスト

• Estimating Mixture Distributions via Stochastic Mirror Descent [15.58350224981605]
  本研究では, クロスエントロピー損失を最小化する混合モデルを用いて, サンプルから未知分布を推定する問題を再検討する。 ミラー降下(SMD)アルゴリズムから導出した推定器群を提案する。 軽度条件下では,提案した推定器がほぼ最適収束率を達成することを示す。
  論文  参考訳（メタデータ） (2026-05-24T08:19:42Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Minimax Optimality of the Probability Flow ODE for Diffusion Models [8.15094483029656]
  この研究は、決定論的ODEベースのサンプリングのための最初のエンドツーエンド理論フレームワークを開発する。 L2$のスコア誤差と関連する平均ジャコビアン誤差の両方を同時に制御するスムーズな正規化スコア推定器を提案する。 得られたサンプルは全変動距離, 変調対数係数において最小値が得られることを示す。
  論文  参考訳（メタデータ） (2025-03-12T17:51:29Z)
• Feynman-Kac Correctors in Diffusion: Annealing, Guidance, and Product of Experts [64.34482582690927]
  事前学習したスコアベースモデルから得られた熱処理, 幾何平均, 製品分布の配列から, 効率的かつ原理的に抽出する方法を提供する。 本稿では,サンプリング品質を向上させるために,推論時間スケーリングを利用する逐次モンテカルロ(SMC)再サンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-03-04T17:46:51Z)
• Direct Distributional Optimization for Provable Alignment of Diffusion Models [39.048284342436666]
  分布最適化の観点から拡散モデルの新しいアライメント手法を提案する。 まず、確率分布に対する一般正規化損失最小化として問題を定式化する。 本研究では,Doob の $h$-transform 技術を用いてスコア関数を近似することにより,学習した分布からのサンプリングを可能にする。
  論文  参考訳（メタデータ） (2025-02-05T07:35:15Z)
• Understanding Reinforcement Learning-Based Fine-Tuning of Diffusion Models: A Tutorial and Review [63.31328039424469]
  このチュートリアルは、下流の報酬関数を最適化するための微調整拡散モデルのための方法を網羅的に調査する。 PPO,微分可能最適化,報酬重み付きMLE,値重み付きサンプリング,経路整合性学習など,様々なRLアルゴリズムの適用について説明する。
  論文  参考訳（メタデータ） (2024-07-18T17:35:32Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Likelihood-Free Inference with Deep Gaussian Processes [70.74203794847344]
  サーロゲートモデルは、シミュレータ評価の回数を減らすために、可能性のない推論に成功している。 本稿では,より不規則な対象分布を扱えるディープガウス過程(DGP)サロゲートモデルを提案する。 本実験は,DGPがマルチモーダル分布を持つ目的関数上でGPよりも優れ,単調な場合と同等の性能を維持できることを示す。
  論文  参考訳（メタデータ） (2020-06-18T14:24:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。