論文の概要: Posterior Inference with Diffusion Models for High-dimensional Black-box Optimization

• arxiv url: http://arxiv.org/abs/2502.16824v1
• Date: Mon, 24 Feb 2025 04:19:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:58:03.527199
• Title: Posterior Inference with Diffusion Models for High-dimensional Black-box Optimization
• Title（参考訳）: 高次元ブラックボックス最適化のための拡散モデルによる後部推論
• Authors: Taeyoung Yun, Kiyoung Om, Jaewoo Lee, Sujin Yun, Jinkyoo Park,
• Abstract要約: 生成モデルはブラックボックス最適化の問題を解決するために登場した。 我々は、高次元のブラックボックス最適化問題を解決するための新しいフレームワーク、textbfDiBOを紹介する。 提案手法は,様々な合成および実世界のブラックボックス最適化タスクにおいて,最先端のベースラインよりも優れる。
• 参考スコア（独自算出の注目度）: 17.92257026306603
• License:
• Abstract: Optimizing high-dimensional and complex black-box functions is crucial in numerous scientific applications. While Bayesian optimization (BO) is a powerful method for sample-efficient optimization, it struggles with the curse of dimensionality and scaling to thousands of evaluations. Recently, leveraging generative models to solve black-box optimization problems has emerged as a promising framework. However, those methods often underperform compared to BO methods due to limited expressivity and difficulty of uncertainty estimation in high-dimensional spaces. To overcome these issues, we introduce \textbf{DiBO}, a novel framework for solving high-dimensional black-box optimization problems. Our method iterates two stages. First, we train a diffusion model to capture the data distribution and an ensemble of proxies to predict function values with uncertainty quantification. Second, we cast the candidate selection as a posterior inference problem to balance exploration and exploitation in high-dimensional spaces. Concretely, we fine-tune diffusion models to amortize posterior inference. Extensive experiments demonstrate that our method outperforms state-of-the-art baselines across various synthetic and real-world black-box optimization tasks. Our code is publicly available \href{https://github.com/umkiyoung/DiBO}{here}
• Abstract（参考訳）: 高次元かつ複雑なブラックボックス関数の最適化は多くの科学的応用において重要である。 ベイズ最適化(BO)は標本効率最適化の強力な手法であるが、次元性の呪いと何千もの評価へのスケーリングに苦慮している。 近年,ブラックボックス最適化問題の解決に生成モデルを活用することが,有望なフレームワークとして浮上している。 しかし,これらの手法は,高次元空間における表現率の制限や不確実性評価の難しさにより,BO法と比較して性能が劣ることが多い。 これらの問題を克服するために,高次元のブラックボックス最適化問題を解くための新しいフレームワークである \textbf{DiBO} を導入する。 私たちの方法は2段階を繰り返す。 まず,拡散モデルを用いてデータ分布とプロキシのアンサンブルを抽出し,不確実な定量化による関数値の予測を行う。 第2に, 高次元空間における探索と利用のバランスをとるために, 後部推論問題として候補選択を行った。 具体的には, 後部推論を補正する微細構造拡散モデルを提案する。 大規模な実験により,本手法は様々な合成および実世界のブラックボックス最適化タスクにおいて,最先端のベースラインよりも優れていることが示された。 私たちのコードは公開されています。

関連論文リスト

• BOIDS: High-dimensional Bayesian Optimization via Incumbent-guided Direction Lines and Subspace Embeddings [14.558601519561721]
  BOIDSは,一次元方向線列による最適化を導く新しい高次元BOアルゴリズムである。 また,各ラウンドのラインベース最適化に対して最適な行を特定するための適応的選択手法を提案する。 実験の結果,BOIDSは様々な総合的および実世界のベンチマーク問題において,最先端のベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2024-12-17T13:51:24Z)
• Sharpness-Aware Black-Box Optimization [47.95184866255126]
  シャープネスを考慮したブラックボックス最適化(SABO)アルゴリズムを提案する。 実験により, モデル一般化性能向上のためのSABO法の有効性が実証された。
  論文  参考訳（メタデータ） (2024-10-16T11:08:06Z)
• Covariance-Adaptive Sequential Black-box Optimization for Diffusion Targeted Generation [60.41803046775034]
  ユーザのブラックボックス目標スコアのみを用いた拡散モデルを用いて,ユーザ優先のターゲット生成を行う方法を示す。 数値実験問題と目標誘導型3次元分子生成タスクの両方の実験により,より優れた目標値を得る上で,本手法の優れた性能が示された。
  論文  参考訳（メタデータ） (2024-06-02T17:26:27Z)
• Diffusion Model for Data-Driven Black-Box Optimization [54.25693582870226]
  我々は、強力な生成AI技術である拡散モデルに注目し、ブラックボックス最適化の可能性について検討する。 本研究では,1)実数値報酬関数のノイズ測定と,2)対比較に基づく人間の嗜好の2種類のラベルについて検討する。 提案手法は,設計最適化問題を条件付きサンプリング問題に再構成し,拡散モデルのパワーを有効活用する。
  論文  参考訳（メタデータ） (2024-03-20T00:41:12Z)
• Predictive Modeling through Hyper-Bayesian Optimization [60.586813904500595]
  本稿では,モデル選択とBOを統合する新しい手法を提案する。 このアルゴリズムは、モデル空間のBOと関数空間のBOの間を行き来する。 サンプル効率の改善に加えて、ブラックボックス機能に関する情報も出力する。
  論文  参考訳（メタデータ） (2023-08-01T04:46:58Z)
• Sarah Frank-Wolfe: Methods for Constrained Optimization with Best Rates and Practical Features [65.64276393443346]
  Frank-Wolfe (FW) 法は、構造化制約による最適化問題の解法として一般的な手法である。 有限サム勾配の最小化のためのアルゴリズムの2つの新しい変種を示す。
  論文  参考訳（メタデータ） (2023-04-23T20:05:09Z)
• Bayesian Optimisation for Constrained Problems [0.0]
  本稿では,制約を扱える知恵グラディエント獲得関数の新たな変種を提案する。 我々は、このアルゴリズムを、他の4つの最先端制約されたベイズ最適化アルゴリズムと比較し、その優れた性能を実証する。
  論文  参考訳（メタデータ） (2021-05-27T15:43:09Z)
• High-Dimensional Bayesian Optimization with Sparse Axis-Aligned Subspaces [14.03847432040056]
  スパース軸整列部分空間上で定義される代理モデルは、柔軟性とパーシモニーの間に魅力的な妥協をもたらすと我々は主張する。 提案手法は,ハミルトニアンモンテカルロを推論に用い,未知の目的関数のモデル化に関連するスパース部分空間を迅速に同定できることを実証する。
  論文  参考訳（メタデータ） (2021-02-27T23:06:24Z)
• Projection & Probability-Driven Black-Box Attack [205.9923346080908]
  既存のブラックボックス攻撃は、高次元空間における過剰なクエリを必要とする。 本稿では,この問題を解決するために,プロジェクション&確率駆動型ブラックボックス攻撃(PPBA)を提案する。 我々の手法は、最先端の手法に比べて攻撃成功率の高いクエリを少なくとも24%削減する必要がある。
  論文  参考訳（メタデータ） (2020-05-08T03:37:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。