論文の概要: Diff-BBO: Diffusion-Based Inverse Modeling for Black-Box Optimization

• arxiv url: http://arxiv.org/abs/2407.00610v1
• Date: Sun, 30 Jun 2024 06:58:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 02:26:49.429155
• Title: Diff-BBO: Diffusion-Based Inverse Modeling for Black-Box Optimization
• Title（参考訳）: Diff-BBO:ブラックボックス最適化のための拡散に基づく逆モデリング
• Authors: Dongxia Wu, Nikki Lijing Kuang, Ruijia Niu, Yi-An Ma, Rose Yu,
• Abstract要約: Black-box Optimization (BBO) は、ブラックボックスのオラクルを反復的にクエリすることで目的関数を最適化することを目的としている。 拡散モデルは高次元データ多様体の学習能力を示す。 オンラインBBO問題に対する拡散モデルを利用した最初の逆アプローチであるDiff-BBOを提案する。
• 参考スコア（独自算出の注目度）: 20.45482366024264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Black-box optimization (BBO) aims to optimize an objective function by iteratively querying a black-box oracle. This process demands sample-efficient optimization due to the high computational cost of function evaluations. While prior studies focus on forward approaches to learn surrogates for the unknown objective function, they struggle with high-dimensional inputs where valid inputs form a small subspace (e.g., valid protein sequences), which is common in real-world tasks. Recently, diffusion models have demonstrated impressive capability in learning the high-dimensional data manifold. They have shown promising performance in black-box optimization tasks but only in offline settings. In this work, we propose diffusion-based inverse modeling for black-box optimization (Diff-BBO), the first inverse approach leveraging diffusion models for online BBO problem. Diff-BBO distinguishes itself from forward approaches through the design of acquisition function. Instead of proposing candidates in the design space, Diff-BBO employs a novel acquisition function Uncertainty-aware Exploration (UaE) to propose objective function values, which leverages the uncertainty of a conditional diffusion model to generate samples in the design space. Theoretically, we prove that using UaE leads to optimal optimization outcomes. Empirically, we redesign experiments on the Design-Bench benchmark for online settings and show that Diff-BBO achieves state-of-the-art performance.
• Abstract（参考訳）: Black-box Optimization (BBO) は、ブラックボックスのオラクルを反復的にクエリすることで目的関数を最適化することを目的としている。 このプロセスは、関数評価の計算コストが高いため、サンプル効率の最適化を必要とする。 先行研究では、未知の目的関数のサロゲートを学習するための前方アプローチに焦点が当てられていたが、実世界のタスクに共通する小さな部分空間(例えば、有効なタンパク質配列)を形成するような高次元入力に苦慮していた。 近年,拡散モデルにより高次元データ多様体の学習能力が向上している。 彼らはブラックボックス最適化タスクで有望なパフォーマンスを示したが、オフライン設定でのみであった。 本研究では,オンラインBBO問題に対する拡散モデルを利用した最初の逆モデルであるブラックボックス最適化(Diff-BBO)の拡散に基づく逆モデリングを提案する。 Diff-BBOは、獲得関数の設計を通じて前方アプローチと区別する。 Diff-BBOは、設計分野の候補を提案する代わりに、目的関数値の提案のために、新しい取得機能である不確実性対応探索(UaE)を採用し、条件拡散モデルの不確実性を利用して設計分野のサンプルを生成する。 理論的には、UaEの使用が最適な最適化結果をもたらすことが証明される。 経験的に、オンライン設定のためのDesign-Benchベンチマークの実験を再設計し、Diff-BBOが最先端のパフォーマンスを達成することを示す。

関連論文リスト

• Covariance-Adaptive Sequential Black-box Optimization for Diffusion Targeted Generation [60.41803046775034]
  ユーザのブラックボックス目標スコアのみを用いた拡散モデルを用いて,ユーザ優先のターゲット生成を行う方法を示す。 数値実験問題と目標誘導型3次元分子生成タスクの両方の実験により,より優れた目標値を得る上で,本手法の優れた性能が示された。
  論文  参考訳（メタデータ） (2024-06-02T17:26:27Z)
• Latent Energy-Based Odyssey: Black-Box Optimization via Expanded Exploration in the Energy-Based Latent Space [65.44449711359724]
  ブラックボックス関数の高次元かつ高マルチモーダルな入力設計空間は、既存の手法に固有の課題をもたらす。 設計値の結合空間の圧縮的かつ正確な表現として機能する潜在空間の発見を検討する。 本稿では, 高精度潜時空間モデルの変分学習のための雑音強調型テレスコープ密度比推定法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T00:11:53Z)
• Diffusion Model for Data-Driven Black-Box Optimization [54.25693582870226]
  我々は、強力な生成AI技術である拡散モデルに注目し、ブラックボックス最適化の可能性について検討する。 本研究では,1)実数値報酬関数のノイズ測定と,2)対比較に基づく人間の嗜好の2種類のラベルについて検討する。 提案手法は,設計最適化問題を条件付きサンプリング問題に再構成し,拡散モデルのパワーを有効活用する。
  論文  参考訳（メタデータ） (2024-03-20T00:41:12Z)
• Diffusion Models as Constrained Samplers for Optimization with Unknown Constraints [42.47298301874283]
  拡散モデルを用いてデータ多様体内で最適化を行う。 目的関数の微分可能性に応じて,2つの異なるサンプリング手法を提案する。 提案手法は,従来の最先端のベースラインよりも優れた,あるいは同等のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-02-28T03:09:12Z)
• Simulation Based Bayesian Optimization [0.6526824510982799]
  本稿では,獲得関数を最適化するための新しいアプローチとして,シミュレーションベースベイズ最適化(SBBO)を提案する。 SBBOは、離散変数を持つ空間に適した代理モデルを使用することができる。 代理モデルの様々な選択を用いたSBBO法の有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2024-01-19T16:56:11Z)
• Predictive Modeling through Hyper-Bayesian Optimization [60.586813904500595]
  本稿では,モデル選択とBOを統合する新しい手法を提案する。 このアルゴリズムは、モデル空間のBOと関数空間のBOの間を行き来する。 サンプル効率の改善に加えて、ブラックボックス機能に関する情報も出力する。
  論文  参考訳（メタデータ） (2023-08-01T04:46:58Z)
• Protein Design with Guided Discrete Diffusion [67.06148688398677]
  タンパク質設計における一般的なアプローチは、生成モデルと条件付きサンプリングのための識別モデルを組み合わせることである。 離散拡散モデルのためのガイダンス手法であるdiffusioN Optimized Smpling (NOS)を提案する。 NOSは、構造に基づく手法の重要な制限を回避し、シーケンス空間で直接設計を行うことができる。
  論文  参考訳（メタデータ） (2023-05-31T16:31:24Z)
• Combining Latent Space and Structured Kernels for Bayesian Optimization over Combinatorial Spaces [27.989924313988016]
  我々は、高価なブラックボックス関数評価を用いて、空間(シーケンス、ツリー、グラフなど)を最適化する問題を考察する。 空間に対する最近のBOアプローチは、構造体の潜在表現を学習することで連続空間上のBOへの還元である。 本稿では,この欠点を克服するための原則的アプローチであるLADDERを提案する。
  論文  参考訳（メタデータ） (2021-11-01T18:26:22Z)
• Conservative Objective Models for Effective Offline Model-Based Optimization [78.19085445065845]
  計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。 本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。 COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
  論文  参考訳（メタデータ） (2021-07-14T17:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。