論文の概要: Enhancing Exploration in Latent Space Bayesian Optimization
- arxiv url: http://arxiv.org/abs/2302.02399v2
- Date: Tue, 6 Jun 2023 06:26:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 20:45:42.992778
- Title: Enhancing Exploration in Latent Space Bayesian Optimization
- Title(参考訳): 潜時宇宙ベイズ最適化における探索の強化
- Authors: Onur Boyar and Ichiro Takeuchi
- Abstract要約: LSBOにおける遅延一貫性/一貫性の概念を重要課題として紹介する。
本稿では,一貫した点が増大する潜在空間を生成する新しいVAE法であるLCA-VAEを提案する。
提案手法は,潜時整合性に対処することの重要性を強調し,高い試料効率と効率的な探索を実現する。
- 参考スコア(独自算出の注目度): 19.823416445301646
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Latent Space Bayesian Optimization (LSBO) combines generative models,
typically Variational Autoencoders (VAE), with Bayesian Optimization (BO) to
generate de novo objects of interest. However, LSBO faces challenges due to the
mismatch between the objectives of BO and VAE, resulting in poor extrapolation
capabilities. In this paper, we propose novel contributions to enhance LSBO
efficiency and overcome this challenge. We first introduce the concept of
latent consistency/inconsistency as a crucial problem in LSBO, arising from the
BO-VAE mismatch. To address this, we propose the Latent Consistent
Aware-Acquisition Function (LCA-AF) that leverages consistent regions in LSBO.
Additionally, we present LCA-VAE, a novel VAE method that generates a latent
space with increased consistent points, improving BO's extrapolation
capabilities. Combining LCA-VAE and LCA-AF, we develop LCA-LSBO. Experimental
evaluations validate the improved performance of LCA-LSBO in image generation
and de-novo chemical design tasks, showcasing its enhanced extrapolation
capabilities in LSBO. Our approach achieves high sample-efficiency and
effective exploration, emphasizing the significance of addressing latent
consistency and leveraging LCA-VAE in LSBO.
- Abstract(参考訳): ラテント・スペース・ベイズ最適化(LSBO)は、典型的な変分オートエンコーダ(VAE)とベイズ最適化(BO)を組み合わせた生成モデルである。
しかし、LSBOは、BOとVAEの目的とのミスマッチにより、外挿能力の低下により課題に直面している。
本稿では,LSBO効率の向上と課題克服のための新しいコントリビューションを提案する。
まず、LSBOにおける遅延一貫性/一貫性の概念を、BO-VAEミスマッチから生じる重要な問題として紹介する。
そこで我々はLSBOにおける一貫した領域を利用するLCA-AF(Latent Consistent Aware-Acquisition Function)を提案する。
さらに,一貫した点を持つ潜在空間を生成し,BOの補間能力を向上する新しいVAE法であるLCA-VAEを提案する。
LCA-VAEとLCA-AFを組み合わせたLCA-LSBOを開発した。
LCA-LSBOの画像生成およびデノボ化学設計におけるLCA-LSBOの性能向上を実験的に評価し,LSBOの補間性能の向上を実証した。
本手法は,LSBOにおける潜時整合性に対処し,LCA-VAEを活用することの重要性を強調し,高い試料効率と有効探索を実現する。
関連論文リスト
- Large Language Models to Enhance Bayesian Optimization [57.474613739645605]
本稿では,大規模言語モデル(LLM)の能力をベイズ最適化に組み込む新しいアプローチであるLLAMBOを提案する。
高いレベルでは、自然言語のBO問題を枠組み化し、LLMが歴史的評価に照らした有望な解を反復的に提案し、評価することを可能にする。
以上の結果から,LLAMBOはゼロショットウォームスタートに有効であり,サロゲートモデリングや候補サンプリングの促進,特に観察が不十分な場合の探索の初期段階において有効であることが示唆された。
論文 参考訳(メタデータ) (2024-02-06T11:44:06Z) - Advancing Bayesian Optimization via Learning Correlated Latent Space [15.783344085533187]
本稿では,コラーレント空間ベイズ最適化(CoBO)を提案する。
具体的には, リプシッツ正則化, 損失重み付け, 信頼領域再コーディネートを導入し, 期待する領域の内在的なギャップを最小化する。
本稿では,分子設計や算術式整合など,離散データにおけるいくつかの最適化タスクに対するアプローチの有効性を示す。
論文 参考訳(メタデータ) (2023-10-31T08:24:41Z) - Learning Objective-Specific Active Learning Strategies with Attentive
Neural Processes [72.75421975804132]
学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。
能動学習問題の対称性と独立性を利用した新しい分類法を提案する。
私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
論文 参考訳(メタデータ) (2023-09-11T14:16:37Z) - Model-based Causal Bayesian Optimization [74.78486244786083]
乗算重み付き因果ベイズ最適化のための最初のアルゴリズム(CBO-MW)を提案する。
グラフ関連の量に自然に依存するCBO-MWに対する後悔の限界を導出する。
我々の実験は、共有モビリティシステムにおいて、ユーザの需要パターンを学習するためにCBO-MWをどのように使用できるかの現実的なデモを含む。
論文 参考訳(メタデータ) (2023-07-31T13:02:36Z) - Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。
本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
論文 参考訳(メタデータ) (2023-07-17T07:12:29Z) - BOtied: Multi-objective Bayesian optimization with tied multivariate
ranks [49.85896045032822]
非支配解と最高多変量階との自然な関係を示し、これは合同累積分布関数(CDF)の最外層線と一致する。
我々はCDFインジケータに基づくBOtiedと呼ばれる取得関数を提案する。
論文 参考訳(メタデータ) (2023-06-01T04:50:06Z) - Learning Representation for Bayesian Optimization with Collision-free
Regularization [13.476552258272402]
大規模、高次元、非定常的なデータセットは現実世界のシナリオでは一般的である。
最近の研究は、古典的なガウス過程に先立ってニューラルネットワークを適用して潜在表現を学習することで、そのような入力を処理しようとしている。
適切なネットワーク設計であっても、そのような学習された表現は、しばしば潜在空間における衝突を引き起こすことを示す。
本稿では,学習された潜伏空間における衝突を低減するために,新しい正則化器を用いた効率的な深度ベイズ最適化フレームワークであるLOCoを提案する。
論文 参考訳(メタデータ) (2022-03-16T14:44:16Z) - Momentum Contrastive Autoencoder: Using Contrastive Learning for Latent
Space Distribution Matching in WAE [51.09507030387935]
Wasserstein autoencoder (WAE) は、2つの分布が一致することは、このAEの潜在空間が予め指定された事前分布と一致するという制約の下で、単純なオートエンコーダ(AE)損失を最小限にすることと同値であることを示している。
本稿では,この問題を解決する手段として,自己指導型表現学習に有効であることを示すコントラスト学習フレームワークを提案する。
WAEの損失を最適化するために、対照的な学習フレームワークを使用することで、WAEの一般的なアルゴリズムと比較して、より高速に収束し、より安定した最適化が達成できることを示す。
論文 参考訳(メタデータ) (2021-10-19T22:55:47Z) - High-Dimensional Bayesian Optimization with Sparse Axis-Aligned
Subspaces [14.03847432040056]
スパース軸整列部分空間上で定義される代理モデルは、柔軟性とパーシモニーの間に魅力的な妥協をもたらすと我々は主張する。
提案手法は,ハミルトニアンモンテカルロを推論に用い,未知の目的関数のモデル化に関連するスパース部分空間を迅速に同定できることを実証する。
論文 参考訳(メタデータ) (2021-02-27T23:06:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。