論文の概要: Dimensionality Reduction Techniques for Global Bayesian Optimisation

• arxiv url: http://arxiv.org/abs/2412.09183v1
• Date: Thu, 12 Dec 2024 11:27:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:30:36.559787
• Title: Dimensionality Reduction Techniques for Global Bayesian Optimisation
• Title（参考訳）: 地球ベイズ最適化のための次元化技術
• Authors: Luo Long, Coralia Cartis, Paz Fink Shustin,
• Abstract要約: 減次元部分空間におけるBOの実行に次元還元を適用した潜在空間ベイズ最適化について検討する。 我々は、より複雑なデータ構造や一般的なDRタスクを管理するために、変分オートエンコーダ(VAE)を使用している。 そこで本研究では,分子生成などのタスク用に設計され,より広い最適化目的のためにアルゴリズムを再構成する実装において,いくつかの重要な補正を提案する。
• 参考スコア（独自算出の注目度）: 1.433758865948252
• License:
• Abstract: Bayesian Optimisation (BO) is a state-of-the-art global optimisation technique for black-box problems where derivative information is unavailable, and sample efficiency is crucial. However, improving the general scalability of BO has proved challenging. Here, we explore Latent Space Bayesian Optimisation (LSBO), that applies dimensionality reduction to perform BO in a reduced-dimensional subspace. While early LSBO methods used (linear) random projections (Wang et al., 2013), we employ Variational Autoencoders (VAEs) to manage more complex data structures and general DR tasks. Building on Grosnit et. al. (2021), we analyse the VAE-based LSBO framework, focusing on VAE retraining and deep metric loss. We suggest a few key corrections in their implementation, originally designed for tasks such as molecule generation, and reformulate the algorithm for broader optimisation purposes. Our numerical results show that structured latent manifolds improve BO performance. Additionally, we examine the use of the Mat\'{e}rn-$\frac{5}{2}$ kernel for Gaussian Processes in this LSBO context. We also integrate Sequential Domain Reduction (SDR), a standard global optimization efficiency strategy, into BO. SDR is included in a GPU-based environment using \textit{BoTorch}, both in the original and VAE-generated latent spaces, marking the first application of SDR within LSBO.
• Abstract（参考訳）: ベイズ最適化(英: Bayesian Optimisation、BO)は、デリバティブ情報が得られず、サンプル効率が不可欠であるブラックボックス問題に対する、最先端のグローバル最適化手法である。 しかし,BOの汎用性の向上は困難であることが判明した。 ここでは,低次元部分空間でBOを行うために次元削減を行うLatent Space Bayesian Optimisation (LSBO)について検討する。 初期のLSBO法は(線形な)ランダムプロジェクション(Wang et al , 2013)を用いていたが、より複雑なデータ構造や一般的なDRタスクを管理するために変分オートエンコーダ(VAE)を用いている。 Grosnit et al (2021)を基盤として,VAEをベースとしたLSBOフレームワークを分析し,VAEの再トレーニングと深度測定損失に着目した。 そこで本研究では,分子生成などのタスク用に設計され,より広い最適化目的のためにアルゴリズムを再構成する実装において,いくつかの重要な補正を提案する。 計算結果から,構造付き潜在多様体はBO性能を向上させることが示された。 さらに、このLSBOコンテキストにおけるガウス過程に対する Mat\'{e}rn-$\frac{5}{2}$ kernel の使用について検討する。 また、標準的なグローバル最適化効率戦略であるシーケンス・ドメイン・リダクション(SDR)をBOに統合する。 SDRは、オリジナルのものとVAE生成した潜伏空間の両方で、textit{BoTorch}を使用してGPUベースの環境に含まれる。

関連論文リスト

• BOIDS: High-dimensional Bayesian Optimization via Incumbent-guided Direction Lines and Subspace Embeddings [14.558601519561721]
  BOIDSは,一次元方向線列による最適化を導く新しい高次元BOアルゴリズムである。 また,各ラウンドのラインベース最適化に対して最適な行を特定するための適応的選択手法を提案する。 実験の結果,BOIDSは様々な総合的および実世界のベンチマーク問題において,最先端のベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2024-12-17T13:51:24Z)
• Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
  本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
  論文  参考訳（メタデータ） (2024-10-28T04:47:39Z)
• Sample-efficient Bayesian Optimisation Using Known Invariances [56.34916328814857]
  バニラと制約付きBOアルゴリズムは、不変目的を最適化する際の非効率性を示す。 我々はこれらの不変カーネルの最大情報ゲインを導出する。 核融合炉用電流駆動システムの設計に本手法を用い, 高性能溶液の探索を行った。
  論文  参考訳（メタデータ） (2024-10-22T12:51:46Z)
• Learning Regions of Interest for Bayesian Optimization with Adaptive Level-Set Estimation [84.0621253654014]
  本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。 理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
  論文  参考訳（メタデータ） (2023-07-25T09:45:47Z)
• Relaxing the Additivity Constraints in Decentralized No-Regret High-Dimensional Bayesian Optimization [5.316089560623732]
  我々は、獲得関数の保証を弱めることなく、加法構造上の制限的な仮定を$f$で緩和する。 本稿では,最先端のBOアルゴリズムに対して非常に競争力のある性能を実現するために,最適な分散BOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-31T13:26:49Z)
• Model-based Causal Bayesian Optimization [78.120734120667]
  モデルに基づく因果ベイズ最適化(MCBO)を提案する。 MCBOは介入と逆のペアをモデリングするのではなく、完全なシステムモデルを学ぶ。 標準的なベイズ最適化とは異なり、我々の取得関数は閉形式では評価できない。
  論文  参考訳（メタデータ） (2022-11-18T14:28:21Z)
• High Dimensional Bayesian Optimization with Kernel Principal Component Analysis [4.33419118449588]
  カーネルPCA支援BO(KPCA-BO)アルゴリズムは,探索空間に非線形部分多様体を埋め込み,この部分多様体上でBOを実行する。 我々は、COCO/BBOBベンチマークスイートのマルチモーダル問題に対して、KPCA-BOとバニラBOとPCA-BOの性能を比較した。
  論文  参考訳（メタデータ） (2022-04-28T20:09:02Z)
• ES-Based Jacobian Enables Faster Bilevel Optimization [53.675623215542515]
  バイレベル最適化(BO)は多くの現代の機械学習問題を解決する強力なツールとして生まれてきた。 既存の勾配法では、ヤコビアンあるいはヘッセンベクトル計算による二階微分近似が必要となる。 本稿では,進化戦略(ES)に基づく新しいBOアルゴリズムを提案し,BOの過勾配における応答ヤコビ行列を近似する。
  論文  参考訳（メタデータ） (2021-10-13T19:36:50Z)
• BOSS: Bayesian Optimization over String Spaces [15.630421177117634]
  本稿では,原弦上で直接作用するベイズ最適化法(BO法)を提案する。 BOループ内で文字列カーネルと遺伝的アルゴリズムを最初に使用することを提案する。
  論文  参考訳（メタデータ） (2020-10-02T13:18:27Z)
• Sub-linear Regret Bounds for Bayesian Optimisation in Unknown Search Spaces [63.22864716473051]
  本稿では,反復により探索空間を拡大(およびシフト)する新しいBOアルゴリズムを提案する。 理論的には、どちらのアルゴリズムにおいても、累積的後悔は線形以下の速度で増大する。
  論文  参考訳（メタデータ） (2020-09-05T14:24:40Z)
• High Dimensional Bayesian Optimization Assisted by Principal Component Analysis [4.030481609048958]
  高次元数値最適化問題に対する新しいPCA支援BO(PCA-BO)アルゴリズムを提案する。 我々は,PCA-BOが高次元問題におけるCPU時間を効果的に削減し,適切なグローバル構造を持つ問題に対する収束率を維持することを示す。
  論文  参考訳（メタデータ） (2020-07-02T07:03:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。