論文の概要: Advancing Bayesian Optimization via Learning Correlated Latent Space

• arxiv url: http://arxiv.org/abs/2310.20258v3
• Date: Mon, 20 Nov 2023 03:43:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 16:53:12.471971
• Title: Advancing Bayesian Optimization via Learning Correlated Latent Space
• Title（参考訳）: 学習相関潜在空間によるベイズ最適化の進展
• Authors: Seunghun Lee, Jaewon Chu, Sihyeon Kim, Juyeon Ko, Hyunwoo J. Kim
• Abstract要約: 本稿では,コラーレント空間ベイズ最適化(CoBO)を提案する。 具体的には, リプシッツ正則化, 損失重み付け, 信頼領域再コーディネートを導入し, 期待する領域の内在的なギャップを最小化する。 本稿では,分子設計や算術式整合など,離散データにおけるいくつかの最適化タスクに対するアプローチの有効性を示す。
• 参考スコア（独自算出の注目度）: 15.783344085533187
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian optimization is a powerful method for optimizing black-box functions with limited function evaluations. Recent works have shown that optimization in a latent space through deep generative models such as variational autoencoders leads to effective and efficient Bayesian optimization for structured or discrete data. However, as the optimization does not take place in the input space, it leads to an inherent gap that results in potentially suboptimal solutions. To alleviate the discrepancy, we propose Correlated latent space Bayesian Optimization (CoBO), which focuses on learning correlated latent spaces characterized by a strong correlation between the distances in the latent space and the distances within the objective function. Specifically, our method introduces Lipschitz regularization, loss weighting, and trust region recoordination to minimize the inherent gap around the promising areas. We demonstrate the effectiveness of our approach on several optimization tasks in discrete data, such as molecule design and arithmetic expression fitting, and achieve high performance within a small budget.
• Abstract（参考訳）: ベイズ最適化は機能評価を限定したブラックボックス関数を最適化する強力な手法である。 近年の研究では、可変オートエンコーダのような深い生成モデルによる潜在空間での最適化は、構造化データや離散データのベイズ最適化を効果的かつ効率的に導くことが示されている。 しかし、最適化は入力空間では行われないので、潜在的に最適でない解をもたらす固有のギャップに繋がる。 この差を緩和するために,潜在空間の距離と目的関数内の距離との強い相関関係を特徴とする関連潜時空間の学習に焦点を当てた相関潜時空間ベイズ最適化(CoBO)を提案する。 特に,本手法では,期待領域周辺の固有ギャップを最小限に抑えるために,リプシッツ正則化,損失重み付け,信頼領域調整を導入する。 分子設計や算術式適合などの離散データにおける複数の最適化タスクにおいて,提案手法の有効性を実証し,少ない予算で高い性能を実現する。

関連論文リスト

• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• A Continuous Relaxation for Discrete Bayesian Optimization [17.312618575552]
  推論と最適化は計算処理が可能であることを示す。 特に、観測と厳格な予算がほとんど存在しない最適化領域について検討する。 得られた取得関数は、連続的あるいは離散的な最適化アルゴリズムで最適化可能であることを示す。
  論文  参考訳（メタデータ） (2024-04-26T14:47:40Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• Learning Representation for Bayesian Optimization with Collision-free Regularization [13.476552258272402]
  大規模、高次元、非定常的なデータセットは現実世界のシナリオでは一般的である。 最近の研究は、古典的なガウス過程に先立ってニューラルネットワークを適用して潜在表現を学習することで、そのような入力を処理しようとしている。 適切なネットワーク設計であっても、そのような学習された表現は、しばしば潜在空間における衝突を引き起こすことを示す。 本稿では,学習された潜伏空間における衝突を低減するために,新しい正則化器を用いた効率的な深度ベイズ最適化フレームワークであるLOCoを提案する。
  論文  参考訳（メタデータ） (2022-03-16T14:44:16Z)
• Local Latent Space Bayesian Optimization over Structured Inputs [23.173329381303887]
  本稿では,高次元ベイズ最適化における信頼領域の概念を構造化環境に適用する LOL-BO を提案する。 LOL-BOは6つの実世界のベンチマークで、最先端の潜在空間ベイズ最適化手法よりも最大20倍改善されている。
  論文  参考訳（メタデータ） (2022-01-28T00:55:58Z)
• Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
  空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。 これらの問題に対する新規で簡単な最適化法を開発した。 結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-09-23T17:38:24Z)
• Multi-Fidelity Bayesian Optimization via Deep Neural Networks [19.699020509495437]
  多くのアプリケーションでは、目的関数を複数の忠実度で評価することで、コストと精度のトレードオフを可能にする。 本稿では,DNN-MFBO(Deep Neural Network Multi-Fidelity Bayesian Optimization)を提案する。 本手法の利点は, 総合的なベンチマークデータセットと, 工学設計における実世界の応用の両方にある。
  論文  参考訳（メタデータ） (2020-07-06T23:28:40Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)
• Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
  大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。 このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。 本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。 先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
  論文  参考訳（メタデータ） (2020-03-27T06:18:49Z)
• Composition of kernel and acquisition functions for High Dimensional Bayesian Optimization [0.1749935196721634]
  目的関数の追加性を用いて、ベイズ最適化のカーネルと取得関数の両方をマッピングする。 このap-proachは確率的代理モデルの学習/更新をより効率的にする。 都市給水システムにおけるポンプの制御を実運用に適用するための結果が提示された。
  論文  参考訳（メタデータ） (2020-03-09T15:45:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。