論文の概要: Local Latent Space Bayesian Optimization over Structured Inputs

• arxiv url: http://arxiv.org/abs/2201.11872v1
• Date: Fri, 28 Jan 2022 00:55:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-01 08:35:16.864523
• Title: Local Latent Space Bayesian Optimization over Structured Inputs
• Title（参考訳）: 構造入力による局所潜時空間ベイズ最適化
• Authors: Natalie Maus, Haydn T. Jones, Juston S. Moore, Matt J. Kusner, John Bradshaw, Jacob R. Gardner
• Abstract要約: 本稿では,高次元ベイズ最適化における信頼領域の概念を構造化環境に適用する LOL-BO を提案する。 LOL-BOは6つの実世界のベンチマークで、最先端の潜在空間ベイズ最適化手法よりも最大20倍改善されている。
• 参考スコア（独自算出の注目度）: 23.173329381303887
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Bayesian optimization over the latent spaces of deep autoencoder models (DAEs) has recently emerged as a promising new approach for optimizing challenging black-box functions over structured, discrete, hard-to-enumerate search spaces (e.g., molecules). Here the DAE dramatically simplifies the search space by mapping inputs into a continuous latent space where familiar Bayesian optimization tools can be more readily applied. Despite this simplification, the latent space typically remains high-dimensional. Thus, even with a well-suited latent space, these approaches do not necessarily provide a complete solution, but may rather shift the structured optimization problem to a high-dimensional one. In this paper, we propose LOL-BO, which adapts the notion of trust regions explored in recent work on high-dimensional Bayesian optimization to the structured setting. By reformulating the encoder to function as both an encoder for the DAE globally and as a deep kernel for the surrogate model within a trust region, we better align the notion of local optimization in the latent space with local optimization in the input space. LOL-BO achieves as much as 20 times improvement over state-of-the-art latent space Bayesian optimization methods across six real-world benchmarks, demonstrating that improvement in optimization strategies is as important as developing better DAE models.
• Abstract（参考訳）: 深層オートエンコーダモデル(英語版)(daes)の潜在空間上のベイズ最適化は、構造化、離散化、列挙困難な探索空間(例えば分子)に対して挑戦的なブラックボックス関数を最適化するための有望な新しいアプローチとして最近登場した。 ここで、daeは入力をベイズ最適化ツールがより容易に適用できる連続的潜在空間にマッピングすることで、検索空間を劇的に単純化する。 この単純化にもかかわらず、潜在空間は通常高次元のままである。 したがって、うまく適合した潜在空間であっても、これらのアプローチは必ずしも完全な解を提供するものではなく、むしろ構造化最適化問題を高次元空間に移すことができる。 本稿では,高次元ベイズ最適化における信頼領域の概念を構造化環境に適応させるLOL-BOを提案する。 daeのグローバルエンコーダと信頼領域内のサロゲートモデルのディープカーネルの両方として機能するようにエンコーダを再構成することで、潜在空間における局所最適化の概念を入力空間における局所最適化と一致させる。 LOL-BOは6つの実世界のベンチマークで、最先端の潜在空間ベイズ最適化手法よりも最大20倍の改善を実現し、最適化戦略の改善はより良いDAEモデルの開発と同じくらい重要であることを示した。

関連論文リスト

• Localized Zeroth-Order Prompt Optimization [54.964765668688806]
  そこで我々は,ZOPO(Localized zeroth-order prompt optimization)という新しいアルゴリズムを提案する。 ZOPOはニューラル・タンジェント・カーネルをベースとしたガウス法を標準ゼロ階次最適化に取り入れ、高速な局所最適探索を高速化する。 注目すべきは、ZOPOは最適化性能とクエリ効率の両方の観点から、既存のベースラインを上回っていることだ。
  論文  参考訳（メタデータ） (2024-03-05T14:18:15Z)
• Advancing Bayesian Optimization via Learning Correlated Latent Space [15.783344085533187]
  本稿では,コラーレント空間ベイズ最適化(CoBO)を提案する。 具体的には, リプシッツ正則化, 損失重み付け, 信頼領域再コーディネートを導入し, 期待する領域の内在的なギャップを最小化する。 本稿では,分子設計や算術式整合など,離散データにおけるいくつかの最適化タスクに対するアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2023-10-31T08:24:41Z)
• Learning Regions of Interest for Bayesian Optimization with Adaptive Level-Set Estimation [84.0621253654014]
  本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。 理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
  論文  参考訳（メタデータ） (2023-07-25T09:45:47Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)
• Combining Latent Space and Structured Kernels for Bayesian Optimization over Combinatorial Spaces [27.989924313988016]
  我々は、高価なブラックボックス関数評価を用いて、空間(シーケンス、ツリー、グラフなど)を最適化する問題を考察する。 空間に対する最近のBOアプローチは、構造体の潜在表現を学習することで連続空間上のBOへの還元である。 本稿では,この欠点を克服するための原則的アプローチであるLADDERを提案する。
  論文  参考訳（メタデータ） (2021-11-01T18:26:22Z)
• LinEasyBO: Scalable Bayesian Optimization Approach for Analog Circuit Synthesis via One-Dimensional Subspaces [11.64233949999656]
  アナログ回路合成のための1次元部分空間による高速でロバストなベイズ最適化手法を提案する。 提案アルゴリズムは,バッチサイズが15のとき,LP-EIおよびREMBOpBOと比較して最大9倍,38倍の最適化手順を高速化できる。
  論文  参考訳（メタデータ） (2021-09-01T21:25:25Z)
• Learning Space Partitions for Path Planning [54.475949279050596]
  PlaLaMは2次元ナビゲーションタスクにおける既存の経路計画手法よりも優れており、特に難解な局所最適化の存在下では優れている。 これらは高マルチモーダルな実世界のタスクに移行し、コンパイラフェーズでは最大245%、分子設計では最大0.4の強いベースラインを0-1スケールで上回ります。
  論文  参考訳（メタデータ） (2021-06-19T18:06:11Z)
• Good practices for Bayesian Optimization of high dimensional structured spaces [15.488642552157131]
  高次元構造データセットにおけるベイズ最適化のための異なる探索空間設計の選択の効果について検討する。 遅延空間における最適化境界を自動的に定義する新しい手法を評価します。 我々は実践者に推薦する。
  論文  参考訳（メタデータ） (2020-12-31T07:00:39Z)
• Sub-linear Regret Bounds for Bayesian Optimisation in Unknown Search Spaces [63.22864716473051]
  本稿では,反復により探索空間を拡大(およびシフト)する新しいBOアルゴリズムを提案する。 理論的には、どちらのアルゴリズムにおいても、累積的後悔は線形以下の速度で増大する。
  論文  参考訳（メタデータ） (2020-09-05T14:24:40Z)
• Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
  大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。 このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。 本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。 先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
  論文  参考訳（メタデータ） (2020-03-27T06:18:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。