論文の概要: Bayesian Optimization over High-Dimensional Combinatorial Spaces via Dictionary-based Embeddings

• arxiv url: http://arxiv.org/abs/2303.01774v1
• Date: Fri, 3 Mar 2023 08:31:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-06 15:52:59.377081
• Title: Bayesian Optimization over High-Dimensional Combinatorial Spaces via Dictionary-based Embeddings
• Title（参考訳）: 辞書に基づく埋め込みによる高次元組合せ空間上のベイズ最適化
• Authors: Aryan Deshwal, Sebastian Ament, Maximilian Balandat, Eytan Bakshy, Janardhan Rao Doppa, David Eriksson
• Abstract要約: 我々は,科学,工学,機械学習の分野において,高次元空間上でのブラックボックス関数の最適化の問題を考える。 鍵となるアイデアは、入力空間から多くの離散構造を選択し、それらを用いて高次元構造に対する順序埋め込みを定義することである。 本稿では,二分空間の辞書を構築するための二分ウェーブレットに基づく原理的アプローチを開発し,分類空間に一般化するランダム化構成法を提案する。
• 参考スコア（独自算出の注目度）: 36.60636056219264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the problem of optimizing expensive black-box functions over high-dimensional combinatorial spaces which arises in many science, engineering, and ML applications. We use Bayesian Optimization (BO) and propose a novel surrogate modeling approach for efficiently handling a large number of binary and categorical parameters. The key idea is to select a number of discrete structures from the input space (the dictionary) and use them to define an ordinal embedding for high-dimensional combinatorial structures. This allows us to use existing Gaussian process models for continuous spaces. We develop a principled approach based on binary wavelets to construct dictionaries for binary spaces, and propose a randomized construction method that generalizes to categorical spaces. We provide theoretical justification to support the effectiveness of the dictionary-based embeddings. Our experiments on diverse real-world benchmarks demonstrate the effectiveness of our proposed surrogate modeling approach over state-of-the-art BO methods.
• Abstract（参考訳）: 我々は、多くの科学、工学、mlアプリケーションで発生する高次元組合せ空間上の高価なブラックボックス関数を最適化する問題を考える。 我々はベイズ最適化(BO)を用いて、多数のバイナリパラメータとカテゴリパラメータを効率的に扱う新しい代理モデリング手法を提案する。 鍵となる考え方は、入力空間(辞書)から多くの離散構造を選択し、それらを高次元の組合せ構造に対する順序埋め込みを定義することである。 これにより、既存のガウス過程モデルを連続空間に使うことができる。 二進ウェーブレットに基づく二進空間の辞書を構築する原理的手法を開発し,分類空間に一般化したランダム化構成法を提案する。 辞書ベースの埋め込みの有効性を支持する理論的正当性を提供する。 種々の実世界のベンチマーク実験により,提案手法が最先端BO法に対して有効であることを示す。

関連論文リスト

• Diffusion Model for Data-Driven Black-Box Optimization [54.25693582870226]
  我々は、強力な生成AI技術である拡散モデルに注目し、ブラックボックス最適化の可能性について検討する。 本研究では,1)実数値報酬関数のノイズ測定と,2)対比較に基づく人間の嗜好の2種類のラベルについて検討する。 提案手法は,設計最適化問題を条件付きサンプリング問題に再構成し,拡散モデルのパワーを有効活用する。
  論文  参考訳（メタデータ） (2024-03-20T00:41:12Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
  共分散行列の明示的な構成を避ける新しい推論手法を提案する。 本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。 いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
  論文  参考訳（メタデータ） (2022-02-25T16:35:26Z)
• Combining Latent Space and Structured Kernels for Bayesian Optimization over Combinatorial Spaces [27.989924313988016]
  我々は、高価なブラックボックス関数評価を用いて、空間(シーケンス、ツリー、グラフなど)を最適化する問題を考察する。 空間に対する最近のBOアプローチは、構造体の潜在表現を学習することで連続空間上のBOへの還元である。 本稿では,この欠点を克服するための原則的アプローチであるLADDERを提案する。
  論文  参考訳（メタデータ） (2021-11-01T18:26:22Z)
• High-Dimensional Bayesian Optimization with Sparse Axis-Aligned Subspaces [14.03847432040056]
  スパース軸整列部分空間上で定義される代理モデルは、柔軟性とパーシモニーの間に魅力的な妥協をもたらすと我々は主張する。 提案手法は,ハミルトニアンモンテカルロを推論に用い,未知の目的関数のモデル化に関連するスパース部分空間を迅速に同定できることを実証する。
  論文  参考訳（メタデータ） (2021-02-27T23:06:24Z)
• Combinatorial Bayesian Optimization with Random Mapping Functions to Convex Polytopes [43.19936635161588]
  大規模空間でうまく動作するような空間におけるベイズ最適化法を提案する。 提案アルゴリズムは,既存手法と比較して良好な性能を示す。
  論文  参考訳（メタデータ） (2020-11-26T02:22:41Z)
• High-Dimensional Bayesian Optimization via Nested Riemannian Manifolds [0.0]
  本研究では,様々な領域によく現れる非ユークリッド探索空間の幾何学を利用して,構造保存写像を学習することを提案する。 我々のアプローチは、ネストした多様体の埋め込みを共同で学習する幾何学的ガウス過程と、潜在空間における目的関数の表現を特徴付ける。
  論文  参考訳（メタデータ） (2020-10-21T11:24:11Z)
• BOSS: Bayesian Optimization over String Spaces [15.630421177117634]
  本稿では,原弦上で直接作用するベイズ最適化法(BO法)を提案する。 BOループ内で文字列カーネルと遺伝的アルゴリズムを最初に使用することを提案する。
  論文  参考訳（メタデータ） (2020-10-02T13:18:27Z)
• Sub-linear Regret Bounds for Bayesian Optimisation in Unknown Search Spaces [63.22864716473051]
  本稿では,反復により探索空間を拡大(およびシフト)する新しいBOアルゴリズムを提案する。 理論的には、どちらのアルゴリズムにおいても、累積的後悔は線形以下の速度で増大する。
  論文  参考訳（メタデータ） (2020-09-05T14:24:40Z)
• Clustering Binary Data by Application of Combinatorial Optimization Heuristics [52.77024349608834]
  本稿では,2値データのクラスタリング手法について検討し,まず,クラスタのコンパクトさを計測するアグリゲーション基準を定義した。 近隣地域と人口動態最適化メタヒューリスティックスを用いた5つの新しいオリジナル手法が導入された。 準モンテカルロ実験によって生成された16のデータテーブルから、L1の相似性と階層的クラスタリング、k-means(メドイドやPAM)の1つのアグリゲーションの比較を行う。
  論文  参考訳（メタデータ） (2020-01-06T23:33:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。