論文の概要: Scalable Combinatorial Bayesian Optimization with Tractable Statistical models

• arxiv url: http://arxiv.org/abs/2008.08177v1
• Date: Tue, 18 Aug 2020 22:56:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 21:23:42.244918
• Title: Scalable Combinatorial Bayesian Optimization with Tractable Statistical models
• Title（参考訳）: 可搬性統計モデルを用いたスケーラブルコンビネートベイズ最適化
• Authors: Aryan Deshwal, Syrine Belakaria, Janardhan Rao Doppa
• Abstract要約: 緩和空間上のブラックボックス関数(集合、列、木、グラフなど)を最適化する問題について検討する。 サブモジュール緩和の最近の進歩に基づき,BOCSモデルにおけるAFO問題のスケーラビリティと精度向上を目標として,Parametrized Submodular (PSR) のアプローチを検討する。 多様なベンチマーク問題に対する実験では、BOCSモデルに対するPSRによる大幅な改善が示されている。
• 参考スコア（独自算出の注目度）: 44.25245545568633
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the problem of optimizing expensive blackbox functions over combinatorial spaces (e.g., sets, sequences, trees, and graphs). BOCS (Baptista and Poloczek, 2018) is a state-of-the-art Bayesian optimization method for tractable statistical models, which performs semi-definite programming based acquisition function optimization (AFO) to select the next structure for evaluation. Unfortunately, BOCS scales poorly for large number of binary and/or categorical variables. Based on recent advances in submodular relaxation (Ito and Fujimaki, 2016) for solving Binary Quadratic Programs, we study an approach referred as Parametrized Submodular Relaxation (PSR) towards the goal of improving the scalability and accuracy of solving AFO problems for BOCS model. PSR approach relies on two key ideas. First, reformulation of AFO problem as submodular relaxation with some unknown parameters, which can be solved efficiently using minimum graph cut algorithms. Second, construction of an optimization problem to estimate the unknown parameters with close approximation to the true objective. Experiments on diverse benchmark problems show significant improvements with PSR for BOCS model. The source code is available at https://github.com/aryandeshwal/Submodular_Relaxation_BOCS .
• Abstract（参考訳）: 我々は、組合せ空間(例えば集合、列、木、グラフ)上で高価なブラックボックス関数を最適化する問題を研究する。 BOCS (Baptista and Poloczek, 2018) は、半定値プログラミングに基づく獲得関数最適化 (AFO) を実行し、評価のための次の構造を選択する。 残念ながら、BOCSは多数のバイナリ変数やカテゴリ変数に対して低スケールである。 二次二次プログラムを解くためのサブモジュラリラクゼーション(ito and fujimaki, 2016)の最近の進歩に基づき、bocsモデルにおけるafo問題解決のスケーラビリティと精度の向上を目標としたパラメトリズドサブモジュラリラクゼーション(psr)と呼ばれるアプローチについて検討する。 PSRアプローチは2つの重要なアイデアに依存している。 まず、AFO問題をいくつかの未知パラメータを持つ部分モジュラ緩和として再構成し、最小グラフカットアルゴリズムを用いて効率的に解ける。 第二に、真の目的に近似した未知のパラメータを推定する最適化問題を構築する。 多様なベンチマーク問題に対する実験は、BOCSモデルに対するPSRの大幅な改善を示している。 ソースコードはhttps://github.com/aryandeshwal/submodular_relaxation_bocsで入手できる。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Simulation Based Bayesian Optimization [0.6526824510982799]
  本稿では,獲得関数を最適化するための新しいアプローチとして,シミュレーションベースベイズ最適化(SBBO)を提案する。 SBBOは、離散変数を持つ空間に適した代理モデルを使用することができる。 代理モデルの様々な選択を用いたSBBO法の有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2024-01-19T16:56:11Z)
• Predictive Modeling through Hyper-Bayesian Optimization [60.586813904500595]
  本稿では,モデル選択とBOを統合する新しい手法を提案する。 このアルゴリズムは、モデル空間のBOと関数空間のBOの間を行き来する。 サンプル効率の改善に加えて、ブラックボックス機能に関する情報も出力する。
  論文  参考訳（メタデータ） (2023-08-01T04:46:58Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• Bayesian Optimization over Permutation Spaces [30.650753803587794]
  BOPS (Permutation Spaces) に対する2つのアルゴリズムの提案と評価を行った。 BOPS-Tの性能を理論的に解析し,その後悔がサブリニアに増加することを示す。 複数の合成および実世界のベンチマーク実験により、BOPS-TとBOPS-Hは、空間に対する最先端のBOアルゴリズムよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-12-02T08:20:50Z)
• Bayesian Optimisation for Constrained Problems [0.0]
  本稿では,制約を扱える知恵グラディエント獲得関数の新たな変種を提案する。 我々は、このアルゴリズムを、他の4つの最先端制約されたベイズ最適化アルゴリズムと比較し、その優れた性能を実証する。
  論文  参考訳（メタデータ） (2021-05-27T15:43:09Z)
• Slowly Varying Regression under Sparsity [5.22980614912553]
  本稿では, 緩やかな過度回帰の枠組みを提示し, 回帰モデルが緩やかかつスパースな変動を示すようにした。 本稿では,バイナリ凸アルゴリズムとして再構成する手法を提案する。 結果として得られたモデルは、様々なデータセット間で競合する定式化よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-02-22T04:51:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。