論文の概要: Poisson Process for Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2402.02687v1
• Date: Mon, 5 Feb 2024 02:54:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 17:57:17.129624
• Title: Poisson Process for Bayesian Optimization
• Title（参考訳）: ベイズ最適化のためのポアソン過程
• Authors: Xiaoxing Wang, Jiaxing Li, Chao Xue, Wei Liu, Weifeng Liu, Xiaokang Yang, Junchi Yan, Dacheng Tao
• Abstract要約: 本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
• 参考スコア（独自算出の注目度）: 126.51200593377739
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: BayesianOptimization(BO) is a sample-efficient black-box optimizer, and extensive methods have been proposed to build the absolute function response of the black-box function through a probabilistic surrogate model, including Tree-structured Parzen Estimator (TPE), random forest (SMAC), and Gaussian process (GP). However, few methods have been explored to estimate the relative rankings of candidates, which can be more robust to noise and have better practicality than absolute function responses, especially when the function responses are intractable but preferences can be acquired. To this end, we propose a novel ranking-based surrogate model based on the Poisson process and introduce an efficient BO framework, namely Poisson Process Bayesian Optimization (PoPBO). Two tailored acquisition functions are further derived from classic LCB and EI to accommodate it. Compared to the classic GP-BO method, our PoPBO has lower computation costs and better robustness to noise, which is verified by abundant experiments. The results on both simulated and real-world benchmarks, including hyperparameter optimization (HPO) and neural architecture search (NAS), show the effectiveness of PoPBO.
• Abstract（参考訳）: ベイズ最適化(BO)はサンプル効率の良いブラックボックス最適化器であり、木構造パーゼン推定器(TPE)、ランダムフォレスト(SMAC)、ガウス過程(GP)などの確率的サロゲートモデルを用いてブラックボックス関数の絶対関数応答を構築するための広範な手法が提案されている。 しかし, 雑音に対して頑健で, 絶対関数応答よりも実用性に優れる候補の相対的ランキングを推定する手法は, 特に関数応答が難解で選好が得られない場合には, ほとんど検討されていない。 そこで本研究では,poisson プロセスに基づく新しいランキングに基づくサーロゲートモデルを提案し,poisson process bayesian optimization (popbo) という効率的な bo フレームワークを提案する。 2つの調整された取得関数は、それに対応するために古典的な LCB と EI からさらに派生する。 従来のGP-BO法と比較すると,PoPBOは計算コストが低く,ノイズに対する堅牢性も良好である。 ハイパーパラメータ最適化(HPO)やニューラルアーキテクチャサーチ(NAS)を含むシミュレーションと実世界のベンチマークの結果は、PoPBOの有効性を示している。

関連論文リスト

• Simulation Based Bayesian Optimization [0.6526824510982799]
  本稿では,獲得関数を最適化するための新しいアプローチとして,シミュレーションベースベイズ最適化(SBBO)を提案する。 SBBOは、離散変数を持つ空間に適した代理モデルを使用することができる。 代理モデルの様々な選択を用いたSBBO法の有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2024-01-19T16:56:11Z)
• Learning Regions of Interest for Bayesian Optimization with Adaptive Level-Set Estimation [84.0621253654014]
  本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。 理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
  論文  参考訳（メタデータ） (2023-07-25T09:45:47Z)
• Provably Efficient Bayesian Optimization with Unknown Gaussian Process Hyperparameter Estimation [44.53678257757108]
  目的関数の大域的最適値にサブ線形収束できる新しいBO法を提案する。 本手法では,BOプロセスにランダムなデータポイントを追加するために,マルチアームバンディット法 (EXP3) を用いる。 提案手法は, 様々な合成および実世界の問題に対して, 既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-12T03:35:45Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Enhancing Explainability of Hyperparameter Optimization via Bayesian Algorithm Execution [13.037647287689438]
  部分依存プロットのような解釈可能な機械学習(IML)手法とHPOの組み合わせについて検討する。 我々は,最適大域的予測性能を効率的に探索する改良HPO法を提案する。 提案手法は,最適化性能を損なうことなく,ブラックボックスの信頼性の高い説明を返す。
  論文  参考訳（メタデータ） (2022-06-11T07:12:04Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• Diversified Sampling for Batched Bayesian Optimization with Determinantal Point Processes [48.09817971375995]
  DPP-Batch Bayesian Optimization (DPP-BBO)を導入する。 DPP-Thompson Smpling (DPP-TS) を一般的なトンプソンサンプリング (TS) アルゴリズムの変種として定式化し、マルコフ・チェインモンテカルロ法をサンプルとして導入することによって、この枠組みを説明する。
  論文  参考訳（メタデータ） (2021-10-22T08:51:28Z)
• Trusted-Maximizers Entropy Search for Efficient Bayesian Optimization [39.824086260578646]
  本稿では,信頼度最大化エントロピー探索(TES)取得関数を提案する。 インプットがクエリの情報ゲインにどの程度貢献するかを、信頼された最大値の有限セット上で測定する。
  論文  参考訳（メタデータ） (2021-07-30T07:25:07Z)
• Preferential Bayesian optimisation with Skew Gaussian Processes [0.225596179391365]
  選好関数の真の後続分布はスキューガウス過程(SkewGP)であることを示す。 我々は、正確なSkiwGP後部を計算し、標準取得関数を用いたPBOの代理モデルとして利用する効率的な手法を導出する。 また、我々のフレームワークは、混合優先カテゴリーBOを扱うように拡張可能であることも示している。
  論文  参考訳（メタデータ） (2020-08-15T08:23:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。