論文の概要: $\pi$BO: Augmenting Acquisition Functions with User Beliefs for Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2204.11051v1
• Date: Sat, 23 Apr 2022 11:07:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-26 12:36:15.123632
• Title: $\pi$BO: Augmenting Acquisition Functions with User Beliefs for Bayesian Optimization
• Title（参考訳）: $\pi$BO: ベイズ最適化のためのユーザ信念による買収関数の拡張
• Authors: Carl Hvarfner, Danny Stoll, Artur Souza, Marius Lindauer, Frank Hutter, Luigi Nardi
• Abstract要約: 最適位置に関する事前の信念を取り入れた,取得関数の一般化である$pi$BOを提案する。 従来のアプローチとは対照的に、$pi$BOは概念的にはシンプルで、既存のライブラリや多くの取得関数と簡単に統合できる。 また、一般的なディープラーニングタスクの最先端性能を$pi$BOで改善し、12.5$times$タイム・トゥ・クオリティ・スピードアップを実現した。
• 参考スコア（独自算出の注目度）: 40.30019289383378
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian optimization (BO) has become an established framework and popular tool for hyperparameter optimization (HPO) of machine learning (ML) algorithms. While known for its sample-efficiency, vanilla BO can not utilize readily available prior beliefs the practitioner has on the potential location of the optimum. Thus, BO disregards a valuable source of information, reducing its appeal to ML practitioners. To address this issue, we propose $\pi$BO, an acquisition function generalization which incorporates prior beliefs about the location of the optimum in the form of a probability distribution, provided by the user. In contrast to previous approaches, $\pi$BO is conceptually simple and can easily be integrated with existing libraries and many acquisition functions. We provide regret bounds when $\pi$BO is applied to the common Expected Improvement acquisition function and prove convergence at regular rates independently of the prior. Further, our experiments show that $\pi$BO outperforms competing approaches across a wide suite of benchmarks and prior characteristics. We also demonstrate that $\pi$BO improves on the state-of-the-art performance for a popular deep learning task, with a 12.5 $\times$ time-to-accuracy speedup over prominent BO approaches.
• Abstract（参考訳）: ベイズ最適化(BO)は機械学習(ML)アルゴリズムのハイパーパラメータ最適化(HPO)のための確立されたフレームワークであり、一般的なツールとなっている。 サンプル効率で知られているが、バニラBOは、実践者が最適位置の潜在的な位置について、容易に利用できる事前の信念を利用できない。 このようにBOは貴重な情報ソースを無視し、ML実践者へのアピールを減らす。 この問題を解決するために,ユーザが提供した確率分布の形で,最適位置に関する事前の信念を組み込んだ買収関数の一般化である$\pi$BOを提案する。 従来のアプローチとは異なり、$\pi$BOは概念的にはシンプルで、既存のライブラリや多くの取得関数と簡単に統合できる。 一般に期待されている改善獲得関数に$\pi$BOを適用すると、その前と独立に正規レートでの収束が証明される。 さらに、実験の結果、$\pi$BOは、幅広いベンチマークと先行特性で競合するアプローチよりも優れていることがわかった。 また、一般的なディープラーニングタスクの最先端パフォーマンスを$\pi$BOで改善し、12.5$\times$Time-to-accuracy BO のアプローチよりも高速であることを示す。

関連論文リスト

• Cost-Sensitive Multi-Fidelity Bayesian Optimization with Transfer of Learning Curve Extrapolation [55.75188191403343]
  各ユーザが事前に定義した機能であるユーティリティを導入し,BOのコストと性能のトレードオフについて述べる。 このアルゴリズムをLCデータセット上で検証した結果,従来のマルチファイルBOや転送BOベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2024-05-28T07:38:39Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• A General Framework for User-Guided Bayesian Optimization [51.96352579696041]
  コラボ (ColaBO) は、典型的なカーネル構造を超越した事前信念のための最初のベイズ原理の枠組みである。 我々は,ColaBOの事前情報が正確である場合に最適化を著しく高速化し,ミスリード時のほぼ既定性能を維持する能力を実証的に実証した。
  論文  参考訳（メタデータ） (2023-11-24T18:27:26Z)
• qEUBO: A Decision-Theoretic Acquisition Function for Preferential Bayesian Optimization [17.300690315775572]
  我々は,PBOの新たな獲得機能として,ベストオプション(qEUBO)の期待される実用性を紹介した。 我々はqEUBOが1ステップのベイズ最適であり、したがって一般的な知識勾配獲得関数と同値であることを示す。 我々は、qEUBOがPBOの最先端の取得機能よりも多くの設定で優れていることを実証した。
  論文  参考訳（メタデータ） (2023-03-28T06:02:56Z)
• Bayesian Optimization for Function Compositions with Applications to Dynamic Pricing [0.0]
  本稿では, 構成の形式が知られているが, 構成関数を評価するのに費用がかかる機能構成の実用的BO法を提案する。 本稿では,収益管理における動的価格設定への新たな応用を,その基盤となる需要関数の評価に費用がかかる場合に示す。
  論文  参考訳（メタデータ） (2023-03-21T15:45:06Z)
• Multi-Fidelity Bayesian Optimization with Unreliable Information Sources [12.509709549771385]
  GPベースのMFBOスキームを信頼性のない情報ソースの追加により堅牢にするためのrMFBO(robust MFBO)を提案する。 提案手法の有効性を,多数の数値ベンチマークで示す。 rMFBOは、BOプロセスに様々な知識を持つ人間の専門家を確実に含めるのに特に有用であると考えています。
  論文  参考訳（メタデータ） (2022-10-25T11:47:33Z)
• A General Recipe for Likelihood-free Bayesian Optimization [115.82591413062546]
  我々は,BOをより広範なモデルやユーティリティに拡張する可能性のないBO(LFBO)を提案する。 LFBOは、確率的代理モデルと個別に推論を行うことなく、取得関数を直接モデル化する。 LFBOにおける取得関数の計算は、重み付けされた分類問題を最適化することで削減できることを示す。
  論文  参考訳（メタデータ） (2022-06-27T03:55:27Z)
• Sparse Bayesian Optimization [16.867375370457438]
  よりスパースで解釈可能な構成を発見できる正規化ベースのアプローチをいくつか提示する。 そこで本研究では,同相連続に基づく新たな微分緩和法を提案し,空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間的空間 スパシティのために効率的に最適化できることが示されています。
  論文  参考訳（メタデータ） (2022-03-03T18:25:33Z)
• Bayesian Optimistic Optimisation with Exponentially Decaying Regret [58.02542541410322]
  現在の実用的なBOアルゴリズムは、$mathcalO(fraclogNsqrtN)$から$mathcalO(e-sqrtN)$まで、$N$は評価の数である。 本稿では,boと木に基づく楽観的楽観化の概念を絡み合うことにより,無音環境における後悔を改善できる可能性について検討する。 次数$mathcal O(N-sqrt)で指数的再帰を達成できる最初の実践的手法であるBOOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T13:07:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。