論文の概要: Multi-Step Budgeted Bayesian Optimization with Unknown Evaluation Costs

• arxiv url: http://arxiv.org/abs/2111.06537v1
• Date: Fri, 12 Nov 2021 02:18:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-15 22:01:51.268677
• Title: Multi-Step Budgeted Bayesian Optimization with Unknown Evaluation Costs
• Title（参考訳）: 未知評価コストを考慮した多段予算ベイズ最適化
• Authors: Raul Astudillo, Daniel R. Jiang, Maximilian Balandat, Eytan Bakshy, Peter I. Frazier
• Abstract要約: 不均一な評価コストの設定に古典的な期待改善を一般化する非筋力的獲得関数を提案する。 我々の獲得関数は、様々な合成問題や実問題において、既存の手法よりも優れています。
• 参考スコア（独自算出の注目度）: 28.254408148839644
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian optimization (BO) is a sample-efficient approach to optimizing costly-to-evaluate black-box functions. Most BO methods ignore how evaluation costs may vary over the optimization domain. However, these costs can be highly heterogeneous and are often unknown in advance. This occurs in many practical settings, such as hyperparameter tuning of machine learning algorithms or physics-based simulation optimization. Moreover, those few existing methods that acknowledge cost heterogeneity do not naturally accommodate a budget constraint on the total evaluation cost. This combination of unknown costs and a budget constraint introduces a new dimension to the exploration-exploitation trade-off, where learning about the cost incurs the cost itself. Existing methods do not reason about the various trade-offs of this problem in a principled way, leading often to poor performance. We formalize this claim by proving that the expected improvement and the expected improvement per unit of cost, arguably the two most widely used acquisition functions in practice, can be arbitrarily inferior with respect to the optimal non-myopic policy. To overcome the shortcomings of existing approaches, we propose the budgeted multi-step expected improvement, a non-myopic acquisition function that generalizes classical expected improvement to the setting of heterogeneous and unknown evaluation costs. Finally, we show that our acquisition function outperforms existing methods in a variety of synthetic and real problems.
• Abstract（参考訳）: ベイズ最適化(英: Bayesian Optimization, BO)とは、ブラックボックス関数を最適化する手法である。 ほとんどのBOメソッドは、最適化領域で評価コストがどのように変化するかを無視している。 しかし、これらのコストは多種多様であり、しばしば事前に不明である。 これは、機械学習アルゴリズムのハイパーパラメータチューニングや物理ベースのシミュレーション最適化など、多くの実践的な設定で発生する。 さらに, コストの不均一性を認めている既存手法は, 全評価コストに対する予算制約を自然に満たさない。 この未知のコストと予算制約の組み合わせは、コストについて学ぶことがコスト自体を負う、探索-爆発的トレードオフに新たな次元をもたらす。 既存の方法は、この問題の様々なトレードオフを原則的に説明しないため、しばしばパフォーマンスが低下する。 この主張を定式化し、期待された改善とコスト単位当たりの期待改善(実際には最も広く使われている2つの獲得関数)が、最適な非認知政策に関して任意に劣る可能性があることを立証する。 既存のアプローチの欠点を克服するために,従来の期待改善を不均一で未知の評価コストの設定に一般化した,予算付き多段階期待改善関数を提案する。 最後に,我々の獲得関数は,様々な合成および実問題において,既存の手法よりも優れていることを示す。

関連論文リスト

• Cost-aware Bayesian Optimization via the Pandora's Box Gittins Index [57.045952766988925]
  我々は,コストを意識したベイズ最適化と,経済学の意思決定問題であるPandoraのBox問題との間に,従来未解決の接続関係を構築した。 我々の研究は、Gittinsインデックス理論からベイズ最適化への技術統合に向けた第一歩となる。
  論文  参考訳（メタデータ） (2024-06-28T17:20:13Z)
• Cost-Sensitive Multi-Fidelity Bayesian Optimization with Transfer of Learning Curve Extrapolation [55.75188191403343]
  各ユーザが事前に定義した機能であるユーティリティを導入し,BOのコストと性能のトレードオフについて述べる。 このアルゴリズムをLCデータセット上で検証した結果,従来のマルチファイルBOや転送BOベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2024-05-28T07:38:39Z)
• An adaptive approach to Bayesian Optimization with switching costs [0.8246494848934447]
  逐次実験設計の資源制約設定に対するベイズ最適化の修正について検討する。 この逐次的問題定式化にプロセス制約付きバッチアルゴリズムを2つ適用し,コスト認識とコスト非依存の2つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-14T21:55:02Z)
• Landscape-Sketch-Step: An AI/ML-Based Metaheuristic for Surrogate Optimization Problems [0.0]
  コスト関数の広範囲な評価が高価で、アクセス不能、あるいは禁止されるシナリオにおいて、グローバルな最適化のための新しいアルゴリズムを導入する。 この手法はLandscape-Sketch-and-Step (LSS)と呼ばれ、機械学習、レプリカ最適化、強化学習技術を組み合わせたものである。
  論文  参考訳（メタデータ） (2023-09-14T01:53:45Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Low-Cost Algorithmic Recourse for Users With Uncertain Cost Functions [74.00030431081751]
  本稿では,ユーザ固有のコスト関数の概念を定式化し,ユーザのための行動可能なリコースを識別する新しい手法を提案する。 本手法は,強いベースライン法に比べて最大25.89パーセントのユーザを満足させる。
  論文  参考訳（メタデータ） (2021-11-01T19:49:35Z)
• A Nonmyopic Approach to Cost-Constrained Bayesian Optimization [10.078368988372247]
  コスト制約付きBOを制約付きマルコフ決定過程(CMDP)として定式化する。 コストと将来のイテレーションを考慮に入れた最適CMDPポリシーに対する効率的なロールアウト近似を開発する。
  論文  参考訳（メタデータ） (2021-06-10T22:44:37Z)
• Cost-Efficient Online Hyperparameter Optimization [94.60924644778558]
  実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。 提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
  論文  参考訳（メタデータ） (2021-01-17T04:55:30Z)
• Pareto-efficient Acquisition Functions for Cost-Aware Bayesian Optimization [5.459427541271035]
  ブラックボックス関数に対するコスト対応ベイズ最適化について述べる。 144個の実世界のブラックボックス関数最適化問題に対して、我々のソリューションは50%のスピードアップをもたらす。 また、ガウスのプロセスコストモデルに対する一般的な選択を再考し、単純で低分散のコストモデルがトレーニング時間を効果的に予測することを示した。
  論文  参考訳（メタデータ） (2020-11-23T15:06:07Z)
• Optimal Bayesian experimental design for subsurface flow problems [77.34726150561087]
  本稿では,設計ユーティリティ機能のためのカオス拡張サロゲートモデル(PCE)の開発のための新しいアプローチを提案する。 この手法により,対象関数に対する適切な品質応答面の導出が可能となり,計算予算は複数の単点評価に匹敵する。
  論文  参考訳（メタデータ） (2020-08-10T09:42:59Z)
• Cost-aware Bayesian Optimization [6.75013674088437]
  コストを意識したBOは、時間、エネルギー、お金といった他のコスト指標との収束を測定します。 我々は,目標関数をできるだけ少ないコストで最小化しようとするコスト調整BO(CArBO)を導入する。
  論文  参考訳（メタデータ） (2020-03-22T14:51:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。