論文の概要: Cost-aware Bayesian Optimization
- arxiv url: http://arxiv.org/abs/2003.10870v1
- Date: Sun, 22 Mar 2020 14:51:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 05:14:57.972459
- Title: Cost-aware Bayesian Optimization
- Title(参考訳): コスト対応ベイズ最適化
- Authors: Eric Hans Lee, Valerio Perrone, Cedric Archambeau, Matthias Seeger
- Abstract要約: コストを意識したBOは、時間、エネルギー、お金といった他のコスト指標との収束を測定します。
我々は,目標関数をできるだけ少ないコストで最小化しようとするコスト調整BO(CArBO)を導入する。
- 参考スコア(独自算出の注目度): 6.75013674088437
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian optimization (BO) is a class of global optimization algorithms,
suitable for minimizing an expensive objective function in as few function
evaluations as possible. While BO budgets are typically given in iterations,
this implicitly measures convergence in terms of iteration count and assumes
each evaluation has identical cost. In practice, evaluation costs may vary in
different regions of the search space. For example, the cost of neural network
training increases quadratically with layer size, which is a typical
hyperparameter. Cost-aware BO measures convergence with alternative cost
metrics such as time, energy, or money, for which vanilla BO methods are
unsuited. We introduce Cost Apportioned BO (CArBO), which attempts to minimize
an objective function in as little cost as possible. CArBO combines a
cost-effective initial design with a cost-cooled optimization phase which
depreciates a learned cost model as iterations proceed. On a set of 20
black-box function optimization problems we show that, given the same cost
budget, CArBO finds significantly better hyperparameter configurations than
competing methods.
- Abstract(参考訳): ベイズ最適化 (bayesian optimization, bo) は、高コストの目的関数を極力少ない関数評価で最小化するのに適した、大域的最適化アルゴリズムのクラスである。
BO予算は通常イテレーションで与えられるが、これは暗黙的に反復数の観点から収束を測定し、それぞれの評価に同じコストがかかると仮定する。
実際に、評価コストは検索空間の異なる領域で異なる可能性がある。
例えば、ニューラルネットワークトレーニングのコストは、典型的なハイパーパラメータであるレイヤサイズと2次的に増加する。
コスト対応BOは、バニラBO法が適さない時間、エネルギー、お金などの代替コスト指標との収束を測定する。
我々は,目標関数をできるだけ少ないコストで最小化しようとするコスト調整BO(CArBO)を導入する。
CArBOはコスト効率の良い初期設計とコスト冷却最適化フェーズを組み合わせることで、反復が進むにつれて学習コストモデルを劣化させる。
20のブラックボックス関数最適化問題に対して、CArBOは競合する手法よりもはるかに優れたハイパーパラメータ構成を見出した。
関連論文リスト
- Movement Penalized Bayesian Optimization with Application to Wind Energy
Systems [84.7485307269572]
文脈ベイズ最適化(CBO)は、与えられた側情報を逐次決定する強力なフレームワークである。
この設定では、学習者は各ラウンドでコンテキスト(天気条件など)を受け取り、アクション(タービンパラメータなど)を選択する必要がある。
標準的なアルゴリズムは、すべてのラウンドで意思決定を切り替えるコストを前提としませんが、多くの実用的なアプリケーションでは、このような変更に関連するコストが最小化されるべきです。
論文 参考訳(メタデータ) (2022-10-14T20:19:32Z) - A General Recipe for Likelihood-free Bayesian Optimization [115.82591413062546]
我々は,BOをより広範なモデルやユーティリティに拡張する可能性のないBO(LFBO)を提案する。
LFBOは、確率的代理モデルと個別に推論を行うことなく、取得関数を直接モデル化する。
LFBOにおける取得関数の計算は、重み付けされた分類問題を最適化することで削減できることを示す。
論文 参考訳(メタデータ) (2022-06-27T03:55:27Z) - Smoothed Online Convex Optimization Based on Discounted-Normal-Predictor [68.17855675511602]
円滑なオンライン凸最適化(SOCO)のためのオンライン予測戦略について検討する。
提案アルゴリズムは,各区間の切替コストで適応的後悔を最小限に抑えることができることを示す。
論文 参考訳(メタデータ) (2022-05-02T08:48:22Z) - $\pi$BO: Augmenting Acquisition Functions with User Beliefs for Bayesian
Optimization [40.30019289383378]
最適位置に関する事前の信念を取り入れた,取得関数の一般化である$pi$BOを提案する。
従来のアプローチとは対照的に、$pi$BOは概念的にはシンプルで、既存のライブラリや多くの取得関数と簡単に統合できる。
また、一般的なディープラーニングタスクの最先端性能を$pi$BOで改善し、12.5$times$タイム・トゥ・クオリティ・スピードアップを実現した。
論文 参考訳(メタデータ) (2022-04-23T11:07:13Z) - Multi-Step Budgeted Bayesian Optimization with Unknown Evaluation Costs [28.254408148839644]
不均一な評価コストの設定に古典的な期待改善を一般化する非筋力的獲得関数を提案する。
我々の獲得関数は、様々な合成問題や実問題において、既存の手法よりも優れています。
論文 参考訳(メタデータ) (2021-11-12T02:18:26Z) - Low-Cost Algorithmic Recourse for Users With Uncertain Cost Functions [74.00030431081751]
本稿では,ユーザ固有のコスト関数の概念を定式化し,ユーザのための行動可能なリコースを識別する新しい手法を提案する。
本手法は,強いベースライン法に比べて最大25.89パーセントのユーザを満足させる。
論文 参考訳(メタデータ) (2021-11-01T19:49:35Z) - A Nonmyopic Approach to Cost-Constrained Bayesian Optimization [10.078368988372247]
コスト制約付きBOを制約付きマルコフ決定過程(CMDP)として定式化する。
コストと将来のイテレーションを考慮に入れた最適CMDPポリシーに対する効率的なロールアウト近似を開発する。
論文 参考訳(メタデータ) (2021-06-10T22:44:37Z) - Bayesian Algorithm Execution: Estimating Computable Properties of
Black-box Functions Using Mutual Information [78.78486761923855]
多くの現実世界では、T関数の評価の予算を考えると、高価なブラックボックス関数 f の性質を推測したい。
本稿では,アルゴリズムの出力に対して相互情報を最大化するクエリを逐次選択する手法InfoBAXを提案する。
これらの問題に対してInfoBAXは、元のアルゴリズムで要求されるより500倍少ないクエリをfに使用する。
論文 参考訳(メタデータ) (2021-04-19T17:22:11Z) - Cost-Efficient Online Hyperparameter Optimization [94.60924644778558]
実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。
提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
論文 参考訳(メタデータ) (2021-01-17T04:55:30Z) - Pareto-efficient Acquisition Functions for Cost-Aware Bayesian
Optimization [5.459427541271035]
ブラックボックス関数に対するコスト対応ベイズ最適化について述べる。
144個の実世界のブラックボックス関数最適化問題に対して、我々のソリューションは50%のスピードアップをもたらす。
また、ガウスのプロセスコストモデルに対する一般的な選択を再考し、単純で低分散のコストモデルがトレーニング時間を効果的に予測することを示した。
論文 参考訳(メタデータ) (2020-11-23T15:06:07Z) - Bayesian optimization for modular black-box systems with switching costs [9.595357496779394]
我々はLaMBO(Lazy Modular Bayesian Optimization)と呼ばれるスイッチコストを考慮した新しいアルゴリズムを提案する。
LaMBOは、初期モジュールにおける変数の受動的変更によるコストを最小化しながら、グローバルな最適化を効率的に識別する。
複数の合成機能にLaMBOを応用し,神経科学応用に使用される3段階画像分割パイプラインを試作した。
論文 参考訳(メタデータ) (2020-06-04T02:56:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。