論文の概要: Efficient Nonmyopic Bayesian Optimization via One-Shot Multi-Step Trees
- arxiv url: http://arxiv.org/abs/2006.15779v1
- Date: Mon, 29 Jun 2020 02:17:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 14:13:01.187519
- Title: Efficient Nonmyopic Bayesian Optimization via One-Shot Multi-Step Trees
- Title（参考訳）: ワンショット多段木による非筋的ベイズ最適化の効率化
- Authors: Shali Jiang, Daniel R. Jiang, Maximilian Balandat, Brian Karrer, Jacob
R. Gardner, Roman Garnett
- Abstract要約: 一般的なマルチステップ・ルック・ベイズ最適化の最初の効率的な実装を提供する。
これらの問題をネストした方法で解決する代わりに、全木のすべての決定変数を同等に最適化します。
提案手法は,様々なベンチマークにおいて,既存の手法よりも優れた性能を示す。
- 参考スコア（独自算出の注目度）: 28.46586066038317
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian optimization is a sequential decision making framework for
optimizing expensive-to-evaluate black-box functions. Computing a full
lookahead policy amounts to solving a highly intractable stochastic dynamic
program. Myopic approaches, such as expected improvement, are often adopted in
practice, but they ignore the long-term impact of the immediate decision.
Existing nonmyopic approaches are mostly heuristic and/or computationally
expensive. In this paper, we provide the first efficient implementation of
general multi-step lookahead Bayesian optimization, formulated as a sequence of
nested optimization problems within a multi-step scenario tree. Instead of
solving these problems in a nested way, we equivalently optimize all decision
variables in the full tree jointly, in a ``one-shot'' fashion. Combining this
with an efficient method for implementing multi-step Gaussian process
``fantasization,'' we demonstrate that multi-step expected improvement is
computationally tractable and exhibits performance superior to existing methods
on a wide range of benchmarks.
- Abstract（参考訳）: ベイズ最適化は、高価なブラックボックス関数を最適化するためのシーケンシャルな意思決定フレームワークである。
完全なルックアヘッドポリシーの計算は、高度に難解な確率的動的プログラムの解法に等しい。
期待された改善のような近視的アプローチは、しばしば実際に採用されるが、即時決定の長期的な影響を無視する。
既存の非神秘的アプローチは、主にヒューリスティックで計算コストが高い。
本稿では,マルチステップシナリオツリー内のネスト最適化問題の列として定式化された,汎用多段階ベイズ最適化の最初の効率的な実装を提案する。
これらの問題をネストした方法で解決する代わりに、全木のすべての決定変数を‘ワンショット’形式で共同で最適化する。
これをマルチステップガウスプロセスである ‘fantasization'' の効率的な実装法と組み合わせることで,マルチステップ期待改善の計算性が向上し,既存の手法よりも幅広いベンチマークで性能が向上することを示す。
関連論文リスト
- Bayesian Optimization for Non-Convex Two-Stage Stochastic Optimization Problems [2.9016548477524156]
知識に基づく獲得関数を定式化し,第1段と第2段の変数を協調的に最適化する。
可変型間の寸法と長さの差が2段階アルゴリズムの非効率性をもたらすことを示す。
論文 参考訳（メタデータ） (2024-08-30T16:26:31Z) - Voronoi Candidates for Bayesian Optimization [2.7309692684728617]
多くの実践的なBO法、特に高次元では、取得関数の形式的で連続的な最適化を導出する。
本稿では,現在の設計点のヴォロノイ・テッセルレーションの境界上にある候補を用いて,それらのうち2つ以上に等しくなるようにすることを提案する。
テッセルレーションを明示的に生成することなく,ヴォロノイ境界を直接サンプリングすることで,効率的な実装の戦略について議論する。
論文 参考訳（メタデータ） (2024-02-07T14:47:13Z) - Analyzing and Enhancing the Backward-Pass Convergence of Unrolled
Optimization [50.38518771642365]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。
本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。
Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
論文 参考訳（メタデータ） (2023-12-28T23:15:18Z) - Random Postprocessing for Combinatorial Bayesian Optimization [0.552480439325792]
ベイズ最適化における後処理法の効果を数値的に検討する。
ポストプロセッシング法は,グローバルな最適解を見つけるための逐次ステップの数を著しく削減する。
論文 参考訳（メタデータ） (2023-09-06T08:59:34Z) - Accelerating Cutting-Plane Algorithms via Reinforcement Learning
Surrogates [49.84541884653309]
凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。
多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。
そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
論文 参考訳（メタデータ） (2023-07-17T20:11:56Z) - Optimistic Optimization of Gaussian Process Samples [30.226274682578172]
競合する、計算的により効率的でグローバルな最適化フレームワークは楽観的な最適化であり、これは探索空間の幾何学に関する事前知識を相似関数として利用している。
幾何的探索と確率的探索の間には新たな研究領域があり、ベイズ最適化の重要な機能を保ちながら、従来のベイズ最適化よりも大幅に高速に実行される方法がある。
論文 参考訳（メタデータ） (2022-09-02T09:06:24Z) - Divide and Learn: A Divide and Conquer Approach for Predict+Optimize [50.03608569227359]
予測+最適化問題は、予測係数を使用する最適化プロブレムと、確率係数の機械学習を組み合わせる。
本稿では, 予測係数を1次線形関数として, 最適化問題の損失を直接表現する方法を示す。
本稿では,この制約を伴わずに最適化問題に対処し,最適化損失を用いてその係数を予測する新しい分割アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-12-04T00:26:56Z) - Stochastic Optimization Forests [60.523606291705214]
標準的なランダムな森林アルゴリズムのように予測精度を向上させるために分割するのではなく、分割を選択した木を栽培し、下流の意思決定品質を直接最適化することで、森林決定政策の訓練方法を示す。
概略分割基準は、各候補分割に対して正確に最適化された森林アルゴリズムに近い性能を保ちながら、100倍のランニング時間を短縮できることを示す。
論文 参考訳（メタデータ） (2020-08-17T16:56:06Z) - Generalized and Scalable Optimal Sparse Decision Trees [56.35541305670828]
様々な目的に対して最適な決定木を生成する手法を提案する。
また,連続変数が存在する場合に最適な結果が得られるスケーラブルなアルゴリズムも導入する。
論文 参考訳（メタデータ） (2020-06-15T19:00:11Z) - Global Optimization of Gaussian processes [52.77024349608834]
少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。
このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。
提案手法の順序の順序による時間収束を,総じて低減する。
論文 参考訳（メタデータ） (2020-05-21T20:59:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。