論文の概要: Accelerating Look-ahead in Bayesian Optimization: Multilevel Monte Carlo
is All you Need
- arxiv url: http://arxiv.org/abs/2402.02111v1
- Date: Sat, 3 Feb 2024 10:24:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 22:03:17.522337
- Title: Accelerating Look-ahead in Bayesian Optimization: Multilevel Monte Carlo
is All you Need
- Title(参考訳): ベイズ最適化におけるルック・アヘッドの加速:マルチレベルモンテカルロ
- Authors: Shangda Yang, Vitaly Zankin, Maximilian Balandat, Stefan Scherer,
Kevin Carlberg, Neil Walton, and Kody J. H. Law
- Abstract要約: マルチレベルモンテカルロ(MLMC)を利用して、マルチステップルックアヘッド最適化法を改善する。
理論的研究は、1段階と2段階のルックアヘッド獲得関数の改善に焦点を当てている。
このアプローチはBOの文脈を超えて、様々な方法で一般化可能である。
- 参考スコア(独自算出の注目度): 5.283807323380133
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We leverage multilevel Monte Carlo (MLMC) to improve the performance of
multi-step look-ahead Bayesian optimization (BO) methods that involve nested
expectations and maximizations. The complexity rate of naive Monte Carlo
degrades for nested operations, whereas MLMC is capable of achieving the
canonical Monte Carlo convergence rate for this type of problem, independently
of dimension and without any smoothness assumptions. Our theoretical study
focuses on the approximation improvements for one- and two-step look-ahead
acquisition functions, but, as we discuss, the approach is generalizable in
various ways, including beyond the context of BO. Findings are verified
numerically and the benefits of MLMC for BO are illustrated on several
benchmark examples. Code is available here
https://github.com/Shangda-Yang/MLMCBO.
- Abstract(参考訳): 我々はマルチレベルモンテカルロ(MLMC)を利用して、ネストされた期待と最大化を含む多段階ベイズ最適化(BO)法の性能を向上させる。
ナイーブモンテカルロの複雑性はネスト演算で劣化するが、mlmcは次元とは無関係に、滑らかな仮定なしに、このタイプの問題に対して標準モンテカルロ収束率を達成することができる。
本研究は,一段階および二段階のルック・アヘッド獲得関数の近似改善に焦点をあてるが,議論では,boの文脈を超えて,様々な方法でそのアプローチが一般化されている。
数値的な検証を行い、いくつかのベンチマーク例でMLMC for BOの利点を示す。
コードはhttps://github.com/Shangda-Yang/MLMCBOで入手できる。
関連論文リスト
- Large Language Models to Enhance Bayesian Optimization [57.474613739645605]
本稿では,大規模言語モデル(LLM)の能力をベイズ最適化に組み込む新しいアプローチであるLLAMBOを提案する。
高いレベルでは、自然言語のBO問題を枠組み化し、LLMが歴史的評価に照らした有望な解を反復的に提案し、評価することを可能にする。
以上の結果から,LLAMBOはゼロショットウォームスタートに有効であり,サロゲートモデリングや候補サンプリングの促進,特に観察が不十分な場合の探索の初期段階において有効であることが示唆された。
論文 参考訳(メタデータ) (2024-02-06T11:44:06Z) - Poisson Process for Bayesian Optimization [126.51200593377739]
本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。
従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
論文 参考訳(メタデータ) (2024-02-05T02:54:50Z) - Combining Normalizing Flows and Quasi-Monte Carlo [0.0]
近年の機械学習の進歩はモンテカルロ法を改良するための新しい手法の開発に繋がった。
数値実験により,この組み合わせにより,従来のモンテカルロを用いて流れをサンプリングした場合よりも,分散度が著しく低い推定器が得られることを示した。
論文 参考訳(メタデータ) (2024-01-11T14:17:06Z) - Automatic Rao-Blackwellization for Sequential Monte Carlo with Belief
Propagation [4.956977275061968]
状態空間モデル(SSM)に関する具体的なベイズ予想は、一般には難解である。
本稿では,信念の伝播を用いた閉形式解を可能な限り計算する混合推論アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-12-15T15:05:25Z) - Provable and Practical: Efficient Exploration in Reinforcement Learning
via Langevin Monte Carlo [98.11820566044216]
我々は、強化学習のためのトンプソンサンプリングに基づくスケーラブルで効果的な探索戦略を提案する。
代わりに、Langevin Monte Carlo を用いて、Q 関数をその後部分布から直接サンプリングする。
提案手法は,Atari57スイートからのいくつかの挑戦的な探索課題において,最先端の深部RLアルゴリズムと比較して,より優れた,あるいは類似した結果が得られる。
論文 参考訳(メタデータ) (2023-05-29T17:11:28Z) - Fast post-process Bayesian inference with Sparse Variational Bayesian
Monte Carlo [10.957528713294874]
Sparse Variational Bayesian Monte Carlo, a method for fast "post-process" Bayesian inference。
SVBMCは既存の目標密度評価を再利用する。
SVBMC精製法を支持する理論的結果が得られた。
論文 参考訳(メタデータ) (2023-03-09T13:58:35Z) - Low-variance estimation in the Plackett-Luce model via quasi-Monte Carlo
sampling [58.14878401145309]
PLモデルにおいて,より標本効率の高い予測値を生成するための新しい手法を開発した。
Amazon MusicのリアルなレコメンデーションデータとYahooの学習からランクへの挑戦を理論的にも実証的にも使用しています。
論文 参考訳(メタデータ) (2022-05-12T11:15:47Z) - Annealed Flow Transport Monte Carlo [91.20263039913912]
Annealed Flow Transport (AFT) built on Annealed Importance Smpling (AIS) and Sequential Monte Carlo (SMC)
AFTは、連続したターゲットに向かって粒子をプッシュするために順次学習されるNFに依存します。
AFTの人口バージョンの連続時間スケーリング限界は、Feynman--Kac測度によって与えられることを示した。
論文 参考訳(メタデータ) (2021-02-15T12:05:56Z) - Connecting the Dots: Numerical Randomized Hamiltonian Monte Carlo with
State-Dependent Event Rates [0.0]
連続目標分布に対するマルコフ連鎖モンテカルロ法に代わる,頑健で,使いやすく,計算的に高速な手法を提案する。
提案アルゴリズムは、関連するベンチマークと比較して大きなスピードアップと安定性の向上をもたらす可能性がある。
高品質なODEコードへのアクセスが保証され、提案手法は実装も使用も容易であり、高度に困難で高次元のターゲット分布に対しても有効である。
論文 参考訳(メタデータ) (2020-05-04T06:23:13Z) - Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning [63.64636047748605]
一般的なマルチステップMAMLアルゴリズムに対して収束保証を提供するための新しい理論フレームワークを開発する。
特に,本研究の結果は,収束を保証するためには,内部段階のステップを逆比例して$N$の内段ステップを選択する必要があることを示唆している。
論文 参考訳(メタデータ) (2020-02-18T19:17:54Z) - Bayesian optimization for backpropagation in Monte-Carlo tree search [1.52292571922932]
バックプロパゲーション戦略を改善するための従来の試みを一般化した,Softmax MCTS と Monotone MCTS の2つの手法を提案する。
提案手法が従来の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-01-25T14:33:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。