論文の概要: Near-linear Time Gaussian Process Optimization with Adaptive Batching and Resparsification

• arxiv url: http://arxiv.org/abs/2002.09954v2
• Date: Wed, 26 Feb 2020 09:45:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 09:19:10.957655
• Title: Near-linear Time Gaussian Process Optimization with Adaptive Batching and Resparsification
• Title（参考訳）: 適応バッチとResparsificationを用いたニア線形時間ガウスプロセス最適化
• Authors: Daniele Calandriello, Luigi Carratino, Alessandro Lazaric, Michal Valko, Lorenzo Rosasco
• Abstract要約: BBKBは非回帰GP最適化アルゴリズムで、ほぼ直線的に実行し、バッチで候補を選択する。 また,同じバウンダリを用いて,スパルスGP近似の更新コストを適応的に遅延させることで,ステップ毎の償却コストをほぼ一定に抑えることができることを示した。
• 参考スコア（独自算出の注目度）: 119.41129787351092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gaussian processes (GP) are one of the most successful frameworks to model uncertainty. However, GP optimization (e.g., GP-UCB) suffers from major scalability issues. Experimental time grows linearly with the number of evaluations, unless candidates are selected in batches (e.g., using GP-BUCB) and evaluated in parallel. Furthermore, computational cost is often prohibitive since algorithms such as GP-BUCB require a time at least quadratic in the number of dimensions and iterations to select each batch. In this paper, we introduce BBKB (Batch Budgeted Kernel Bandits), the first no-regret GP optimization algorithm that provably runs in near-linear time and selects candidates in batches. This is obtained with a new guarantee for the tracking of the posterior variances that allows BBKB to choose increasingly larger batches, improving over GP-BUCB. Moreover, we show that the same bound can be used to adaptively delay costly updates to the sparse GP approximation used by BBKB, achieving a near-constant per-step amortized cost. These findings are then confirmed in several experiments, where BBKB is much faster than state-of-the-art methods.
• Abstract（参考訳）: ガウス過程(GP)は不確実性をモデル化する最も成功したフレームワークの一つである。 しかし、GP最適化(GP-UCBなど)はスケーラビリティの問題に悩まされている。 試験時間は、候補がバッチ(GP-BUCBなど)で選択され、並列に評価されない限り、評価の数とともに線形に増加する。 さらに、gp-bucbのようなアルゴリズムは、各バッチを選択するのに少なくとも次元数と反復数で2倍の時間を必要とするため、計算コストはしばしば禁止される。 本稿では,非レグレットgp最適化アルゴリズムであるbbkb(batch budgeted kernel bandits)について紹介する。 これは、BBKBがより大きなバッチを選択し、GP-BUCBよりも改善する、後方分散の追跡を新たに保証することで得られる。 さらに,BBKB が使用するスパースGP近似の更新コストを適応的に遅延させることにより,ステップ毎の補正コストがほぼ一定であることを示す。 これらの結果はいくつかの実験で確認され、BBKBは最先端の手法よりもはるかに高速である。

関連論文リスト

• Sample-Then-Optimize Batch Neural Thompson Sampling [50.800944138278474]
  我々はトンプソンサンプリング(TS)ポリシーに基づくブラックボックス最適化のための2つのアルゴリズムを提案する。 入力クエリを選択するには、NNをトレーニングし、トレーニングされたNNを最大化してクエリを選択するだけです。 我々のアルゴリズムは、大きなパラメータ行列を逆転する必要性を助長するが、TSポリシーの妥当性は保たれている。
  論文  参考訳（メタデータ） (2022-10-13T09:01:58Z)
• Fast Gaussian Process Posterior Mean Prediction via Local Cross Validation and Precomputation [0.0]
  我々はFastMuyGPと呼ばれる高速後部平均予測アルゴリズムを提案する。 MuyGPs のハイパーパラメータ推定アルゴリズムに基づいており、残余のクロスバリデーション、近隣のスパーシフィケーション、プリ計算の組み合わせを利用している。 ディープニューラルネットワークと最先端のGPアルゴリズムの両方に対して、精度と競合性、あるいは優れたランタイムを実現する。
  論文  参考訳（メタデータ） (2022-05-22T17:38:36Z)
• Scaling Gaussian Process Optimization by Evaluating a Few Unique Candidates Multiple Times [119.41129787351092]
  GPに基づく逐次ブラックボックス最適化は,複数の評価ステップの候補解に固執することで効率よく行うことができることを示す。 GP-UCB と GP-EI の2つのよく確立されたGP-Opt アルゴリズムを改良し,バッチ化された GP-Opt の規則を適応させる。
  論文  参考訳（メタデータ） (2022-01-30T20:42:14Z)
• Misspecified Gaussian Process Bandit Optimization [59.30399661155574]
  カーネル化されたバンディットアルゴリズムは、この問題に対して強い経験的および理論的性能を示した。 本稿では、未知関数を$epsilon$-一様近似で近似できるエンフェミス特定カーネル化帯域設定を、ある再生カーネルヒルベルト空間(RKHS)において有界ノルムを持つ関数で導入する。 提案アルゴリズムは,不特定性に関する事前知識を伴わず,$epsilon$への最適依存を実現する。
  論文  参考訳（メタデータ） (2021-11-09T09:00:02Z)
• Fast and Scalable Spike and Slab Variable Selection in High-Dimensional Gaussian Processes [12.667478571732449]
  任意の異なるカーネルで抽出可能なスパイクとスラブGPの高速かつスケーラブルな変分推論アルゴリズムを開発した。 実験では、同様のランタイムを維持しながら、バニラおよびスパース変分GPを一貫して上回ります。
  論文  参考訳（メタデータ） (2021-11-08T15:13:24Z)
• MuyGPs: Scalable Gaussian Process Hyperparameter Estimation Using Local Cross-Validation [1.2233362977312945]
  本稿では,新しいGPハイパーパラメータ推定法であるMuyGPを提案する。 MuyGPsは、データの最も近い隣人構造を利用する事前のメソッドの上に構築される。 提案手法は, 解法と予測値の平均二乗誤差の両方において, 既知の競合よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-29T18:10:21Z)
• No-Regret Algorithms for Time-Varying Bayesian Optimization [0.0]
  我々は,時間変動環境を捉えるために,一般変動予算モデルを採用する。 R-GP-UCBとSW-GP-UCBの2つのGP-UCB型アルゴリズムを紹介します。 この結果は,線形カーネルを用いた場合の先行線形バンディット結果を回復するだけでなく,時間変動ガウス過程バンディットの先行後悔解析を補完するものである。
  論文  参考訳（メタデータ） (2021-02-11T22:35:32Z)
• Likelihood-Free Inference with Deep Gaussian Processes [70.74203794847344]
  サーロゲートモデルは、シミュレータ評価の回数を減らすために、可能性のない推論に成功している。 本稿では,より不規則な対象分布を扱えるディープガウス過程(DGP)サロゲートモデルを提案する。 本実験は,DGPがマルチモーダル分布を持つ目的関数上でGPよりも優れ,単調な場合と同等の性能を維持できることを示す。
  論文  参考訳（メタデータ） (2020-06-18T14:24:05Z)
• Uncertainty quantification using martingales for misspecified Gaussian processes [52.22233158357913]
  本稿では,ガウス過程(GP)の不確定な定量化を,不特定先行条件下で解決する。 マルティンゲール法を用いて未知関数に対する信頼シーケンス(CS)を構築する。 我々のCSは統計的に有効であり、実証的に標準GP法より優れています。
  論文  参考訳（メタデータ） (2020-06-12T17:58:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。