論文の概要: Scaling Gaussian Process Optimization by Evaluating a Few Unique Candidates Multiple Times

• arxiv url: http://arxiv.org/abs/2201.12909v1
• Date: Sun, 30 Jan 2022 20:42:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-01 15:10:08.118960
• Title: Scaling Gaussian Process Optimization by Evaluating a Few Unique Candidates Multiple Times
• Title（参考訳）: 特異候補数回の評価によるガウス過程の最適化
• Authors: Daniele Calandriello, Luigi Carratino, Alessandro Lazaric, Michal Valko, Lorenzo Rosasco
• Abstract要約: GPに基づく逐次ブラックボックス最適化は,複数の評価ステップの候補解に固執することで効率よく行うことができることを示す。 GP-UCB と GP-EI の2つのよく確立されたGP-Opt アルゴリズムを改良し,バッチ化された GP-Opt の規則を適応させる。
• 参考スコア（独自算出の注目度）: 119.41129787351092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Computing a Gaussian process (GP) posterior has a computational cost cubical in the number of historical points. A reformulation of the same GP posterior highlights that this complexity mainly depends on how many \emph{unique} historical points are considered. This can have important implication in active learning settings, where the set of historical points is constructed sequentially by the learner. We show that sequential black-box optimization based on GPs (GP-Opt) can be made efficient by sticking to a candidate solution for multiple evaluation steps and switch only when necessary. Limiting the number of switches also limits the number of unique points in the history of the GP. Thus, the efficient GP reformulation can be used to exactly and cheaply compute the posteriors required to run the GP-Opt algorithms. This approach is especially useful in real-world applications of GP-Opt with high switch costs (e.g. switching chemicals in wet labs, data/model loading in hyperparameter optimization). As examples of this meta-approach, we modify two well-established GP-Opt algorithms, GP-UCB and GP-EI, to switch candidates as infrequently as possible adapting rules from batched GP-Opt. These versions preserve all the theoretical no-regret guarantees while improving practical aspects of the algorithms such as runtime, memory complexity, and the ability of batching candidates and evaluating them in parallel.
• Abstract（参考訳）: ガウス過程 (GP) の後方の計算は、歴史的点の数で計算コストが3倍になる。 同じgp後段の改革は、この複雑さが主に、いかに多くの\emph{unique} 歴史点が考慮されているかに依存することを強調する。 これは、履歴点の集合を学習者が逐次構築するアクティブな学習環境において重要な意味を持つ。 gps(gp-opt)に基づく逐次ブラックボックス最適化は,複数の評価ステップの候補ソリューションに固執して,必要に応じてのみ切り替えることによって,効率的であることを示す。 スイッチ数を制限することで、gpの歴史におけるユニークなポイントの数も制限される。 これにより、GP-Optアルゴリズムの実行に必要な後部を正確にかつ安価に計算することができる。 このアプローチは特に、スイッチコストの高いGP-Optの実際の応用(例えば、ウェットラボでの化学物質の交換、ハイパーパラメータ最適化におけるデータ/モデルローディング)に有用である。 このメタアプローチの例として,GP-UCB と GP-EI の2つのよく確立されたGP-Opt アルゴリズムを改良し,GP-Opt からの適応規則をできるだけ頻繁に変更する。 これらのバージョンは、実行時、メモリの複雑さ、候補をバッチ化し、並列的に評価する能力といったアルゴリズムの実際的な側面を改善しながら、理論上のno-regret保証をすべて保持している。

関連論文リスト

• Domain Invariant Learning for Gaussian Processes and Bayesian Exploration [39.83530605880014]
  そこで本研究では,確率を最小限に最適化したガウス過程(DIL-GP)の領域不変学習アルゴリズムを提案する。 数値実験により、複数の合成および実世界のデータセットの予測におけるDIL-GPの優位性を示す。
  論文  参考訳（メタデータ） (2023-12-18T16:13:34Z)
• Revisiting Active Sets for Gaussian Process Decoders [0.0]
  我々は最近発見されたクロスバリデーションのリンクに基づいて,ログマージ可能性の新たな推定法を開発した。 結果の能動集合 (SAS) 近似がGPデコーダトレーニングの堅牢性を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-09-10T10:49:31Z)
• Sparse Kernel Gaussian Processes through Iterative Charted Refinement (ICR) [0.0]
  本稿では,ガウス過程をモデル化するためのICR(Iterative Charted Refinement)という新しい生成手法を提案する。 ICRは、様々な解像度でモデル化された場所のビューとユーザが提供する座標チャートを組み合わせることで、長距離および短距離の相関を表現している。 ICRは、CPUとGPUの1桁の計算速度で既存の手法より優れています。
  論文  参考訳（メタデータ） (2022-06-21T18:00:01Z)
• Shallow and Deep Nonparametric Convolutions for Gaussian Processes [0.0]
  GPの非パラメトリックプロセス畳み込み定式化を導入し,機能サンプリング手法を用いて弱点を緩和する。 古典的ディープGPモデルの代替となるこれらの非パラメトリック畳み込みの合成を提案する。
  論文  参考訳（メタデータ） (2022-06-17T19:03:04Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• Fast Gaussian Process Posterior Mean Prediction via Local Cross Validation and Precomputation [0.0]
  我々はFastMuyGPと呼ばれる高速後部平均予測アルゴリズムを提案する。 MuyGPs のハイパーパラメータ推定アルゴリズムに基づいており、残余のクロスバリデーション、近隣のスパーシフィケーション、プリ計算の組み合わせを利用している。 ディープニューラルネットワークと最先端のGPアルゴリズムの両方に対して、精度と競合性、あるいは優れたランタイムを実現する。
  論文  参考訳（メタデータ） (2022-05-22T17:38:36Z)
• Robust and Adaptive Temporal-Difference Learning Using An Ensemble of Gaussian Processes [70.80716221080118]
  本稿では、時間差学習(TD)による政策評価の世代的視点について考察する。 OS-GPTDアプローチは、状態-逆ペアのシーケンスを観測することにより、与えられたポリシーの値関数を推定するために開発された。 1つの固定カーネルに関連する限られた表現性を緩和するために、GP前の重み付けアンサンブル(E)を用いて代替のスキームを生成する。
  論文  参考訳（メタデータ） (2021-12-01T23:15:09Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)
• Incremental Ensemble Gaussian Processes [53.3291389385672]
  本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。 各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。 新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
  論文  参考訳（メタデータ） (2021-10-13T15:11:25Z)
• Near-linear Time Gaussian Process Optimization with Adaptive Batching and Resparsification [119.41129787351092]
  BBKBは非回帰GP最適化アルゴリズムで、ほぼ直線的に実行し、バッチで候補を選択する。 また,同じバウンダリを用いて,スパルスGP近似の更新コストを適応的に遅延させることで,ステップ毎の償却コストをほぼ一定に抑えることができることを示した。
  論文  参考訳（メタデータ） (2020-02-23T17:43:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。