論文の概要: Reducing the Variance of Gaussian Process Hyperparameter Optimization with Preconditioning

• arxiv url: http://arxiv.org/abs/2107.00243v1
• Date: Thu, 1 Jul 2021 06:43:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-02 13:29:31.017804
• Title: Reducing the Variance of Gaussian Process Hyperparameter Optimization with Preconditioning
• Title（参考訳）: プレコンディショニングによるガウス過程超パラメータ最適化のばらつきの低減
• Authors: Jonathan Wenger and Geoff Pleiss and Philipp Hennig and John P. Cunningham and Jacob R. Gardner
• Abstract要約: プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。 プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。 基本的に無視可能なコストで、同時に分散を低減することができる。
• 参考スコア（独自算出の注目度）: 54.01682318834995
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gaussian processes remain popular as a flexible and expressive model class, but the computational cost of kernel hyperparameter optimization stands as a major limiting factor to their scaling and broader adoption. Recent work has made great strides combining stochastic estimation with iterative numerical techniques, essentially boiling down GP inference to the cost of (many) matrix-vector multiplies. Preconditioning -- a highly effective step for any iterative method involving matrix-vector multiplication -- can be used to accelerate convergence and thus reduce bias in hyperparameter optimization. Here, we prove that preconditioning has an additional benefit that has been previously unexplored. It not only reduces the bias of the $\log$-marginal likelihood estimator and its derivatives, but it also simultaneously can reduce variance at essentially negligible cost. We leverage this result to derive sample-efficient algorithms for GP hyperparameter optimization requiring as few as $\mathcal{O}(\log(\varepsilon^{-1}))$ instead of $\mathcal{O}(\varepsilon^{-2})$ samples to achieve error $\varepsilon$. Our theoretical results enable provably efficient and scalable optimization of kernel hyperparameters, which we validate empirically on a set of large-scale benchmark problems. There, variance reduction via preconditioning results in an order of magnitude speedup in hyperparameter optimization of exact GPs.
• Abstract（参考訳）: ガウス過程はフレキシブルで表現力のあるモデルクラスとして人気があるが、カーネルハイパーパラメータ最適化の計算コストは、そのスケーリングと広く採用されるための大きな制限要因である。 最近の研究は、確率的推定と反復的な数値的手法を組み合わせて、(多くの)行列ベクトル乗算のコストにGP推論を沸騰させてきた。 行列ベクトル乗算を含む反復的メソッドに対する非常に効果的な事前条件付けは、収束を加速し、ハイパーパラメータ最適化におけるバイアスを低減するために使用できる。 ここでは、プレコンディショニングが、これまで探索されていなかった追加の利点があることを証明する。 これは$\log$-marginal chance estimatorとその微分のバイアスを軽減するだけでなく、本質的に無視可能なコストで分散を同時に減少させる。 この結果を利用して、gpハイパーパラメータ最適化のためのサンプル効率のよいアルゴリズムを導出し、エラー$\varepsilon$を達成するために$\mathcal{o}(\varepsilon^{-1})$の代わりに$\mathcal{o}(\varepsilon^{-2})$を用いる。 提案する理論により,カーネルハイパーパラメータの効率よくスケーラブルな最適化が可能となり,大規模なベンチマーク問題に対して実証的に検証できる。 そこで、プリコンディショニングによる分散低減は、正確なgpsのハイパーパラメータ最適化において桁違いのスピードアップをもたらす。

関連論文リスト

• A Multi-objective Newton Optimization Algorithm for Hyper-Parameter Search [0.0]
  このアルゴリズムを用いて畳み込みニューラルネットワークの多クラス物体検出問題に対する最適確率しきい値(8パラメータのベクトル)を探索する。 このアルゴリズムは、デフォルト値0.5に比べて総合的に高い真正(TP)と低い偽正(FP)率を生成する。
  論文  参考訳（メタデータ） (2024-01-07T21:12:34Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Ada-BKB: Scalable Gaussian Process Optimization on Continuous Domain by Adaptive Discretization [21.859940486704264]
  GPUCBのようなアルゴリズムは計算の複雑さを禁止している。 関数のノアアルゴリズムは、連続最適化の真の問題を裏付ける。
  論文  参考訳（メタデータ） (2021-06-16T07:55:45Z)
• Implicit differentiation for fast hyperparameter selection in non-smooth convex learning [87.60600646105696]
  内部最適化問題が凸であるが非滑らかである場合の一階法を研究する。 本研究では, ヤコビアンの近位勾配降下と近位座標降下収率列の前方モード微分が, 正確なヤコビアンに向かって収束していることを示す。
  論文  参考訳（メタデータ） (2021-05-04T17:31:28Z)
• Hyper-parameter estimation method with particle swarm optimization [0.8883733362171032]
  PSO法はハイパーパラメータ推定の問題では直接利用できない。 提案手法は,Swarm法を用いて取得関数の性能を最適化する。 いくつかの問題の結果が改善された。
  論文  参考訳（メタデータ） (2020-11-24T07:51:51Z)
• Gradient Free Minimax Optimization: Variance Reduction and Faster Convergence [120.9336529957224]
  本稿では、勾配のないミニマックス最適化問題の大きさを非強設定で表現する。 本稿では,新しいゼロ階分散還元降下アルゴリズムが,クエリの複雑さを最もよく表すことを示す。
  論文  参考訳（メタデータ） (2020-06-16T17:55:46Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)
• Scalable Hyperparameter Optimization with Lazy Gaussian Processes [1.3999481573773074]
  本稿では,ガウス過程の高精度な新しい近似法を提案する。 最初の実験では、単一ノードにおける162の係数の高速化と、並列環境における5の係数のさらなる高速化が示されている。
  論文  参考訳（メタデータ） (2020-01-16T10:15:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。