論文の概要: Scalable Hyperparameter Optimization with Lazy Gaussian Processes

• arxiv url: http://arxiv.org/abs/2001.05726v1
• Date: Thu, 16 Jan 2020 10:15:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-10 23:46:06.352896
• Title: Scalable Hyperparameter Optimization with Lazy Gaussian Processes
• Title（参考訳）: 遅延ガウス過程を用いたスケーラブルハイパーパラメータ最適化
• Authors: Raju Ram, Sabine M\"uller, Franz-Josef Pfreundt, Nicolas R. Gauger, Janis Keuper
• Abstract要約: 本稿では,ガウス過程の高精度な新しい近似法を提案する。 最初の実験では、単一ノードにおける162の係数の高速化と、並列環境における5の係数のさらなる高速化が示されている。
• 参考スコア（独自算出の注目度）: 1.3999481573773074
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most machine learning methods require careful selection of hyper-parameters in order to train a high performing model with good generalization abilities. Hence, several automatic selection algorithms have been introduced to overcome tedious manual (try and error) tuning of these parameters. Due to its very high sample efficiency, Bayesian Optimization over a Gaussian Processes modeling of the parameter space has become the method of choice. Unfortunately, this approach suffers from a cubic compute complexity due to underlying Cholesky factorization, which makes it very hard to be scaled beyond a small number of sampling steps. In this paper, we present a novel, highly accurate approximation of the underlying Gaussian Process. Reducing its computational complexity from cubic to quadratic allows an efficient strong scaling of Bayesian Optimization while outperforming the previous approach regarding optimization accuracy. The first experiments show speedups of a factor of 162 in single node and further speed up by a factor of 5 in a parallel environment.
• Abstract（参考訳）: ほとんどの機械学習手法は、優れた一般化能力を持つ高性能モデルを訓練するために、ハイパーパラメータを慎重に選択する必要がある。 したがって、これらのパラメータの面倒な手動(試行錯誤)チューニングを克服するために、いくつかの自動選択アルゴリズムが導入された。 非常に高いサンプル効率のため、ガウス過程のパラメータ空間のモデリングに対するベイズ最適化が選択の方法となっている。 残念なことに、このアプローチは、Colesky因子化の基礎となるため、立方体計算の複雑さに悩まされており、少数のサンプリングステップを超えてスケールすることが非常に困難である。 本稿では,基礎となるガウス過程の新しい高精度近似法を提案する。 立方体から二次体への計算複雑性の低減は、ベイズ最適化の効率的なスケーリングを可能にし、最適化精度に関する以前のアプローチよりも優れている。 最初の実験では、単一ノードにおける162因子の高速化と、並列環境では5因子の高速化が示されている。

関連論文リスト

• Constructing Gaussian Processes via Samplets [0.0]
  最適収束率を持つモデルを特定するために,最近の収束結果について検討する。 本稿では,ガウス過程を効率的に構築・訓練するためのサンプルベースアプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-11T18:01:03Z)
• Enhancing Gaussian Process Surrogates for Optimization and Posterior Approximation via Random Exploration [2.984929040246293]
  ガウス過程シュロゲートモデルの精度を高めるために、ランダムな探索ステップに依存する新しいノイズフリーベイズ最適化戦略。 新しいアルゴリズムは、古典的なGP-UCBの実装の容易さを維持しているが、さらなる探索がそれらの収束を促進する。
  論文  参考訳（メタデータ） (2024-01-30T14:16:06Z)
• Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
  2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。 本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T15:46:39Z)
• Reducing the Variance of Gaussian Process Hyperparameter Optimization with Preconditioning [54.01682318834995]
  プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。 プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。 基本的に無視可能なコストで、同時に分散を低減することができる。
  論文  参考訳（メタデータ） (2021-07-01T06:43:11Z)
• Implicit differentiation for fast hyperparameter selection in non-smooth convex learning [87.60600646105696]
  内部最適化問題が凸であるが非滑らかである場合の一階法を研究する。 本研究では, ヤコビアンの近位勾配降下と近位座標降下収率列の前方モード微分が, 正確なヤコビアンに向かって収束していることを示す。
  論文  参考訳（メタデータ） (2021-05-04T17:31:28Z)
• Hyper-optimization with Gaussian Process and Differential Evolution Algorithm [0.0]
  本稿では,利用可能な科学図書館のガウス過程最適化コンポーネントの具体的修正について述べる。 提示された修正はBlackBox 2020チャレンジに提出され、従来の最適化ライブラリを上回った。
  論文  参考訳（メタデータ） (2021-01-26T08:33:00Z)
• Efficient hyperparameter optimization by way of PAC-Bayes bound minimization [4.191847852775072]
  本稿では,期待外誤差に縛られた確率的近似ベイズ(PAC-Bayes)と等価な別の目的について述べる。 そして、この目的を最小化するために、効率的な勾配に基づくアルゴリズムを考案する。
  論文  参考訳（メタデータ） (2020-08-14T15:54:51Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)
• Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
  我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。 我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。 また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
  論文  参考訳（メタデータ） (2020-02-16T09:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。