論文の概要: Scalable Hyperparameter Optimization with Lazy Gaussian Processes
- arxiv url: http://arxiv.org/abs/2001.05726v1
- Date: Thu, 16 Jan 2020 10:15:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-10 23:46:06.352896
- Title: Scalable Hyperparameter Optimization with Lazy Gaussian Processes
- Title(参考訳): 遅延ガウス過程を用いたスケーラブルハイパーパラメータ最適化
- Authors: Raju Ram, Sabine M\"uller, Franz-Josef Pfreundt, Nicolas R. Gauger,
Janis Keuper
- Abstract要約: 本稿では,ガウス過程の高精度な新しい近似法を提案する。
最初の実験では、単一ノードにおける162の係数の高速化と、並列環境における5の係数のさらなる高速化が示されている。
- 参考スコア(独自算出の注目度): 1.3999481573773074
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most machine learning methods require careful selection of hyper-parameters
in order to train a high performing model with good generalization abilities.
Hence, several automatic selection algorithms have been introduced to overcome
tedious manual (try and error) tuning of these parameters. Due to its very high
sample efficiency, Bayesian Optimization over a Gaussian Processes modeling of
the parameter space has become the method of choice. Unfortunately, this
approach suffers from a cubic compute complexity due to underlying Cholesky
factorization, which makes it very hard to be scaled beyond a small number of
sampling steps. In this paper, we present a novel, highly accurate
approximation of the underlying Gaussian Process. Reducing its computational
complexity from cubic to quadratic allows an efficient strong scaling of
Bayesian Optimization while outperforming the previous approach regarding
optimization accuracy. The first experiments show speedups of a factor of 162
in single node and further speed up by a factor of 5 in a parallel environment.
- Abstract(参考訳): ほとんどの機械学習手法は、優れた一般化能力を持つ高性能モデルを訓練するために、ハイパーパラメータを慎重に選択する必要がある。
したがって、これらのパラメータの面倒な手動(試行錯誤)チューニングを克服するために、いくつかの自動選択アルゴリズムが導入された。
非常に高いサンプル効率のため、ガウス過程のパラメータ空間のモデリングに対するベイズ最適化が選択の方法となっている。
残念なことに、このアプローチは、Colesky因子化の基礎となるため、立方体計算の複雑さに悩まされており、少数のサンプリングステップを超えてスケールすることが非常に困難である。
本稿では,基礎となるガウス過程の新しい高精度近似法を提案する。
立方体から二次体への計算複雑性の低減は、ベイズ最適化の効率的なスケーリングを可能にし、最適化精度に関する以前のアプローチよりも優れている。
最初の実験では、単一ノードにおける162因子の高速化と、並列環境では5因子の高速化が示されている。
関連論文リスト
- Fast Computation of Optimal Transport via Entropy-Regularized
Extragradient Methods [98.85583323658366]
2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。
本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
論文 参考訳(メタデータ) (2023-01-30T15:46:39Z) - Reducing the Variance of Gaussian Process Hyperparameter Optimization
with Preconditioning [54.01682318834995]
プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。
プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。
基本的に無視可能なコストで、同時に分散を低減することができる。
論文 参考訳(メタデータ) (2021-07-01T06:43:11Z) - Implicit differentiation for fast hyperparameter selection in non-smooth
convex learning [87.60600646105696]
内部最適化問題が凸であるが非滑らかである場合の一階法を研究する。
本研究では, ヤコビアンの近位勾配降下と近位座標降下収率列の前方モード微分が, 正確なヤコビアンに向かって収束していることを示す。
論文 参考訳(メタデータ) (2021-05-04T17:31:28Z) - Slowly Varying Regression under Sparsity [5.22980614912553]
本稿では, 緩やかな過度回帰の枠組みを提示し, 回帰モデルが緩やかかつスパースな変動を示すようにした。
本稿では,バイナリ凸アルゴリズムとして再構成する手法を提案する。
結果として得られたモデルは、様々なデータセット間で競合する定式化よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-02-22T04:51:44Z) - Hyper-optimization with Gaussian Process and Differential Evolution
Algorithm [0.0]
本稿では,利用可能な科学図書館のガウス過程最適化コンポーネントの具体的修正について述べる。
提示された修正はBlackBox 2020チャレンジに提出され、従来の最適化ライブラリを上回った。
論文 参考訳(メタデータ) (2021-01-26T08:33:00Z) - Efficient hyperparameter optimization by way of PAC-Bayes bound
minimization [4.191847852775072]
本稿では,期待外誤差に縛られた確率的近似ベイズ(PAC-Bayes)と等価な別の目的について述べる。
そして、この目的を最小化するために、効率的な勾配に基づくアルゴリズムを考案する。
論文 参考訳(メタデータ) (2020-08-14T15:54:51Z) - Balancing Rates and Variance via Adaptive Batch-Size for Stochastic
Optimization Problems [120.21685755278509]
本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。
ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
論文 参考訳(メタデータ) (2020-07-02T16:02:02Z) - Global Optimization of Gaussian processes [52.77024349608834]
少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。
このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。
提案手法の順序の順序による時間収束を,総じて低減する。
論文 参考訳(メタデータ) (2020-05-21T20:59:11Z) - Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。
我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。
また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
論文 参考訳(メタデータ) (2020-02-16T09:01:18Z) - Accelerating Quantum Approximate Optimization Algorithm using Machine
Learning [6.735657356113614]
本稿では,量子近似最適化アルゴリズム(QAOA)の実装を高速化する機械学習手法を提案する。
QAOAは、いわゆる量子超越性を証明する量子古典ハイブリッドアルゴリズムである。
提案手法は,264種類のグラフを用いて行った解析から,最適化の繰り返し回数を最大65.7%削減できることを示す。
論文 参考訳(メタデータ) (2020-02-04T02:21:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。