論文の概要: Approximate Inference for Spectral Mixture Kernel
- arxiv url: http://arxiv.org/abs/2006.07036v1
- Date: Fri, 12 Jun 2020 09:39:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 02:40:38.506684
- Title: Approximate Inference for Spectral Mixture Kernel
- Title(参考訳): スペクトル混合カーネルの近似推論
- Authors: Yohan Jung, Kyungwoo Song, Jinkyoo Park
- Abstract要約: スペクトル混合核に対する近似ベイズ推定を提案する。
抽出されたエビデンス下界(ELBO)推定器にサンプリングベース変分推定を適用することにより,変分パラメータを最適化する。
提案した推論と2つの戦略が組み合わさってパラメータの収束を加速し、より良いパラメータをもたらす。
- 参考スコア(独自算出の注目度): 25.087829816206813
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A spectral mixture (SM) kernel is a flexible kernel used to model any
stationary covariance function. Although it is useful in modeling data, the
learning of the SM kernel is generally difficult because optimizing a large
number of parameters for the SM kernel typically induces an over-fitting,
particularly when a gradient-based optimization is used. Also, a longer
training time is required. To improve the training, we propose an approximate
Bayesian inference for the SM kernel. Specifically, we employ the variational
distribution of the spectral points to approximate SM kernel with a random
Fourier feature. We optimize the variational parameters by applying a
sampling-based variational inference to the derived evidence lower bound (ELBO)
estimator constructed from the approximate kernel. To improve the inference, we
further propose two additional strategies: (1) a sampling strategy of spectral
points to estimate the ELBO estimator reliably and thus its associated
gradient, and (2) an approximate natural gradient to accelerate the convergence
of the parameters. The proposed inference combined with two strategies
accelerates the convergence of the parameters and leads to better optimal
parameters.
- Abstract(参考訳): スペクトル混合 (SM) カーネルは任意の定常共分散関数をモデル化するために用いられるフレキシブルカーネルである。
データモデリングには有用であるが、SMカーネルに対する多数のパラメータの最適化は、特に勾配に基づく最適化を使用する場合、通常、過度な最適化を引き起こすため、一般にSMカーネルの学習は困難である。
また、より長い訓練時間が必要となる。
トレーニングを改善するために,SMカーネルに対する近似ベイズ推定を提案する。
具体的には、スペクトル点の変動分布を用いて、ランダムなフーリエ特徴を持つSMカーネルを近似する。
近似カーネルから構築した導出エビデンス下界(ELBO)推定器にサンプリングベース変分推定を適用することにより,変動パラメータを最適化する。
推測を改善するために,(1)ELBO推定器を確実に推定し,関連する勾配を推定するためのスペクトル点のサンプリング戦略,(2)パラメータの収束を加速する近似的な自然勾配の2つの戦略を提案する。
提案手法と2つの戦略を組み合わせることで,パラメータの収束が促進され,最適パラメータが向上する。
関連論文リスト
- A Unified Gaussian Process for Branching and Nested Hyperparameter
Optimization [19.351804144005744]
ディープラーニングでは、条件に依存したパラメータのチューニングが一般的に行われている。
新しいGPモデルでは、新しいカーネル関数を通じて入力変数間の依存構造が説明される。
ニューラルネットワークの一連の合成シミュレーションおよび実データ応用において、高い予測精度とより良い最適化効率が観察される。
論文 参考訳(メタデータ) (2024-01-19T21:11:32Z) - Information-Theoretic Trust Regions for Stochastic Gradient-Based
Optimization [17.79206971486723]
arTuROは適応モーメントベース最適化の高速収束とSGDの機能を組み合わせたものであることを示す。
我々は、勾配からヘッセンの対角要素を近似し、1次情報のみを用いて予測されたヘッセンのモデルを構築する。
arTuROは適応モーメントベース最適化の高速収束とSGDの機能を組み合わせたものであることを示す。
論文 参考訳(メタデータ) (2023-10-31T16:08:38Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳(メタデータ) (2022-09-27T07:58:25Z) - Gaussian Process Regression for Absorption Spectra Analysis of Molecular
Dimers [68.8204255655161]
本稿では、ガウス過程回帰(GPR)から数値計算のパラメータを選択する機械学習技術に基づくアプローチについて議論する。
このアプローチは最適パラメータ集合に素早く収束するだけでなく、完全なパラメータ空間に関する情報を提供する。
実際、GPRは量子化学法を用いてこれらのパラメータの直接計算と一致した信頼性の高い結果を与える。
論文 参考訳(メタデータ) (2021-12-14T17:46:45Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳(メタデータ) (2021-06-30T11:00:24Z) - Scalable Variational Gaussian Processes via Harmonic Kernel
Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。
様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。
提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文 参考訳(メタデータ) (2021-06-10T18:17:57Z) - Positive-Negative Momentum: Manipulating Stochastic Gradient Noise to
Improve Generalization [89.7882166459412]
勾配雑音(SGN)は、ディープラーニングの暗黙の正規化として機能する。
深層学習を改善するためにランダムノイズを注入してSGNを人工的にシミュレートしようとした作品もある。
低計算コストでSGNをシミュレーションし、学習率やバッチサイズを変更することなく、PNM(Positive-Negative Momentum)アプローチを提案する。
論文 参考訳(メタデータ) (2021-03-31T16:08:06Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳(メタデータ) (2020-12-21T17:29:58Z) - Marginalised Gaussian Processes with Nested Sampling [10.495114898741203]
ガウス過程(GP)モデルは、カーネル関数によって制御される帰納バイアスを持つ関数上の豊富な分布である。
本研究は,Nested Smpling (NS) を用いてカーネル関数のハイパーパラメータを疎外する学習手法を提案する。
論文 参考訳(メタデータ) (2020-10-30T16:04:35Z) - Dual Stochastic Natural Gradient Descent and convergence of interior
half-space gradient approximations [0.0]
多項ロジスティック回帰(MLR)は統計学や機械学習で広く使われている。
勾配降下(SGD)は、ビッグデータシナリオにおけるMLRモデルのパラメータを決定する最も一般的な手法である。
論文 参考訳(メタデータ) (2020-01-19T00:53:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。