論文の概要: Dual Parameterization of Sparse Variational Gaussian Processes
- arxiv url: http://arxiv.org/abs/2111.03412v1
- Date: Fri, 5 Nov 2021 11:31:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-08 14:44:43.084817
- Title: Dual Parameterization of Sparse Variational Gaussian Processes
- Title(参考訳): ばらばらな変分ガウス過程の双対パラメータ化
- Authors: Vincent Adam, Paul E. Chang, Mohammad Emtiyaz Khan, Arno Solin
- Abstract要約: スパース変分ガウス過程(SVGP)法は非共役ガウス過程推論の一般的な選択である。
本稿では,双対パラメータ化による計算効率の向上について述べる。
このアプローチは、現在のSVGPメソッドと同じメモリコストを持つが、より速く、より正確である。
- 参考スコア(独自算出の注目度): 29.977303466172906
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sparse variational Gaussian process (SVGP) methods are a common choice for
non-conjugate Gaussian process inference because of their computational
benefits. In this paper, we improve their computational efficiency by using a
dual parameterization where each data example is assigned dual parameters,
similarly to site parameters used in expectation propagation. Our dual
parameterization speeds-up inference using natural gradient descent, and
provides a tighter evidence lower bound for hyperparameter learning. The
approach has the same memory cost as the current SVGP methods, but it is faster
and more accurate.
- Abstract(参考訳): スパース変分ガウス過程(SVGP)法は計算上の利点から非共役ガウス過程推論において一般的な選択である。
本稿では,各データ例に2つのパラメータを割り当てた二重パラメータ化を用いて,予測伝搬に使用するサイトパラメータと同様の計算効率を向上させる。
我々の双対パラメタライゼーションは、自然勾配降下を用いた推定を高速化し、ハイパーパラメータ学習においてより厳密な証拠を提供する。
このアプローチは、現在のSVGPメソッドと同じメモリコストを持つが、より速く、より正確である。
関連論文リスト
- A Unified Gaussian Process for Branching and Nested Hyperparameter
Optimization [19.351804144005744]
ディープラーニングでは、条件に依存したパラメータのチューニングが一般的に行われている。
新しいGPモデルでは、新しいカーネル関数を通じて入力変数間の依存構造が説明される。
ニューラルネットワークの一連の合成シミュレーションおよび実データ応用において、高い予測精度とより良い最適化効率が観察される。
論文 参考訳(メタデータ) (2024-01-19T21:11:32Z) - Optimization using Parallel Gradient Evaluations on Multiple Parameters [51.64614793990665]
本稿では,複数のパラメータからの勾配を勾配降下の各ステップで利用することができる凸最適化の一階法を提案する。
本手法では,複数のパラメータからの勾配を用いて,これらのパラメータを最適方向に更新する。
論文 参考訳(メタデータ) (2023-02-06T23:39:13Z) - Online Hyperparameter Meta-Learning with Hypergradient Distillation [59.973770725729636]
勾配に基づくメタラーニング法は、内部最適化に関与しないパラメータのセットを仮定する。
知識蒸留による2次項の近似により,これらの限界を克服できる新しいHO法を提案する。
論文 参考訳(メタデータ) (2021-10-06T05:14:53Z) - Gaussian Process Uniform Error Bounds with Unknown Hyperparameters for
Safety-Critical Applications [71.23286211775084]
未知のハイパーパラメータを持つ設定において、ロバストなガウス過程の均一なエラー境界を導入する。
提案手法はハイパーパラメータの空間における信頼領域を計算し,モデル誤差に対する確率的上限を求める。
実験により、バニラ法やベイズ法よりもバニラ法の方がはるかに優れていることが示された。
論文 参考訳(メタデータ) (2021-09-06T17:10:01Z) - Reducing the Variance of Gaussian Process Hyperparameter Optimization
with Preconditioning [54.01682318834995]
プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。
プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。
基本的に無視可能なコストで、同時に分散を低減することができる。
論文 参考訳(メタデータ) (2021-07-01T06:43:11Z) - Learning Nonparametric Volterra Kernels with Gaussian Processes [0.0]
本稿では、ガウス過程(GP)を用いて表現されたカーネルを持つボルテラ級数を用いて、非線形作用素の非パラメトリックベイズ学習法を提案する。
NVKMは、演算子への入力関数が観測されず、GP先行を持つとき、単出力と多重出力の両方の回帰のための強力な方法を構成し、非線形および非パラメトリック潜在力モデルと見なすことができる。
論文 参考訳(メタデータ) (2021-06-10T08:21:00Z) - Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。
RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。
この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
論文 参考訳(メタデータ) (2021-02-15T19:36:18Z) - Efficient Learning of Generative Models via Finite-Difference Score
Matching [111.55998083406134]
有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。
我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
論文 参考訳(メタデータ) (2020-07-07T10:05:01Z) - Approximate Inference for Spectral Mixture Kernel [25.087829816206813]
スペクトル混合核に対する近似ベイズ推定を提案する。
抽出されたエビデンス下界(ELBO)推定器にサンプリングベース変分推定を適用することにより,変分パラメータを最適化する。
提案した推論と2つの戦略が組み合わさってパラメータの収束を加速し、より良いパラメータをもたらす。
論文 参考訳(メタデータ) (2020-06-12T09:39:29Z) - Certified and fast computations with shallow covariance kernels [0.0]
パラメータ化された共分散演算子の族を低ランクで近似するアルゴリズムを新たに導入し,解析する。
提案アルゴリズムは,パラメータ依存確率場に対する高速サンプリング法の基礎を提供する。
論文 参考訳(メタデータ) (2020-01-24T20:28:05Z) - Doubly Sparse Variational Gaussian Processes [14.209730729425502]
我々は、状態空間モデルにはまだインジェクションポイントフレームワークが有効であり、さらなる計算とメモリの節約をもたらすことを示している。
この研究により、実験の1つで示されるように、深いガウス過程モデル内で状態空間の定式化が利用できるようになる。
論文 参考訳(メタデータ) (2020-01-15T15:07:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。