Fugu-MT 論文翻訳(概要): Dual Parameterization of Sparse Variational Gaussian Processes

論文の概要: Dual Parameterization of Sparse Variational Gaussian Processes

arxiv url: http://arxiv.org/abs/2111.03412v1
Date: Fri, 5 Nov 2021 11:31:42 GMT
ステータス: 処理完了
システム内更新日: 2021-11-08 14:44:43.084817
Title: Dual Parameterization of Sparse Variational Gaussian Processes
Title（参考訳）: ばらばらな変分ガウス過程の双対パラメータ化
Authors: Vincent Adam, Paul E. Chang, Mohammad Emtiyaz Khan, Arno Solin
Abstract要約: スパース変分ガウス過程(SVGP)法は非共役ガウス過程推論の一般的な選択である。本稿では,双対パラメータ化による計算効率の向上について述べる。このアプローチは、現在のSVGPメソッドと同じメモリコストを持つが、より速く、より正確である。
参考スコア（独自算出の注目度）: 29.977303466172906
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Sparse variational Gaussian process (SVGP) methods are a common choice for non-conjugate Gaussian process inference because of their computational benefits. In this paper, we improve their computational efficiency by using a dual parameterization where each data example is assigned dual parameters, similarly to site parameters used in expectation propagation. Our dual parameterization speeds-up inference using natural gradient descent, and provides a tighter evidence lower bound for hyperparameter learning. The approach has the same memory cost as the current SVGP methods, but it is faster and more accurate.
Abstract（参考訳）: スパース変分ガウス過程(SVGP)法は計算上の利点から非共役ガウス過程推論において一般的な選択である。本稿では,各データ例に2つのパラメータを割り当てた二重パラメータ化を用いて,予測伝搬に使用するサイトパラメータと同様の計算効率を向上させる。我々の双対パラメタライゼーションは、自然勾配降下を用いた推定を高速化し、ハイパーパラメータ学習においてより厳密な証拠を提供する。このアプローチは、現在のSVGPメソッドと同じメモリコストを持つが、より速く、より正確である。

関連論文リスト

Information Geometry and Beta Link for Optimizing Sparse Variational Student-t Processes [6.37512592611305]
勾配勾配勾配を用いた実世界のデータセットの計算効率と柔軟性を向上させるために,学生Tプロセスが提案されている。アダムのような伝統的な勾配降下法はパラメータ空間の幾何を十分に活用しない可能性があり、収束と準最適性能を遅くする可能性がある。我々は,情報幾何学から自然勾配法を適用し,学生-tプロセスの変分パラメータ最適化を行う。
論文参考訳（メタデータ） (2024-08-13T07:53:39Z)
Fully Bayesian Differential Gaussian Processes through Stochastic Differential Equations [7.439555720106548]
本稿では、カーネルハイパーパラメータを確率変数として扱い、結合微分方程式(SDE)を構築して、その後部分布と誘導点を学習する完全ベイズ的手法を提案する。提案手法は,SDE法による結合変数による時間変化,包括的,現実的な後部近似を提供する。我々の研究はベイズ的推論を推し進めるためのエキサイティングな研究の道を開き、継続的なガウス的プロセスのための強力なモデリングツールを提供する。
論文参考訳（メタデータ） (2024-08-12T11:41:07Z)
Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
論文参考訳（メタデータ） (2024-07-08T12:32:51Z)
State-Free Inference of State-Space Models: The Transfer Function Approach [132.83348321603205]
状態のない推論では、状態サイズが大きくなると大きなメモリや計算コストは発生しない。提案した周波数領域転送関数のパラメトリゼーション特性を用いてこれを実現する。長い畳み込みハイエナベースライン上での言語モデリングにおける難易度の改善を報告した。
論文参考訳（メタデータ） (2024-05-10T00:06:02Z)
A Unified Gaussian Process for Branching and Nested Hyperparameter Optimization [19.351804144005744]
ディープラーニングでは、条件に依存したパラメータのチューニングが一般的に行われている。新しいGPモデルでは、新しいカーネル関数を通じて入力変数間の依存構造が説明される。ニューラルネットワークの一連の合成シミュレーションおよび実データ応用において、高い予測精度とより良い最適化効率が観察される。
論文参考訳（メタデータ） (2024-01-19T21:11:32Z)
Optimization using Parallel Gradient Evaluations on Multiple Parameters [51.64614793990665]
本稿では,複数のパラメータからの勾配を勾配降下の各ステップで利用することができる凸最適化の一階法を提案する。本手法では,複数のパラメータからの勾配を用いて,これらのパラメータを最適方向に更新する。
論文参考訳（メタデータ） (2023-02-06T23:39:13Z)
Online Hyperparameter Meta-Learning with Hypergradient Distillation [59.973770725729636]
勾配に基づくメタラーニング法は、内部最適化に関与しないパラメータのセットを仮定する。知識蒸留による2次項の近似により,これらの限界を克服できる新しいHO法を提案する。
論文参考訳（メタデータ） (2021-10-06T05:14:53Z)
Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
論文参考訳（メタデータ） (2021-02-15T19:36:18Z)
Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
論文参考訳（メタデータ） (2020-07-07T10:05:01Z)
Approximate Inference for Spectral Mixture Kernel [25.087829816206813]
スペクトル混合核に対する近似ベイズ推定を提案する。抽出されたエビデンス下界(ELBO)推定器にサンプリングベース変分推定を適用することにより,変分パラメータを最適化する。提案した推論と2つの戦略が組み合わさってパラメータの収束を加速し、より良いパラメータをもたらす。
論文参考訳（メタデータ） (2020-06-12T09:39:29Z)
Certified and fast computations with shallow covariance kernels [0.0]
パラメータ化された共分散演算子の族を低ランクで近似するアルゴリズムを新たに導入し,解析する。提案アルゴリズムは,パラメータ依存確率場に対する高速サンプリング法の基礎を提供する。
論文参考訳（メタデータ） (2020-01-24T20:28:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。