論文の概要: Scalable Variational Gaussian Process Regression Networks
- arxiv url: http://arxiv.org/abs/2003.11489v2
- Date: Mon, 18 May 2020 12:19:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 02:58:15.507015
- Title: Scalable Variational Gaussian Process Regression Networks
- Title(参考訳): スケーラブルな変分ガウス過程回帰ネットワーク
- Authors: Shibo Li, Wei Xing, Mike Kirby and Shandian Zhe
- Abstract要約: GPRNのためのスケーラブルな変分推論アルゴリズムを提案する。
出力空間をテンソル化し、テンソル/マトリクス正規変分後部を導入し、後部相関を捉える。
実世界のいくつかの応用において,本手法の利点を実証する。
- 参考スコア(独自算出の注目度): 19.699020509495437
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gaussian process regression networks (GPRN) are powerful Bayesian models for
multi-output regression, but their inference is intractable. To address this
issue, existing methods use a fully factorized structure (or a mixture of such
structures) over all the outputs and latent functions for posterior
approximation, which, however, can miss the strong posterior dependencies among
the latent variables and hurt the inference quality. In addition, the updates
of the variational parameters are inefficient and can be prohibitively
expensive for a large number of outputs. To overcome these limitations, we
propose a scalable variational inference algorithm for GPRN, which not only
captures the abundant posterior dependencies but also is much more efficient
for massive outputs. We tensorize the output space and introduce
tensor/matrix-normal variational posteriors to capture the posterior
correlations and to reduce the parameters. We jointly optimize all the
parameters and exploit the inherent Kronecker product structure in the
variational model evidence lower bound to accelerate the computation. We
demonstrate the advantages of our method in several real-world applications.
- Abstract(参考訳): ガウス過程回帰ネットワーク(GPRN)は多出力回帰のための強力なベイズモデルであるが、推論は難解である。
この問題に対処するために、既存の手法では、後方近似のために全ての出力と潜在関数に対して完全に因子化された構造(またはそのような構造の混合)を用いるが、潜在変数間の強い後方依存性を見逃し、推論品質を損なう可能性がある。
さらに、変動パラメータの更新は非効率であり、多くの出力に対して違法にコストがかかる可能性がある。
これらの制約を克服するため,我々はgprnに対するスケーラブルな変分推論アルゴリズムを提案する。
出力空間をテンソル化し、テンソル/行列正規変分後部を導入し、後部相関を捕捉し、パラメータを低減する。
我々は、全てのパラメータを最適化し、計算を加速するために下限の変分モデル証拠において固有のクロネッカー積構造を利用する。
本手法の利点を実世界のいくつかのアプリケーションで実証する。
関連論文リスト
- Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。
MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。
乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
論文 参考訳(メタデータ) (2023-09-29T20:18:52Z) - Multi-Response Heteroscedastic Gaussian Process Models and Their
Inference [1.52292571922932]
本稿ではヘテロセダスティック共分散関数のモデリングのための新しいフレームワークを提案する。
後部モデルに近似し, 後部予測モデルを容易にするために, 変分推論を用いる。
提案するフレームワークは,幅広いアプリケーションに対して,堅牢で汎用的なツールを提供する。
論文 参考訳(メタデータ) (2023-08-29T15:06:47Z) - Variational Laplace Autoencoders [53.08170674326728]
変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。
完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。
また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
論文 参考訳(メタデータ) (2022-11-30T18:59:27Z) - A Variational Inference Approach to Inverse Problems with Gamma
Hyperpriors [60.489902135153415]
本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。
提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
論文 参考訳(メタデータ) (2021-11-26T06:33:29Z) - Scalable Variational Gaussian Processes via Harmonic Kernel
Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。
様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。
提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文 参考訳(メタデータ) (2021-06-10T18:17:57Z) - Collaborative Nonstationary Multivariate Gaussian Process Model [2.362467745272567]
我々は、協調非定常ガウス過程モデル(CNMGP)と呼ばれる新しいモデルを提案する。
CNMGPは、出力が共通の入力セットを共有していないデータを、入力と出力のサイズに依存しない計算複雑性でモデル化することができる。
また,本モデルでは,出力毎に異なる時間変化相関を推定し,予測性能の向上を図っている。
論文 参考訳(メタデータ) (2021-06-01T18:25:22Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳(メタデータ) (2021-03-15T16:16:18Z) - Reducing the Amortization Gap in Variational Autoencoders: A Bayesian
Random Function Approach [38.45568741734893]
GPモデルの推論は、セミアモタイズ法よりもはるかに高速な1つのフィードフォワードパスによって行われる。
提案手法は,複数のベンチマークデータセットの最先端データよりも高い確率でテストデータが得られることを示す。
論文 参考訳(メタデータ) (2021-02-05T13:01:12Z) - Factorized Gaussian Process Variational Autoencoders [6.866104126509981]
変分オートエンコーダは、しばしば等方的ガウス先行と平均体後部を仮定するので、潜在変数間の類似性や一貫性を期待するシナリオでは構造を利用できない。
多くのデータセットに存在する補助的特徴の独立性を活用することにより、これらのモデルのよりスケーラブルな拡張を提案する。
論文 参考訳(メタデータ) (2020-11-14T10:24:10Z) - Scalable Gaussian Process Variational Autoencoders [17.345687261000045]
本稿では,実行時およびメモリフットプリントの観点から既存手法より優れた拡張性を持つGP-VAEモデルを提案する。
論文 参考訳(メタデータ) (2020-10-26T10:26:02Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳(メタデータ) (2020-06-11T09:58:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。