論文の概要: Revisiting Active Sets for Gaussian Process Decoders

• arxiv url: http://arxiv.org/abs/2209.04636v1
• Date: Sat, 10 Sep 2022 10:49:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-13 12:33:04.504286
• Title: Revisiting Active Sets for Gaussian Process Decoders
• Title（参考訳）: ガウスプロセスデコーダのアクティブセットの再検討
• Authors: Pablo Moreno-Mu\~noz, Cilie W Feldager, S{\o}ren Hauberg
• Abstract要約: 我々は最近発見されたクロスバリデーションのリンクに基づいて,ログマージ可能性の新たな推定法を開発した。 結果の能動集合 (SAS) 近似がGPデコーダトレーニングの堅牢性を大幅に向上することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decoders built on Gaussian processes (GPs) are enticing due to the marginalisation over the non-linear function space. Such models (also known as GP-LVMs) are often expensive and notoriously difficult to train in practice, but can be scaled using variational inference and inducing points. In this paper, we revisit active set approximations. We develop a new stochastic estimate of the log-marginal likelihood based on recently discovered links to cross-validation, and propose a computationally efficient approximation thereof. We demonstrate that the resulting stochastic active sets (SAS) approximation significantly improves the robustness of GP decoder training while reducing computational cost. The SAS-GP obtains more structure in the latent space, scales to many datapoints and learns better representations than variational autoencoders, which is rarely the case for GP decoders.
• Abstract（参考訳）: ガウス過程 (GP) 上に構築されたデコーダは、非線型関数空間上の余分化のために魅力的である。 このようなモデル(GP-LVMとも呼ばれる)は、しばしば高価で訓練が難しいが、変分推論や点の誘導によってスケールできる。 本稿では、アクティブ集合近似を再検討する。 本稿では,最近発見されたクロスバリデーションのリンクに基づいて,対数確率の新しい確率的推定法を開発し,その近似法を提案する。 その結果,確率的能動集合 (SAS) 近似は計算コストを低減しつつGPデコーダトレーニングの堅牢性を大幅に向上させることを示した。 SAS-GPは遅延空間においてより多くの構造を取得し、多くのデータポイントにスケールし、変分オートエンコーダよりも優れた表現を学習する。

関連論文リスト

• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Actually Sparse Variational Gaussian Processes [20.71289963037696]
  コンパクトに支持されたB-スプライン基底関数の集合にGPを投影することによって構築されたドメイン間変分GPの新しいクラスを提案する。 これにより、高速変動空間現象を数万の誘導変数で非常に効率的にモデル化することができる。
  論文  参考訳（メタデータ） (2023-04-11T09:38:58Z)
• Markovian Gaussian Process Variational Autoencoders [19.686719654642392]
  我々はマルコフ型GPの等価離散状態空間表現を活用し、カルマンフィルタと平滑化による線形時間 GPVAE トレーニングを可能にする。 我々のモデルであるMGPVAE(Markovian GPVAE)では,従来の手法と比較して,多種多様な高次元時間的課題を示す。
  論文  参考訳（メタデータ） (2022-07-12T14:10:01Z)
• Scaling Gaussian Process Optimization by Evaluating a Few Unique Candidates Multiple Times [119.41129787351092]
  GPに基づく逐次ブラックボックス最適化は,複数の評価ステップの候補解に固執することで効率よく行うことができることを示す。 GP-UCB と GP-EI の2つのよく確立されたGP-Opt アルゴリズムを改良し,バッチ化された GP-Opt の規則を適応させる。
  論文  参考訳（メタデータ） (2022-01-30T20:42:14Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)
• Encoding spatiotemporal priors with VAEs for small-area estimation [2.4783465852664324]
  本稿では,新しい時間的設定に対処する深層生成モデリング手法を提案する。 可変オートエンコーダ(VAE)の事前装着による事前サンプリングのクラスを近似する。 VAEは独立に分散された潜在ガウス空間表現のため、推論を驚くほど効率的にすることができる。 ベイズ型小面積推定タスクにおけるVAE2段階アプローチの有用性を実証する。
  論文  参考訳（メタデータ） (2021-10-20T08:14:15Z)
• Incremental Ensemble Gaussian Processes [53.3291389385672]
  本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。 各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。 新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
  論文  参考訳（メタデータ） (2021-10-13T15:11:25Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• MuyGPs: Scalable Gaussian Process Hyperparameter Estimation Using Local Cross-Validation [1.2233362977312945]
  本稿では,新しいGPハイパーパラメータ推定法であるMuyGPを提案する。 MuyGPsは、データの最も近い隣人構造を利用する事前のメソッドの上に構築される。 提案手法は, 解法と予測値の平均二乗誤差の両方において, 既知の競合よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-29T18:10:21Z)
• Scalable Gaussian Process Variational Autoencoders [17.345687261000045]
  本稿では,実行時およびメモリフットプリントの観点から既存手法より優れた拡張性を持つGP-VAEモデルを提案する。
  論文  参考訳（メタデータ） (2020-10-26T10:26:02Z)
• Likelihood-Free Inference with Deep Gaussian Processes [70.74203794847344]
  サーロゲートモデルは、シミュレータ評価の回数を減らすために、可能性のない推論に成功している。 本稿では,より不規則な対象分布を扱えるディープガウス過程(DGP)サロゲートモデルを提案する。 本実験は,DGPがマルチモーダル分布を持つ目的関数上でGPよりも優れ,単調な場合と同等の性能を維持できることを示す。
  論文  参考訳（メタデータ） (2020-06-18T14:24:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。