論文の概要: Preventing Model Collapse in Gaussian Process Latent Variable Models

• arxiv url: http://arxiv.org/abs/2404.01697v2
• Date: Tue, 18 Jun 2024 08:56:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-20 01:55:10.271249
• Title: Preventing Model Collapse in Gaussian Process Latent Variable Models
• Title（参考訳）: ガウス過程潜在変数モデルにおけるモデル崩壊防止
• Authors: Ying Li, Zhidi Lin, Feng Yin, Michael Minyi Zhang,
• Abstract要約: 本稿では,線形フーリエVMのレンズによるモデル崩壊に対する射影分散の影響を理論的に検討する。 我々は、スペクトル混合(SM)カーネルと微分可能乱数特徴(RFF)カーネル近似を統合することにより、カーネルの柔軟性が不十分なため、モデル崩壊に取り組む。 提案したVMは、アドバイスRFLVMと呼ばれ、さまざまなデータセットで評価され、さまざまな競合モデルよりも一貫して優れています。
• 参考スコア（独自算出の注目度）: 11.45681373843122
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gaussian process latent variable models (GPLVMs) are a versatile family of unsupervised learning models commonly used for dimensionality reduction. However, common challenges in modeling data with GPLVMs include inadequate kernel flexibility and improper selection of the projection noise, leading to a type of model collapse characterized by vague latent representations that do not reflect the underlying data structure. This paper addresses these issues by, first, theoretically examining the impact of projection variance on model collapse through the lens of a linear GPLVM. Second, we tackle model collapse due to inadequate kernel flexibility by integrating the spectral mixture (SM) kernel and a differentiable random Fourier feature (RFF) kernel approximation, which ensures computational scalability and efficiency through off-the-shelf automatic differentiation tools for learning the kernel hyperparameters, projection variance, and latent representations within the variational inference framework. The proposed GPLVM, named advisedRFLVM, is evaluated across diverse datasets and consistently outperforms various salient competing models, including state-of-the-art variational autoencoders (VAEs) and other GPLVM variants, in terms of informative latent representations and missing data imputation.
• Abstract（参考訳）: ガウスプロセス潜在変数モデル(ガウスプロセス潜在変数モデル、英: Gaussian Process Latent variable model、GPLVM)は、一般に次元の減少に使用される教師なし学習モデルの汎用的なファミリである。 しかし、GPLVMを用いたデータモデリングにおける一般的な課題は、カーネルの柔軟性の不十分さとプロジェクションノイズの不適切な選択である。 本稿では,まず,線状GPLVMのレンズによるモデル崩壊に対する射影分散の影響を理論的に検討する。 第2に、スペクトル混合(SM)カーネルと微分可能なランダムフーリエ特徴(RFF)カーネル近似を統合することにより、カーネルハイパーパラメータ、投影分散、潜時表現を変動推論フレームワーク内で学習するオフザシェル自動微分ツールにより、計算スケーラビリティと効率を確保することにより、カーネルの柔軟性の低下に対処する。 提案されたGPLVMは、アドバイスRFLVMと名付けられ、さまざまなデータセットで評価され、最新式の変分オートエンコーダ(VAE)や他のGPLVMの亜種など、有意な潜在表現と欠落したデータ計算など、さまざまな優れた競合モデルよりも一貫して優れています。

関連論文リスト

• Scalable Amortized GPLVMs for Single Cell Transcriptomics Data [9.010523724015398]
  大規模単細胞RNA-seqデータの解析には次元化が不可欠である。 改良されたモデル、償却変分モデル(BGPLVM)を導入する。 BGPLVMは、特殊なエンコーダ、カーネル、そして可能性設計を備えたシングルセルRNA-seq向けに調整されている。
  論文  参考訳（メタデータ） (2024-05-06T21:54:38Z)
• Diffusion models for probabilistic programming [56.47577824219207]
  拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
  論文  参考訳（メタデータ） (2023-11-01T12:17:05Z)
• Bayesian Non-linear Latent Variable Modeling via Random Fourier Features [7.856578780790166]
  一般化非線形潜在変数モデリングのためのマルコフ連鎖モンテカルロ推定法を提案する。 推論 forVM は、データ可能性がガウス的である場合にのみ、計算的に抽出可能である。 ポアソン, 負二項分布, 多項分布などの非ガウス観測にVMを一般化できることが示される。
  論文  参考訳（メタデータ） (2023-06-14T08:42:10Z)
• VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
  深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。 ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。 本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:13:19Z)
• Generalised Gaussian Process Latent Variable Models (GPLVM) with Stochastic Variational Inference [9.468270453795409]
  ミニバッチ学習が可能なBayesianVMモデルの2倍の定式化について検討する。 このフレームワークが、異なる潜在変数の定式化とどのように互換性を持つかを示し、モデルの組を比較する実験を行う。 我々は、膨大な量の欠落データの存在下でのトレーニングと、高忠実度再構築の実施を実証する。
  論文  参考訳（メタデータ） (2022-02-25T21:21:51Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)
• Collaborative Nonstationary Multivariate Gaussian Process Model [2.362467745272567]
  我々は、協調非定常ガウス過程モデル(CNMGP)と呼ばれる新しいモデルを提案する。 CNMGPは、出力が共通の入力セットを共有していないデータを、入力と出力のサイズに依存しない計算複雑性でモデル化することができる。 また,本モデルでは,出力毎に異なる時間変化相関を推定し,予測性能の向上を図っている。
  論文  参考訳（メタデータ） (2021-06-01T18:25:22Z)
• Generalized Matrix Factorization: efficient algorithms for fitting generalized linear latent variable models to large data arrays [62.997667081978825]
  一般化線形潜在変数モデル(GLLVM)は、そのような因子モデルを非ガウス応答に一般化する。 GLLVMのモデルパラメータを推定する現在のアルゴリズムは、集約的な計算を必要とし、大規模なデータセットにスケールしない。 本稿では,GLLVMを高次元データセットに適用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-06T04:28:19Z)
• Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
  本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。 堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。 異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
  論文  参考訳（メタデータ） (2020-07-21T08:18:06Z)
• Latent variable modeling with random features [7.856578780790166]
  我々は非ガウス的データ可能性に容易に対応できる非線形次元減少モデルのファミリーを開発する。 我々の一般化されたRFLVMは、他の最先端の次元還元法に匹敵する結果が得られる。
  論文  参考訳（メタデータ） (2020-06-19T14:12:05Z)
• Bayesian Sparse Factor Analysis with Kernelized Observations [67.60224656603823]
  多視点問題は潜在変数モデルに直面することができる。 高次元問題と非線形問題は伝統的にカーネルメソッドによって扱われる。 両アプローチを単一モデルにマージすることを提案する。
  論文  参考訳（メタデータ） (2020-06-01T14:25:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。