論文の概要: Latent variable modeling with random features
- arxiv url: http://arxiv.org/abs/2006.11145v1
- Date: Fri, 19 Jun 2020 14:12:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 04:23:33.044698
- Title: Latent variable modeling with random features
- Title(参考訳): ランダム特徴を持つ潜在変数モデリング
- Authors: Gregory W. Gundersen, Michael Minyi Zhang, Barbara E. Engelhardt
- Abstract要約: 我々は非ガウス的データ可能性に容易に対応できる非線形次元減少モデルのファミリーを開発する。
我々の一般化されたRFLVMは、他の最先端の次元還元法に匹敵する結果が得られる。
- 参考スコア(独自算出の注目度): 7.856578780790166
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gaussian process-based latent variable models are flexible and theoretically
grounded tools for nonlinear dimension reduction, but generalizing to
non-Gaussian data likelihoods within this nonlinear framework is statistically
challenging. Here, we use random features to develop a family of nonlinear
dimension reduction models that are easily extensible to non-Gaussian data
likelihoods; we call these random feature latent variable models (RFLVMs). By
approximating a nonlinear relationship between the latent space and the
observations with a function that is linear with respect to random features, we
induce closed-form gradients of the posterior distribution with respect to the
latent variable. This allows the RFLVM framework to support computationally
tractable nonlinear latent variable models for a variety of data likelihoods in
the exponential family without specialized derivations. Our generalized RFLVMs
produce results comparable with other state-of-the-art dimension reduction
methods on diverse types of data, including neural spike train recordings,
images, and text data.
- Abstract(参考訳): ガウス過程に基づく潜在変数モデルは、非線形次元減少のための柔軟かつ理論的に基礎づけられたツールであるが、この非線形フレームワーク内の非ガウスデータ可能性への一般化は統計的に難しい。
ここでは、非ガウス的データ可能性に容易に拡張可能な非線形次元減少モデルの族を開発するためにランダム特徴を用いており、これらのランダム特徴潜在変数モデル(RFLVM)と呼ぶ。
確率的特徴量に対して線形な関数を持つ潜在空間と観測との間の非線形関係を近似することにより、潜在変数に対する後方分布の閉形式勾配を誘導する。
これにより、rflvmフレームワークは、特殊な導出を伴わずに指数関数族内の様々なデータ可能性の計算可能な非線形潜在変数モデルをサポートすることができる。
我々の一般化RFLVMは、ニューラルスパイクト記録、画像、テキストデータなど、様々な種類のデータに対して、他の最先端の次元削減手法に匹敵する結果を生成する。
関連論文リスト
- Scalable Random Feature Latent Variable Models [8.816134440622696]
ブロック座標降下変動推論(BCD-VI)と呼ばれる明示的なPDFと新しいVBIアルゴリズムを得るために,ディリクレプロセス(DP)のスティック破断構成を導入する。
これにより、RFLVMのスケーラブルバージョン、あるいは略してSRFLVMの開発が可能になる。
論文 参考訳(メタデータ) (2024-10-23T09:22:43Z) - Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳(メタデータ) (2024-05-01T15:59:00Z) - Preventing Model Collapse in Gaussian Process Latent Variable Models [11.45681373843122]
本稿では,線形フーリエVMのレンズによるモデル崩壊に対する射影分散の影響を理論的に検討する。
我々は、スペクトル混合(SM)カーネルと微分可能乱数特徴(RFF)カーネル近似を統合することにより、カーネルの柔軟性が不十分なため、モデル崩壊に取り組む。
提案したVMは、アドバイスRFLVMと呼ばれ、さまざまなデータセットで評価され、さまざまな競合モデルよりも一貫して優れています。
論文 参考訳(メタデータ) (2024-04-02T06:58:41Z) - Diffusion models for probabilistic programming [56.47577824219207]
拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である
DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
論文 参考訳(メタデータ) (2023-11-01T12:17:05Z) - Geometric Neural Diffusion Processes [55.891428654434634]
拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。
これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
論文 参考訳(メタデータ) (2023-07-11T16:51:38Z) - Bayesian Non-linear Latent Variable Modeling via Random Fourier Features [7.856578780790166]
一般化非線形潜在変数モデリングのためのマルコフ連鎖モンテカルロ推定法を提案する。
推論 forVM は、データ可能性がガウス的である場合にのみ、計算的に抽出可能である。
ポアソン, 負二項分布, 多項分布などの非ガウス観測にVMを一般化できることが示される。
論文 参考訳(メタデータ) (2023-06-14T08:42:10Z) - VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。
ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。
本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2023-04-03T13:13:19Z) - Learning from few examples with nonlinear feature maps [68.8204255655161]
我々はこの現象を探求し、AIモデルの特徴空間の次元性、データ分散の非退化、モデルの一般化能力の間の重要な関係を明らかにする。
本分析の主な推力は、元のデータを高次元および無限次元空間にマッピングする非線形特徴変換が結果のモデル一般化能力に与える影響である。
論文 参考訳(メタデータ) (2022-03-31T10:36:50Z) - Generalised Gaussian Process Latent Variable Models (GPLVM) with
Stochastic Variational Inference [9.468270453795409]
ミニバッチ学習が可能なBayesianVMモデルの2倍の定式化について検討する。
このフレームワークが、異なる潜在変数の定式化とどのように互換性を持つかを示し、モデルの組を比較する実験を行う。
我々は、膨大な量の欠落データの存在下でのトレーニングと、高忠実度再構築の実施を実証する。
論文 参考訳(メタデータ) (2022-02-25T21:21:51Z) - Structural Sieves [0.0]
特に, あるディープネットワークは, 近似回帰関数に対する非パラメトリックシーブとして好適であることを示す。
このような制約は、潜在変数モデルの十分に柔軟なバージョンが、実際には未知の回帰関数を近似するために使用される場合、より簡単な方法で課されることを示す。
論文 参考訳(メタデータ) (2021-12-01T16:37:02Z) - Discrete Denoising Flows [87.44537620217673]
分類的確率変数に対する離散的フローベースモデル(DDF)を提案する。
他の離散フローベースモデルとは対照的に、我々のモデルは勾配バイアスを導入することなく局所的に訓練することができる。
そこで本研究では, DDFs が離散フローより優れていることを示し, 対数類似度で測定した2値MNIST と Cityscapes のセグメンテーションマップをモデル化した。
論文 参考訳(メタデータ) (2021-07-24T14:47:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。