Fugu-MT 論文翻訳(概要): Scalable Random Feature Latent Variable Models

論文の概要: Scalable Random Feature Latent Variable Models

arxiv url: http://arxiv.org/abs/2410.17700v1
Date: Wed, 23 Oct 2024 09:22:43 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-24 13:56:54.421286
Title: Scalable Random Feature Latent Variable Models
Title（参考訳）: スケーラブルなランダム特徴潜時変動モデル
Authors: Ying Li, Zhidi Lin, Yuhao Liu, Michael Minyi Zhang, Pablo M. Olmos, Petar M. Djurić,
Abstract要約: ブロック座標降下変動推論(BCD-VI)と呼ばれる明示的なPDFと新しいVBIアルゴリズムを得るために,ディリクレプロセス(DP)のスティック破断構成を導入する。これにより、RFLVMのスケーラブルバージョン、あるいは略してSRFLVMの開発が可能になる。
参考スコア（独自算出の注目度）: 8.816134440622696
License:
Abstract: Random feature latent variable models (RFLVMs) represent the state-of-the-art in latent variable models, capable of handling non-Gaussian likelihoods and effectively uncovering patterns in high-dimensional data. However, their heavy reliance on Monte Carlo sampling results in scalability issues which makes it difficult to use these models for datasets with a massive number of observations. To scale up RFLVMs, we turn to the optimization-based variational Bayesian inference (VBI) algorithm which is known for its scalability compared to sampling-based methods. However, implementing VBI for RFLVMs poses challenges, such as the lack of explicit probability distribution functions (PDFs) for the Dirichlet process (DP) in the kernel learning component, and the incompatibility of existing VBI algorithms with RFLVMs. To address these issues, we introduce a stick-breaking construction for DP to obtain an explicit PDF and a novel VBI algorithm called ``block coordinate descent variational inference" (BCD-VI). This enables the development of a scalable version of RFLVMs, or in short, SRFLVM. Our proposed method shows scalability, computational efficiency, superior performance in generating informative latent representations and the ability of imputing missing data across various real-world datasets, outperforming state-of-the-art competitors.
Abstract（参考訳）: ランダム特徴潜時変モデル(RFLVM)は、非ガウス確率を扱うことができ、高次元データのパターンを効果的に発見することができる、潜時変モデルにおける最先端の状態を表現している。しかし、モンテカルロのサンプリングに大きく依存しているためスケーラビリティの問題が発生し、膨大な数の観測値を持つデータセットにこれらのモデルを使用することが困難になる。 RFLVMをスケールアップするために、サンプリング法と比較してスケーラビリティが知られている最適化に基づく変分ベイズ推論(VBI)アルゴリズムを使う。しかしながら、RFLVMに対するVBIの実装は、カーネル学習コンポーネントにおけるDirichletプロセス(DP)の明示的な確率分布関数(PDF)の欠如や、既存のVBIアルゴリズムとRFLVMとの互換性の欠如など、課題を提起している。これらの問題に対処するために,DP に対して,明示的な PDF と ``block coordinate descent variational inference' (BCD-VI) と呼ばれる新しい VBI アルゴリズムを得るための突破構成を導入する。これにより、RFLVMのスケーラブルバージョン、あるいは略してSRFLVMの開発が可能になる。提案手法は, スケーラビリティ, 計算効率, 有意な潜伏表現生成における優れた性能, および, 様々な実世界のデータセットにまたがる欠落データを出力し, 最先端の競合よりも優れた性能を示す。

関連論文リスト

Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
論文参考訳（メタデータ） (2024-08-13T08:09:05Z)
Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
論文参考訳（メタデータ） (2024-04-11T09:23:36Z)
Preventing Model Collapse in Gaussian Process Latent Variable Models [11.45681373843122]
本稿では,線形フーリエVMのレンズによるモデル崩壊に対する射影分散の影響を理論的に検討する。我々は、スペクトル混合(SM)カーネルと微分可能乱数特徴(RFF)カーネル近似を統合することにより、カーネルの柔軟性が不十分なため、モデル崩壊に取り組む。提案したVMは、アドバイスRFLVMと呼ばれ、さまざまなデータセットで評価され、さまざまな競合モデルよりも一貫して優れています。
論文参考訳（メタデータ） (2024-04-02T06:58:41Z)
Sample Complexity Characterization for Linear Contextual MDPs [67.79455646673762]
文脈決定プロセス(CMDP)は、遷移カーネルと報酬関数がコンテキスト変数によってインデックス付けされた異なるMDPで時間とともに変化できる強化学習のクラスを記述する。 CMDPは、時間とともに変化する環境で多くの現実世界のアプリケーションをモデル化するための重要なフレームワークとして機能する。 CMDPを2つの線形関数近似モデルで検討する: 文脈変化表現とすべての文脈に対する共通線形重み付きモデルIと、すべての文脈に対する共通表現と文脈変化線形重み付きモデルIIである。
論文参考訳（メタデータ） (2024-02-05T03:25:04Z)
Online Variational Sequential Monte Carlo [49.97673761305336]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文参考訳（メタデータ） (2023-12-19T21:45:38Z)
Diffusion models for probabilistic programming [56.47577824219207]
拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
論文参考訳（メタデータ） (2023-11-01T12:17:05Z)
Bayesian Non-linear Latent Variable Modeling via Random Fourier Features [7.856578780790166]
一般化非線形潜在変数モデリングのためのマルコフ連鎖モンテカルロ推定法を提案する。推論 forVM は、データ可能性がガウス的である場合にのみ、計算的に抽出可能である。ポアソン, 負二項分布, 多項分布などの非ガウス観測にVMを一般化できることが示される。
論文参考訳（メタデータ） (2023-06-14T08:42:10Z)
Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。言語生成に適用するための実践的境界を開発する。本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
論文参考訳（メタデータ） (2023-02-26T16:32:52Z)
Generalised Gaussian Process Latent Variable Models (GPLVM) with Stochastic Variational Inference [9.468270453795409]
ミニバッチ学習が可能なBayesianVMモデルの2倍の定式化について検討する。このフレームワークが、異なる潜在変数の定式化とどのように互換性を持つかを示し、モデルの組を比較する実験を行う。我々は、膨大な量の欠落データの存在下でのトレーニングと、高忠実度再構築の実施を実証する。
論文参考訳（メタデータ） (2022-02-25T21:21:51Z)
Latent variable modeling with random features [7.856578780790166]
我々は非ガウス的データ可能性に容易に対応できる非線形次元減少モデルのファミリーを開発する。我々の一般化されたRFLVMは、他の最先端の次元還元法に匹敵する結果が得られる。
論文参考訳（メタデータ） (2020-06-19T14:12:05Z)
Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。