論文の概要: Generic Unsupervised Optimization for a Latent Variable Model With
Exponential Family Observables
- arxiv url: http://arxiv.org/abs/2003.02214v3
- Date: Fri, 15 Dec 2023 12:01:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-18 20:04:57.549326
- Title: Generic Unsupervised Optimization for a Latent Variable Model With
Exponential Family Observables
- Title（参考訳）: 指数族観測可能な潜在変数モデルの汎用的教師なし最適化
- Authors: Hamid Mousavi, Jakob Drefs, Florian Hirschberger, J\"org L\"ucke
- Abstract要約: 潜時変数モデル(LVM)は、潜時変数のパラメータ化関数によって観測された変数を表す。
教師なし学習では、特定の非ガウス可観測体を仮定するLVMが検討されている。
指数関数系分布に対して同じ関数形式を特徴とする,非常に簡潔なパラメータ更新方程式の集合を導出できることを示す。
- 参考スコア（独自算出の注目度）: 2.321323878201932
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Latent variable models (LVMs) represent observed variables by parameterized
functions of latent variables. Prominent examples of LVMs for unsupervised
learning are probabilistic PCA or probabilistic SC which both assume a weighted
linear summation of the latents to determine the mean of a Gaussian
distribution for the observables. In many cases, however, observables do not
follow a Gaussian distribution. For unsupervised learning, LVMs which assume
specific non-Gaussian observables have therefore been considered. Already for
specific choices of distributions, parameter optimization is challenging and
only a few previous contributions considered LVMs with more generally defined
observable distributions. Here, we consider LVMs that are defined for a range
of different distributions, i.e., observables can follow any (regular)
distribution of the exponential family. The novel class of LVMs presented is
defined for binary latents, and it uses maximization in place of summation to
link the latents to observables. To derive an optimization procedure, we follow
an EM approach for maximum likelihood parameter estimation. We show that a set
of very concise parameter update equations can be derived which feature the
same functional form for all exponential family distributions. The derived
generic optimization can consequently be applied to different types of metric
data as well as to different types of discrete data. Also, the derived
optimization equations can be combined with a recently suggested variational
acceleration which is likewise generically applicable to the LVMs considered
here. So, the combination maintains generic and direct applicability of the
derived optimization procedure, but, crucially, enables efficient scalability.
We numerically verify our analytical results and discuss some potential
applications such as learning of variance structure, noise type estimation and
denoising.
- Abstract（参考訳）: 潜時変数モデル(LVM)は、潜時変数のパラメータ化関数によって観測された変数を表す。
教師なし学習のためのlvmの顕著な例は、確率的pca(英語版)または確率的sc(英語版)であり、どちらも観測可能な対象に対するガウス分布の平均を決定するために潜在者の重み付き線形和を仮定している。
しかし多くの場合、観測可能量はガウス分布に従わない。
教師なし学習では、特定の非ガウス可観測物を仮定するLVMが検討されている。
分布の特定の選択に既に、パラメータ最適化は困難であり、より一般的に定義された可観測分布を持つLVMを考慮に入れた以前のコントリビューションはわずかである。
ここでは、様々な異なる分布に対して定義される LVM を考える、すなわち、観測可能群は指数族(英語版)の任意の(正規)分布に従うことができる。
提示される新しいlvmクラスはバイナリラテントで定義されており、ラテントとオブザーバブルをリンクするために要約の代わりに最大化を使用する。
最適化手順を導出するために、最大パラメータ推定のためのEM手法に従う。
指数関数系分布に対して同じ関数形式を特徴とする,非常に簡潔なパラメータ更新方程式の集合を導出できることを示す。
導出された一般化最適化は、異なるタイプの計量データと異なるタイプの離散データに適用することができる。
また、導出された最適化方程式は、最近提案された変分加速度と組み合わせることができる。
したがって、この組み合わせは導出した最適化手順の汎用性と直接的な適用性を維持するが、決定的に効率的なスケーラビリティを実現する。
解析結果を数値的に検証し,分散構造の学習,雑音タイプ推定,雑音推定などの応用の可能性について検討した。
関連論文リスト
- EigenVI: score-based variational inference with orthogonal function expansions [23.696028065251497]
EigenVIはブラックボックス変分推論(BBVI)のための固有値に基づくアプローチである
我々はEigenVIを用いて様々なターゲット分布を近似し、例えば後方dbのベイズモデルのベンチマークスイートを含む。
論文 参考訳（メタデータ） (2024-10-31T15:48:34Z) - Understanding Reinforcement Learning-Based Fine-Tuning of Diffusion Models: A Tutorial and Review [63.31328039424469]
このチュートリアルは、下流の報酬関数を最適化するための微調整拡散モデルのための方法を網羅的に調査する。
PPO,微分可能最適化,報酬重み付きMLE,値重み付きサンプリング,経路整合性学習など,様々なRLアルゴリズムの適用について説明する。
論文 参考訳（メタデータ） (2024-07-18T17:35:32Z) - Convex Parameter Estimation of Perturbed Multivariate Generalized
Gaussian Distributions [18.95928707619676]
本稿では,MGGDパラメータの確立された特性を持つ凸定式化を提案する。
提案するフレームワークは, 精度行列, 平均, 摂動の様々な正規化を組み合わせ, 柔軟である。
実験により, 平均ベクトルパラメータに対して, 同様の性能でより正確な精度と共分散行列推定を行うことができた。
論文 参考訳（メタデータ） (2023-12-12T18:08:04Z) - Winning Prize Comes from Losing Tickets: Improve Invariant Learning by
Exploring Variant Parameters for Out-of-Distribution Generalization [76.27711056914168]
Out-of-Distribution (OOD) 一般化は、分散固有の特徴に適合することなく、様々な環境によく適応する堅牢なモデルを学ぶことを目的としている。
LTH(Lottery Ticket hypothesis)に基づく最近の研究は、学習目標を最小化し、タスクに重要なパラメータのいくつかを見つけることでこの問題に対処している。
Invariant Learning (EVIL) における変数探索手法を提案する。
論文 参考訳（メタデータ） (2023-10-25T06:10:57Z) - Bayesian Non-linear Latent Variable Modeling via Random Fourier Features [7.856578780790166]
一般化非線形潜在変数モデリングのためのマルコフ連鎖モンテカルロ推定法を提案する。
推論 forVM は、データ可能性がガウス的である場合にのみ、計算的に抽出可能である。
ポアソン, 負二項分布, 多項分布などの非ガウス観測にVMを一般化できることが示される。
論文 参考訳（メタデータ） (2023-06-14T08:42:10Z) - Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood
Estimation for Latent Gaussian Models [69.22568644711113]
我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。
理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。
シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
論文 参考訳（メタデータ） (2023-06-05T21:08:34Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳（メタデータ） (2022-09-27T07:58:25Z) - Generalised Gaussian Process Latent Variable Models (GPLVM) with
Stochastic Variational Inference [9.468270453795409]
ミニバッチ学習が可能なBayesianVMモデルの2倍の定式化について検討する。
このフレームワークが、異なる潜在変数の定式化とどのように互換性を持つかを示し、モデルの組を比較する実験を行う。
我々は、膨大な量の欠落データの存在下でのトレーニングと、高忠実度再構築の実施を実証する。
論文 参考訳（メタデータ） (2022-02-25T21:21:51Z) - Learning Invariant Representations using Inverse Contrastive Loss [34.93395633215398]
興味のある変数に不変な学習表現に対して,損失のクラスを導入する。
外部変数がバイナリである場合、iclの最適化は正規化mmd分岐の最適化と同値であることを示す。
論文 参考訳（メタデータ） (2021-02-16T18:29:28Z) - Generalized Matrix Factorization: efficient algorithms for fitting
generalized linear latent variable models to large data arrays [62.997667081978825]
一般化線形潜在変数モデル(GLLVM)は、そのような因子モデルを非ガウス応答に一般化する。
GLLVMのモデルパラメータを推定する現在のアルゴリズムは、集約的な計算を必要とし、大規模なデータセットにスケールしない。
本稿では,GLLVMを高次元データセットに適用するための新しい手法を提案する。
論文 参考訳（メタデータ） (2020-10-06T04:28:19Z) - Stochastic Normalizing Flows [52.92110730286403]
微分方程式(SDE)を用いた最大推定と変分推論のための正規化フロー(VI)を導入する。
粗い経路の理論を用いて、基礎となるブラウン運動は潜在変数として扱われ、近似され、神経SDEの効率的な訓練を可能にする。
これらのSDEは、与えられたデータセットの基盤となる分布からサンプリングする効率的なチェーンを構築するために使用することができる。
論文 参考訳（メタデータ） (2020-02-21T20:47:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。