論文の概要: Maximal Causes for Exponential Family Observables

• arxiv url: http://arxiv.org/abs/2003.02214v2
• Date: Wed, 2 Dec 2020 14:39:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 12:22:35.040858
• Title: Maximal Causes for Exponential Family Observables
• Title（参考訳）: 特定家族観測装置の最大原因
• Authors: S. Hamid Mousavi, Jakob Drefs, Florian Hirschberger, J\"org L\"ucke
• Abstract要約: 多くの場合、オブザーバブルは正規分布に従わないし、ラテントの線型和は非ガウス可観測物と不一致である。 我々は、ラテントをオブザーバブルにリンクする代わりに和を用いることで、パラメータ更新方程式の非常に一般的な集合を導出できることを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Latent variable models represent observed variables as parameterized functions of a set of latent variables. Examples are factor analysis or probabilistic sparse coding which assume weighted linear summations to determine the mean of Gaussian distribution for the observables. However, in many cases observables do not follow a normal distribution, and a linear summation of latents is often at odds with non-Gaussian observables (e.g., means of the Bernoulli distribution have to lie in the unit interval). Furthermore, the assumption of a linear summation model may (for many types of data) not be closely aligned with the true data generation process even for Gaussian observables. Alternative superposition models (i.e., alternative links between latents and observables) have therefore been investigated repeatedly. Here we show that using the maximization instead of summation to link latents to observables allows for the derivation of a very general and concise set of parameter update equations. Concretely, we derive a set of update equations that has the same functional form for all distributions of the exponential family. Our results consequently provide directly applicable learning equations for commonly as well as for unusually distributed data. We numerically verify our analytical results assuming standard Gaussian, Gamma, Poisson, Bernoulli and Exponential distributions. We point to some potential applications by providing different experiments on the learning of variance structure, noise type estimation, and denoising.
• Abstract（参考訳）: 潜時変数モデルは、観測された変数を潜時変数の集合のパラメータ化関数として表現する。 例えば、重み付き線形和を仮定して可観測値のガウス分布の平均を決定する因子分析や確率的スパース符号化がある。 しかし、多くの場合、可観測性は正規分布に従わず、潜在性の線形和はしばしば非ガウス可観測性と相反する(例えば、ベルヌーイ分布の手段は単位区間に存在しなければならない)。 さらに、線形和モデルの仮定は(多くの種類のデータに対して)ガウス観測可能量に対しても真のデータ生成プロセスと密に一致しないかもしれない。 それゆえ、代替重ね合わせモデル(すなわち、潜在子と可観測子の間の代替リンク)が繰り返し検討されている。 ここでは、ラテントをオブザーバブルにリンクする和の代わりに最大化を用いることで、パラメータ更新方程式の非常に一般的で簡潔な集合を導出できることを示す。 具体的には、指数族の全分布に対して同じ関数形式を持つ更新方程式の集合を導出する。 その結果, 正規分布データだけでなく, 直接適用可能な学習方程式が得られた。 我々は,標準ガウス分布,ガンマ分布,ポアソン分布,ベルヌーイ分布および指数分布を仮定して解析結果を数値的に検証する。 分散構造の学習,ノイズタイプ推定,デノジングについて異なる実験を行い,応用の可能性を示す。

関連論文リスト

• EigenVI: score-based variational inference with orthogonal function expansions [23.696028065251497]
  EigenVIはブラックボックス変分推論(BBVI)のための固有値に基づくアプローチである 我々はEigenVIを用いて様々なターゲット分布を近似し、例えば後方dbのベイズモデルのベンチマークスイートを含む。
  論文  参考訳（メタデータ） (2024-10-31T15:48:34Z)
• Understanding Reinforcement Learning-Based Fine-Tuning of Diffusion Models: A Tutorial and Review [63.31328039424469]
  このチュートリアルは、下流の報酬関数を最適化するための微調整拡散モデルのための方法を網羅的に調査する。 PPO,微分可能最適化,報酬重み付きMLE,値重み付きサンプリング,経路整合性学習など,様々なRLアルゴリズムの適用について説明する。
  論文  参考訳（メタデータ） (2024-07-18T17:35:32Z)
• Convex Parameter Estimation of Perturbed Multivariate Generalized Gaussian Distributions [18.95928707619676]
  本稿では,MGGDパラメータの確立された特性を持つ凸定式化を提案する。 提案するフレームワークは, 精度行列, 平均, 摂動の様々な正規化を組み合わせ, 柔軟である。 実験により, 平均ベクトルパラメータに対して, 同様の性能でより正確な精度と共分散行列推定を行うことができた。
  論文  参考訳（メタデータ） (2023-12-12T18:08:04Z)
• Winning Prize Comes from Losing Tickets: Improve Invariant Learning by Exploring Variant Parameters for Out-of-Distribution Generalization [76.27711056914168]
  Out-of-Distribution (OOD) 一般化は、分散固有の特徴に適合することなく、様々な環境によく適応する堅牢なモデルを学ぶことを目的としている。 LTH(Lottery Ticket hypothesis)に基づく最近の研究は、学習目標を最小化し、タスクに重要なパラメータのいくつかを見つけることでこの問題に対処している。 Invariant Learning (EVIL) における変数探索手法を提案する。
  論文  参考訳（メタデータ） (2023-10-25T06:10:57Z)
• Bayesian Non-linear Latent Variable Modeling via Random Fourier Features [7.856578780790166]
  一般化非線形潜在変数モデリングのためのマルコフ連鎖モンテカルロ推定法を提案する。 推論 forVM は、データ可能性がガウス的である場合にのみ、計算的に抽出可能である。 ポアソン, 負二項分布, 多項分布などの非ガウス観測にVMを一般化できることが示される。
  論文  参考訳（メタデータ） (2023-06-14T08:42:10Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Generalised Gaussian Process Latent Variable Models (GPLVM) with Stochastic Variational Inference [9.468270453795409]
  ミニバッチ学習が可能なBayesianVMモデルの2倍の定式化について検討する。 このフレームワークが、異なる潜在変数の定式化とどのように互換性を持つかを示し、モデルの組を比較する実験を行う。 我々は、膨大な量の欠落データの存在下でのトレーニングと、高忠実度再構築の実施を実証する。
  論文  参考訳（メタデータ） (2022-02-25T21:21:51Z)
• Learning Invariant Representations using Inverse Contrastive Loss [34.93395633215398]
  興味のある変数に不変な学習表現に対して,損失のクラスを導入する。 外部変数がバイナリである場合、iclの最適化は正規化mmd分岐の最適化と同値であることを示す。
  論文  参考訳（メタデータ） (2021-02-16T18:29:28Z)
• Generalized Matrix Factorization: efficient algorithms for fitting generalized linear latent variable models to large data arrays [62.997667081978825]
  一般化線形潜在変数モデル(GLLVM)は、そのような因子モデルを非ガウス応答に一般化する。 GLLVMのモデルパラメータを推定する現在のアルゴリズムは、集約的な計算を必要とし、大規模なデータセットにスケールしない。 本稿では,GLLVMを高次元データセットに適用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-06T04:28:19Z)
• Stochastic Normalizing Flows [52.92110730286403]
  微分方程式(SDE)を用いた最大推定と変分推論のための正規化フロー(VI)を導入する。 粗い経路の理論を用いて、基礎となるブラウン運動は潜在変数として扱われ、近似され、神経SDEの効率的な訓練を可能にする。 これらのSDEは、与えられたデータセットの基盤となる分布からサンプリングする効率的なチェーンを構築するために使用することができる。
  論文  参考訳（メタデータ） (2020-02-21T20:47:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。