論文の概要: Cauchy-Schwarz Regularized Autoencoder
- arxiv url: http://arxiv.org/abs/2101.02149v2
- Date: Fri, 12 Feb 2021 18:47:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-11 00:13:28.379043
- Title: Cauchy-Schwarz Regularized Autoencoder
- Title(参考訳): Cauchy-Schwarz正規化オートエンコーダ
- Authors: Linh Tran, Maja Pantic, Marc Peter Deisenroth
- Abstract要約: 変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。
GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。
本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
- 参考スコア(独自算出の注目度): 68.80569889599434
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent work in unsupervised learning has focused on efficient inference and
learning in latent variables models. Training these models by maximizing the
evidence (marginal likelihood) is typically intractable. Thus, a common
approximation is to maximize the Evidence Lower BOund (ELBO) instead.
Variational autoencoders (VAE) are a powerful and widely-used class of
generative models that optimize the ELBO efficiently for large datasets.
However, the VAE's default Gaussian choice for the prior imposes a strong
constraint on its ability to represent the true posterior, thereby degrading
overall performance. A Gaussian mixture model (GMM) would be a richer prior,
but cannot be handled efficiently within the VAE framework because of the
intractability of the Kullback-Leibler divergence for GMMs. We deviate from the
common VAE framework in favor of one with an analytical solution for Gaussian
mixture prior. To perform efficient inference for GMM priors, we introduce a
new constrained objective based on the Cauchy-Schwarz divergence, which can be
computed analytically for GMMs. This new objective allows us to incorporate
richer, multi-modal priors into the autoencoding framework. We provide
empirical studies on a range of datasets and show that our objective improves
upon variational auto-encoding models in density estimation, unsupervised
clustering, semi-supervised learning, and face analysis.
- Abstract(参考訳): 教師なし学習における最近の研究は、潜在変数モデルの効率的な推論と学習に焦点を当てている。
証拠を最大化することでこれらのモデルを訓練することは、通常難解である。
したがって、共通の近似はエビデンスの下限(elbo)を最大化することである。
変分オートエンコーダ(VAE)は、大規模なデータセットに対してELBOを効率的に最適化する、強力で広く使われている生成モデルのクラスである。
しかしながら、VAEのデフォルトのガウス選択は、真の後部を表す能力に強い制約を課し、結果として全体的な性能が低下する。
ガウス混合モデル(GMM)はよりリッチなものとなるが、Kulback-LeiblerのGMMへの分散性のため、VAEフレームワーク内で効率的に扱うことはできない。
我々は,gaussian mixed に対する解析的解法を優先して,共通 vae フレームワークから逸脱した。
GMMの事前推定を効率的に行うために、GMMに対して解析的に計算できるコーシーシュワルツの発散に基づく新しい制約付き目的を導入する。
この新しい目的により、よりリッチでマルチモーダルなプリエントを自動エンコーディングフレームワークに組み込むことができます。
我々は,様々なデータセットに関する実証研究を行い,その目的は,密度推定,教師なしクラスタリング,半教師付き学習,顔分析における変分自動エンコーディングモデルにより改善することを示す。
関連論文リスト
- ClusterDDPM: An EM clustering framework with Denoising Diffusion
Probabilistic Models [9.91610928326645]
拡散確率モデル(DDPM)は、新しい、そして有望な生成モデルのクラスを表す。
本研究では,DDPMを用いたクラスタリングのための革新的予測最大化(EM)フレームワークを提案する。
Mステップでは、条件付きDDPMを用いてクラスタリングに親しみやすい潜在表現を学習し、潜在表現の分布をガウスの先行表現の混合と整合させることに重点を置いている。
論文 参考訳(メタデータ) (2023-12-13T10:04:06Z) - An Efficient 1 Iteration Learning Algorithm for Gaussian Mixture Model
And Gaussian Mixture Embedding For Neural Network [2.261786383673667]
新しいアルゴリズムは、古典的な期待最大化(EM)アルゴリズムよりも頑丈さと単純さをもたらす。
また、精度も向上し、学習に1回しかかからない。
論文 参考訳(メタデータ) (2023-08-18T10:17:59Z) - One-Line-of-Code Data Mollification Improves Optimization of
Likelihood-based Generative Models [17.47235124122244]
LikelihoodベースのGMは、単一のモデル評価によって新しいデータを生成する可能性があるため、魅力的である。
彼らは通常、最先端のスコアベース拡散モデル(DM)と比較して低いサンプル品質を達成する。
論文 参考訳(メタデータ) (2023-05-30T09:58:47Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳(メタデータ) (2023-05-01T20:04:46Z) - On the failure of variational score matching for VAE models [3.8073142980733]
本稿では,多様なデータセットやネットワークアーキテクチャ上での破滅的な障害を示す,既存の変分SM目標に対する批判的研究について述べる。
可変オートエンコーダ (VAE) モデルを最適化する際に, 等価な自動エンコード損失から目的に関する理論的知見が直接現れる。
論文 参考訳(メタデータ) (2022-10-24T16:43:04Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳(メタデータ) (2022-06-15T19:10:35Z) - Continual Learning with Fully Probabilistic Models [70.3497683558609]
機械学習の完全確率的(または生成的)モデルに基づく継続的学習のアプローチを提案する。
生成器と分類器の両方に対してガウス混合モデル(GMM)インスタンスを用いた擬似リハーサル手法を提案する。
我々は,GMRが,クラス増分学習問題に対して,非常に競合的な時間とメモリの複雑さで,最先端のパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2021-04-19T12:26:26Z) - Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。
ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。
ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
論文 参考訳(メタデータ) (2021-04-12T16:23:37Z) - Generalized Matrix Factorization: efficient algorithms for fitting
generalized linear latent variable models to large data arrays [62.997667081978825]
一般化線形潜在変数モデル(GLLVM)は、そのような因子モデルを非ガウス応答に一般化する。
GLLVMのモデルパラメータを推定する現在のアルゴリズムは、集約的な計算を必要とし、大規模なデータセットにスケールしない。
本稿では,GLLVMを高次元データセットに適用するための新しい手法を提案する。
論文 参考訳(メタデータ) (2020-10-06T04:28:19Z) - Generalizing Variational Autoencoders with Hierarchical Empirical Bayes [6.273154057349038]
確率的生成モデルのための計算的に安定なフレームワークである階層的経験的ベイズオートエンコーダ(HEBAE)を提案する。
鍵となる貢献は2つであり、まず、符号化分布を階層的に優先することで、再構成損失関数の最小化と過正規化の回避とのトレードオフを適応的にバランスさせることで、利益を得る。
論文 参考訳(メタデータ) (2020-07-20T18:18:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。