論文の概要: Cauchy-Schwarz Regularized Autoencoder

• arxiv url: http://arxiv.org/abs/2101.02149v2
• Date: Fri, 12 Feb 2021 18:47:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-11 00:13:28.379043
• Title: Cauchy-Schwarz Regularized Autoencoder
• Title（参考訳）: Cauchy-Schwarz正規化オートエンコーダ
• Authors: Linh Tran, Maja Pantic, Marc Peter Deisenroth
• Abstract要約: 変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
• 参考スコア（独自算出の注目度）: 68.80569889599434
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent work in unsupervised learning has focused on efficient inference and learning in latent variables models. Training these models by maximizing the evidence (marginal likelihood) is typically intractable. Thus, a common approximation is to maximize the Evidence Lower BOund (ELBO) instead. Variational autoencoders (VAE) are a powerful and widely-used class of generative models that optimize the ELBO efficiently for large datasets. However, the VAE's default Gaussian choice for the prior imposes a strong constraint on its ability to represent the true posterior, thereby degrading overall performance. A Gaussian mixture model (GMM) would be a richer prior, but cannot be handled efficiently within the VAE framework because of the intractability of the Kullback-Leibler divergence for GMMs. We deviate from the common VAE framework in favor of one with an analytical solution for Gaussian mixture prior. To perform efficient inference for GMM priors, we introduce a new constrained objective based on the Cauchy-Schwarz divergence, which can be computed analytically for GMMs. This new objective allows us to incorporate richer, multi-modal priors into the autoencoding framework. We provide empirical studies on a range of datasets and show that our objective improves upon variational auto-encoding models in density estimation, unsupervised clustering, semi-supervised learning, and face analysis.
• Abstract（参考訳）: 教師なし学習における最近の研究は、潜在変数モデルの効率的な推論と学習に焦点を当てている。 証拠を最大化することでこれらのモデルを訓練することは、通常難解である。 したがって、共通の近似はエビデンスの下限(elbo)を最大化することである。 変分オートエンコーダ(VAE)は、大規模なデータセットに対してELBOを効率的に最適化する、強力で広く使われている生成モデルのクラスである。 しかしながら、VAEのデフォルトのガウス選択は、真の後部を表す能力に強い制約を課し、結果として全体的な性能が低下する。 ガウス混合モデル(GMM)はよりリッチなものとなるが、Kulback-LeiblerのGMMへの分散性のため、VAEフレームワーク内で効率的に扱うことはできない。 我々は,gaussian mixed に対する解析的解法を優先して,共通 vae フレームワークから逸脱した。 GMMの事前推定を効率的に行うために、GMMに対して解析的に計算できるコーシーシュワルツの発散に基づく新しい制約付き目的を導入する。 この新しい目的により、よりリッチでマルチモーダルなプリエントを自動エンコーディングフレームワークに組み込むことができます。 我々は,様々なデータセットに関する実証研究を行い,その目的は,密度推定,教師なしクラスタリング,半教師付き学習,顔分析における変分自動エンコーディングモデルにより改善することを示す。

関連論文リスト

• Optimizing Attention with Mirror Descent: Generalized Max-Margin Token Selection [6.759148939470332]
  アルゴリズムは、$ell_p$-normの目的を持つハードマージンSVMに収束することを示す。 具体的には、これらのアルゴリズムは、$ell_p$-normの目的を持つ一般化されたハードマージンSVMに収束することを示す。
  論文  参考訳（メタデータ） (2024-10-18T16:32:06Z)
• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• ClusterDDPM: An EM clustering framework with Denoising Diffusion Probabilistic Models [9.91610928326645]
  拡散確率モデル(DDPM)は、新しい、そして有望な生成モデルのクラスを表す。 本研究では,DDPMを用いたクラスタリングのための革新的予測最大化(EM)フレームワークを提案する。 Mステップでは、条件付きDDPMを用いてクラスタリングに親しみやすい潜在表現を学習し、潜在表現の分布をガウスの先行表現の混合と整合させることに重点を置いている。
  論文  参考訳（メタデータ） (2023-12-13T10:04:06Z)
• An Efficient 1 Iteration Learning Algorithm for Gaussian Mixture Model And Gaussian Mixture Embedding For Neural Network [2.261786383673667]
  新しいアルゴリズムは、古典的な期待最大化(EM)アルゴリズムよりも頑丈さと単純さをもたらす。 また、精度も向上し、学習に1回しかかからない。
  論文  参考訳（メタデータ） (2023-08-18T10:17:59Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• A distribution-free mixed-integer optimization approach to hierarchical modelling of clustered and longitudinal data [0.0]
  我々は,新しいデータポイントに対するクラスタ効果を評価する革新的なアルゴリズムを導入し,このモデルのロバスト性や精度を高める。 このアプローチの推論的および予測的効果は、学生のスコアリングとタンパク質発現に適用することでさらに説明される。
  論文  参考訳（メタデータ） (2023-02-06T23:34:51Z)
• On the failure of variational score matching for VAE models [3.8073142980733]
  本稿では,多様なデータセットやネットワークアーキテクチャ上での破滅的な障害を示す,既存の変分SM目標に対する批判的研究について述べる。 可変オートエンコーダ (VAE) モデルを最適化する際に, 等価な自動エンコード損失から目的に関する理論的知見が直接現れる。
  論文  参考訳（メタデータ） (2022-10-24T16:43:04Z)
• Continual Learning with Fully Probabilistic Models [70.3497683558609]
  機械学習の完全確率的(または生成的)モデルに基づく継続的学習のアプローチを提案する。 生成器と分類器の両方に対してガウス混合モデル(GMM)インスタンスを用いた擬似リハーサル手法を提案する。 我々は,GMRが,クラス増分学習問題に対して,非常に競合的な時間とメモリの複雑さで,最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2021-04-19T12:26:26Z)
• Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
  generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。 ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。 ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
  論文  参考訳（メタデータ） (2021-04-12T16:23:37Z)
• Generalized Matrix Factorization: efficient algorithms for fitting generalized linear latent variable models to large data arrays [62.997667081978825]
  一般化線形潜在変数モデル(GLLVM)は、そのような因子モデルを非ガウス応答に一般化する。 GLLVMのモデルパラメータを推定する現在のアルゴリズムは、集約的な計算を必要とし、大規模なデータセットにスケールしない。 本稿では,GLLVMを高次元データセットに適用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-06T04:28:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。