論文の概要: Unbiased Gradient Estimation for Variational Auto-Encoders using Coupled Markov Chains

• arxiv url: http://arxiv.org/abs/2010.01845v2
• Date: Wed, 2 Jun 2021 15:37:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 20:38:15.487972
• Title: Unbiased Gradient Estimation for Variational Auto-Encoders using Coupled Markov Chains
• Title（参考訳）: マルコフ連鎖を用いた変分オートエンコーダの偏差勾配推定
• Authors: Francisco J. R. Ruiz, Michalis K. Titsias, Taylan Cemgil, Arnaud Doucet
• Abstract要約: 変分オートエンコーダ(VAE)は、オートエンコーダのようなアーキテクチャで2つのニューラルネットワークを持つ、潜伏変数モデルである。 ログ型勾配の偏りのない推定器を導入することにより,VAEのトレーニング手法を開発する。 偏りのない推定器を装着したVAEは予測性能が向上することを示した。
• 参考スコア（独自算出の注目度）: 34.77971292478243
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The variational auto-encoder (VAE) is a deep latent variable model that has two neural networks in an autoencoder-like architecture; one of them parameterizes the model's likelihood. Fitting its parameters via maximum likelihood (ML) is challenging since the computation of the marginal likelihood involves an intractable integral over the latent space; thus the VAE is trained instead by maximizing a variational lower bound. Here, we develop a ML training scheme for VAEs by introducing unbiased estimators of the log-likelihood gradient. We obtain the estimators by augmenting the latent space with a set of importance samples, similarly to the importance weighted auto-encoder (IWAE), and then constructing a Markov chain Monte Carlo coupling procedure on this augmented space. We provide the conditions under which the estimators can be computed in finite time and with finite variance. We show experimentally that VAEs fitted with unbiased estimators exhibit better predictive performance.
• Abstract（参考訳）: 変分オートエンコーダ(varuational auto-encoder, vae)は、オートエンコーダのようなアーキテクチャで2つのニューラルネットワークを持つ、深い潜伏変数モデルである。 限界確率の計算には潜在空間上の難解な積分が伴うため、パラメータを最大可能性(ML)でフィッティングすることは困難であり、VAEは変分下界の最大化によって訓練される。 本稿では,対数様勾配の偏りのない推定器を導入することで,VAEのためのMLトレーニング手法を開発する。 重み付き自己エンコーダ(IWAE)と同様、重要サンプルの集合で潜在空間を拡大し、さらにこの拡張空間上でマルコフ連鎖モンテカルロカップリング手順を構築することにより、推定器を得る。 有限時間および有限分散で推定器を計算できる条件を提供する。 偏りのない推定器を装着したvaesは予測性能が向上することを示す。

関連論文リスト

• Differentiating Metropolis-Hastings to Optimize Intractable Densities [51.16801956665228]
  我々はメトロポリス・ハスティングス検層の自動識別アルゴリズムを開発した。 難解な対象密度に対する期待値として表現された目的に対して勾配に基づく最適化を適用する。
  論文  参考訳（メタデータ） (2023-06-13T17:56:02Z)
• Distributional Learning of Variational AutoEncoder: Application to Synthetic Data Generation [0.7614628596146602]
  本稿では,VAEフレームワークの計算上の利点を犠牲にすることなく,モデル容量を拡大する手法を提案する。 VAEモデルのデコーダは、非対称ラプラス分布の無限混合からなる。 提案したモデルを合成データ生成に適用し,特にデータプライバシの調整が容易であることを示す。
  論文  参考訳（メタデータ） (2023-02-22T11:26:50Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Langevin Autoencoders for Learning Deep Latent Variable Models [27.60436426879683]
  我々はLangevin autoencoder (LAE) という新しい潜伏変数モデルを提案する。 ALDに基づいて、Langevin autoencoder (LAE) という新しい深層潜伏変数モデルも提示する。
  論文  参考訳（メタデータ） (2022-09-15T04:26:22Z)
• Model Selection for Bayesian Autoencoders [25.619565817793422]
  本稿では,オートエンコーダの出力と経験的データ分布との分散スライス-ワッサーシュタイン距離を最適化することを提案する。 我々のBAEは、フレキシブルなディリクレ混合モデルを潜在空間に適合させることにより、生成モデルに変換する。 我々は,教師なしの学習課題に対する膨大な実験的キャンペーンを質的かつ定量的に評価し,先行研究が重要となる小規模データ体制において,我々のアプローチが最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-06-11T08:55:00Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models [80.22609163316459]
  無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。 推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
  論文  参考訳（メタデータ） (2020-04-01T11:49:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。