論文の概要: Monte Carlo Variational Auto-Encoders

• arxiv url: http://arxiv.org/abs/2106.15921v1
• Date: Wed, 30 Jun 2021 09:21:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-01 22:17:37.062121
• Title: Monte Carlo Variational Auto-Encoders
• Title（参考訳）: モンテカルロ変分オートエンコーダ
• Authors: Achille Thin, Nikita Kotelevskii, Arnaud Doucet, Alain Durmus, Eric Moulines, Maxim Panov
• Abstract要約: 変分自動エンコーダ(VAE)は、エビデンス下界(ELBO)の最大化によって訓練された、一般的な深部潜伏変数モデルである。 本稿では,両問題に対処し,様々なアプリケーションにおけるモンテカルロVAEの性能を実証する。
• 参考スコア（独自算出の注目度）: 29.791384571665475
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Variational auto-encoders (VAE) are popular deep latent variable models which are trained by maximizing an Evidence Lower Bound (ELBO). To obtain tighter ELBO and hence better variational approximations, it has been proposed to use importance sampling to get a lower variance estimate of the evidence. However, importance sampling is known to perform poorly in high dimensions. While it has been suggested many times in the literature to use more sophisticated algorithms such as Annealed Importance Sampling (AIS) and its Sequential Importance Sampling (SIS) extensions, the potential benefits brought by these advanced techniques have never been realized for VAE: the AIS estimate cannot be easily differentiated, while SIS requires the specification of carefully chosen backward Markov kernels. In this paper, we address both issues and demonstrate the performance of the resulting Monte Carlo VAEs on a variety of applications.
• Abstract（参考訳）: 変分オートエンコーダ(VAE)は、エビデンス・ロウアー・バウンド(ELBO)の最大化によって訓練された、一般的な潜伏変数モデルである。 より厳密なELBOとより優れた変動近似を得るために, 重要サンプリングを用いて証拠の分散度を低くする手法が提案されている。 しかしながら、重要サンプリングは高次元では性能が悪いことが知られている。 文学において、Annealed Importance Smpling (AIS) やSequential Importance Smpling (SIS) 拡張のようなより洗練されたアルゴリズムを使用するように何度も提案されてきたが、これらの高度な技術によってもたらされる潜在的な利点はVAEには実現されていない:AIS推定は容易に区別できないが、SISは慎重に選択された後方マルコフカーネルの仕様を必要とする。 本稿では,様々なアプリケーションにおけるモンテカルロvaesの性能について述べるとともに,その性能について述べる。

関連論文リスト

• Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
  本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。 シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。 実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-13T08:09:05Z)
• REAL Sampling: Boosting Factuality and Diversity of Open-Ended Generation via Asymptotic Entropy [93.8400683020273]
  大規模言語モデル(LLM)の復号法は通常、事実性の確保と多様性の維持のトレードオフに苦慮する。 核サンプリングにおける事実性および多様性を向上させる復号法であるREALサンプリングを提案する。
  論文  参考訳（メタデータ） (2024-06-11T21:44:49Z)
• DASA: Difficulty-Aware Semantic Augmentation for Speaker Verification [55.306583814017046]
  本稿では,話者認証のための難易度認識型セマンティック拡張(DASA)手法を提案する。 DASAは、話者埋め込み空間における多様なトレーニングサンプルを、無視できる余分な計算コストで生成する。 最も良い結果は、CN-Celeb評価セット上でのEER測定値の14.6%の相対的な減少を達成する。
  論文  参考訳（メタデータ） (2023-10-18T17:07:05Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Training Discrete Deep Generative Models via Gapped Straight-Through Estimator [72.71398034617607]
  再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。 この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。 実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
  論文  参考訳（メタデータ） (2022-06-15T01:46:05Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Nested Variational Inference [8.610608901689577]
  我々は,KLの発散を最小限に抑えることにより,営巣重要サンプルの提案を学習する手法のファミリーを開発する。 ネスト目標の最適化により,ログ平均重量と有効試料サイズの観点から,試料品質が向上することが観察された。
  論文  参考訳（メタデータ） (2021-06-21T17:56:59Z)
• Model Selection for Bayesian Autoencoders [25.619565817793422]
  本稿では,オートエンコーダの出力と経験的データ分布との分散スライス-ワッサーシュタイン距離を最適化することを提案する。 我々のBAEは、フレキシブルなディリクレ混合モデルを潜在空間に適合させることにより、生成モデルに変換する。 我々は,教師なしの学習課題に対する膨大な実験的キャンペーンを質的かつ定量的に評価し,先行研究が重要となる小規模データ体制において,我々のアプローチが最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-06-11T08:55:00Z)
• Adversarial and Contrastive Variational Autoencoder for Sequential Recommendation [25.37244686572865]
  本稿では、逐次レコメンデーションのためのAdversarial and Contrastive Variational Autoencoder (ACVAE) と呼ばれる新しい手法を提案する。 まず,本モデルが高品質な潜在変数を生成することを可能にするadversarial variational bayesフレームワークの下で,シーケンス生成のためのadversarial trainingを導入する。 さらに、シーケンスをエンコードする場合、シーケンス内のグローバルおよびローカルの関係をキャプチャするために、繰り返しおよび畳み込み構造を適用します。
  論文  参考訳（メタデータ） (2021-03-19T09:01:14Z)
• Multi-Scale Positive Sample Refinement for Few-Shot Object Detection [61.60255654558682]
  Few-shot Object Detection (FSOD) は、ディテクターがトレーニングインスタンスをほとんど持たない未確認のクラスに適応するのに役立つ。 FSODにおけるオブジェクトスケールを拡張化するためのMPSR(Multi-scale Positive Sample Refinement)アプローチを提案する。 MPSRは、オブジェクトピラミッドとして多スケールの正のサンプルを生成し、様々なスケールで予測を洗練させる。
  論文  参考訳（メタデータ） (2020-07-18T09:48:29Z)
• Automatic Differentiation Variational Inference with Mixtures [4.995383193706478]
  本研究では, 混合分布を近似後部として利用するために, 層状サンプリングを用いる方法を示す。 我々は、重要重み付きオートエンコーダ(IWAE)に類似したエビデンスに基づく新しい下界を導出する。
  論文  参考訳（メタデータ） (2020-03-03T18:12:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。