論文の概要: Training Latent Variable Models with Auto-encoding Variational Bayes: A Tutorial

• arxiv url: http://arxiv.org/abs/2208.07818v1
• Date: Tue, 16 Aug 2022 16:07:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-17 12:01:53.368370
• Title: Training Latent Variable Models with Auto-encoding Variational Bayes: A Tutorial
• Title（参考訳）: 自動エンコーディング変分ベイズを用いた潜在変数モデルのトレーニング:チュートリアル
• Authors: Yang Zhi-Han
• Abstract要約: AEVB (Auto-Encoding Variational Bayes) は、潜在変数モデルに適合する強力なアルゴリズムである。 本稿では,従来の期待最大化(EM)アルゴリズムによるAEVBのモチベーションに着目した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Auto-encoding Variational Bayes (AEVB) is a powerful and general algorithm for fitting latent variable models (a promising direction for unsupervised learning), and is well-known for training the Variational Auto-Encoder (VAE). In this tutorial, we focus on motivating AEVB from the classic Expectation Maximization (EM) algorithm, as opposed to from deterministic auto-encoders. Though natural and somewhat self-evident, the connection between EM and AEVB is not emphasized in the recent deep learning literature, and we believe that emphasizing this connection can improve the community's understanding of AEVB. In particular, we find it especially helpful to view (1) optimizing the evidence lower bound (ELBO) with respect to inference parameters as approximate E-step and (2) optimizing ELBO with respect to generative parameters as approximate M-step; doing both simultaneously as in AEVB is then simply tightening and pushing up ELBO at the same time. We discuss how approximate E-step can be interpreted as performing variational inference. Important concepts such as amortization and the reparametrization trick are discussed in great detail. Finally, we derive from scratch the AEVB training procedures of a non-deep and several deep latent variable models, including VAE, Conditional VAE, Gaussian Mixture VAE and Variational RNN. It is our hope that readers would recognize AEVB as a general algorithm that can be used to fit a wide range of latent variable models (not just VAE), and apply AEVB to such models that arise in their own fields of research. PyTorch code for all included models are publicly available.
• Abstract（参考訳）: 自動符号化変分ベイズ (AEVB) は、潜在変数モデル(教師なし学習の有望な方向)を適合させる強力な汎用アルゴリズムであり、変分自動エンコーダ (VAE) の訓練でよく知られている。 本チュートリアルでは、決定論的オートエンコーダとは対照的に、古典的な期待最大化(EM)アルゴリズムからのAEVBのモチベーションに焦点を当てる。 近年の深層学習文献では,EMとAEVBの結びつきが強調されておらず,この結びつきを強調することで,AEVBに対するコミュニティの理解が向上すると考えられる。 特に,(1)推定パラメータを近似Eステップとして,(2)生成パラメータを近似Mステップとして,(2)ELBOを最適化することが特に有用である。 本稿では,Eステップの近似を変分推論として解釈する方法について論じる。 償却や再パラメータ化のトリックといった重要な概念を詳細に論じる。 最後に, VAE, Conditional VAE, Gaussian Mixture VAE, Variational RNNなど,非深度および深度潜伏変数モデルのAEVBトレーニング手順をスクラッチから抽出した。 読者がAEVBを、(VAEだけでなく)幅広い潜在変数モデルに適合する一般的なアルゴリズムとして認識し、独自の研究分野に現れるモデルにAEVBを適用することを願っている。 含まれるすべてのモデルのPyTorchコードが公開されている。

関連論文リスト

• LAMBO: Large AI Model Empowered Edge Intelligence [71.56135386994119]
  次世代エッジインテリジェンスは、オフロード技術を通じて様々なアプリケーションに恩恵をもたらすことが期待されている。 従来のオフロードアーキテクチャは、不均一な制約、部分的な認識、不確実な一般化、トラクタビリティの欠如など、いくつかの問題に直面している。 我々は、これらの問題を解決するための10億以上のパラメータを持つLarge AI Model-Based Offloading (LAMBO)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-29T07:25:42Z)
• Revisiting Structured Variational Autoencoders [11.998116457994994]
  構造化変動オートエンコーダ(SVAE)は、潜伏変数の確率的グラフィカルモデル、観測データに潜伏変数をリンクするディープニューラルネットワーク、近似後部推論のための構造探索アルゴリズムを組み合わせる。 その概念的優雅さにもかかわらず、SVAEは実装が困難であることが証明され、より一般的なアプローチが実際に好まれている。 ここでは、現代の機械学習ツールを使用してSVAEを再検討し、精度と効率の両面で、より一般的な選択肢よりも優位性を示す。
  論文  参考訳（メタデータ） (2023-05-25T23:51:18Z)
• AAVAE: Augmentation-Augmented Variational Autoencoders [43.73699420145321]
  本稿では,自動符号化に基づく自己教師型学習における第3のアプローチであるAugmentation-augmented variational autoencoders (AAVAE)を紹介する。 画像分類において提案したAAVAEを,最近のコントラスト学習アルゴリズムや非コントラスト学習アルゴリズムと同様に実証的に評価した。
  論文  参考訳（メタデータ） (2021-07-26T17:04:30Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• Unbiased Gradient Estimation for Variational Auto-Encoders using Coupled Markov Chains [34.77971292478243]
  変分オートエンコーダ(VAE)は、オートエンコーダのようなアーキテクチャで2つのニューラルネットワークを持つ、潜伏変数モデルである。 ログ型勾配の偏りのない推定器を導入することにより,VAEのトレーニング手法を開発する。 偏りのない推定器を装着したVAEは予測性能が向上することを示した。
  論文  参考訳（メタデータ） (2020-10-05T08:11:55Z)
• NVAE: A Deep Hierarchical Variational Autoencoder [102.29977384039805]
  本稿では,深度ワイド分離可能な畳み込みとバッチ正規化を用いた画像生成のための階層型VAEを提案する。 NVAEは非自己回帰的確率ベースモデルにおいて最先端の結果が得られることを示す。 我々の知る限りでは、NVAEは256$times $256ピクセルの自然画像に適用された最初のVAEである。
  論文  参考訳（メタデータ） (2020-07-08T04:56:56Z)
• Simple and Effective VAE Training with Calibrated Decoders [123.08908889310258]
  変分オートエンコーダ(VAE)は、複雑な分布をモデル化するための効果的で簡単な方法である。 復号分布の不確かさを学習する校正復号器の影響について検討する。 本稿では,一般的なガウス復号器の簡易かつ斬新な修正を提案し,その予測分散を解析的に計算する。
  論文  参考訳（メタデータ） (2020-06-23T17:57:47Z)
• A Convolutional Deep Markov Model for Unsupervised Speech Representation Learning [32.59760685342343]
  確率的潜在変数モデルは、音声からの言語表現学習のための自己教師付き学習アプローチの代替を提供する。 本研究では,深いニューラルネットワークによってモデル化された非線形放出と遷移関数を持つガウス状態空間モデルであるConvDMMを提案する。 大規模音声データセット(LibriSpeech)で訓練すると、ConvDMMは複数の自己教師付き特徴抽出法よりもはるかに優れた特徴を生成する。
  論文  参考訳（メタデータ） (2020-06-03T21:50:20Z)
• On the Encoder-Decoder Incompatibility in Variational Text Modeling and Beyond [82.18770740564642]
  変分オートエンコーダ(VAE)は、潜時変数と償却変分推論を結合する。 我々は,データ多様体のパラメータ化が不十分なエンコーダ・デコーダの不整合性を観察する。 同一構造を持つ決定論的オートエンコーダとVAEモデルを結合した結合型VAEを提案する。
  論文  参考訳（メタデータ） (2020-04-20T10:34:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。