論文の概要: Relaxed-Responsibility Hierarchical Discrete VAEs
- arxiv url: http://arxiv.org/abs/2007.07307v2
- Date: Thu, 4 Feb 2021 18:59:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 13:32:47.706733
- Title: Relaxed-Responsibility Hierarchical Discrete VAEs
- Title（参考訳）: Relaxed-Responsibility Hierarchical Discrete VAEs
- Authors: Matthew Willetts, Xenia Miscouridou, Stephen Roberts, Chris Holmes
- Abstract要約: textitRelaxed-Responsibility Vector-Quantisationを導入する。
我々は、様々な標準データセットに対して、最先端のビット/ディミット結果を得る。
- 参考スコア（独自算出の注目度）: 3.976291254896486
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Successfully training Variational Autoencoders (VAEs) with a hierarchy of
discrete latent variables remains an area of active research.
Vector-Quantised VAEs are a powerful approach to discrete VAEs, but naive
hierarchical extensions can be unstable when training. Leveraging insights from
classical methods of inference we introduce \textit{Relaxed-Responsibility
Vector-Quantisation}, a novel way to parameterise discrete latent variables, a
refinement of relaxed Vector-Quantisation that gives better performance and
more stable training. This enables a novel approach to hierarchical discrete
variational autoencoders with numerous layers of latent variables (here up to
32) that we train end-to-end. Within hierarchical probabilistic deep generative
models with discrete latent variables trained end-to-end, we achieve
state-of-the-art bits-per-dim results for various standard datasets. % Unlike
discrete VAEs with a single layer of latent variables, we can produce samples
by ancestral sampling: it is not essential to train a second autoregressive
generative model over the learnt latent representations to then sample from and
then decode. % Moreover, that latter approach in these deep hierarchical models
would require thousands of forward passes to generate a single sample. Further,
we observe different layers of our model become associated with different
aspects of the data.
- Abstract（参考訳）: 離散的潜在変数の階層を持つ変分オートエンコーダ(vaes)をうまく訓練することは、活発な研究の領域である。
ベクトル量子化VAEは離散的VAEに対する強力なアプローチであるが、素直な階層拡張は訓練時に不安定である。
従来の推論手法からの洞察を活用して、離散潜在変数をパラメータ化するための新しい方法である \textit{Relaxed-Responsibility Vector-Quantisation} を導入します。
これにより、エンドツーエンドのトレーニングを行う複数の潜伏変数(32まで)の層を持つ階層的な離散変分オートエンコーダに対する新しいアプローチが可能になる。
離散潜伏変数を訓練した階層的確率的深層生成モデルにおいて、様々な標準データセットに対して最先端のビット/ディミット結果が得られる。
% 潜伏変数の単一層を持つ個別のVAEとは異なり、祖先サンプリングによりサンプルを生成することが可能であり、学習した潜伏表現に対して2番目の自己回帰生成モデルを訓練し、それからサンプルを抽出し、復号する必要はない。
さらに、これらの深層階層モデルにおける後者のアプローチは、単一のサンプルを生成するために数千の前方通過を必要とします。
さらに、モデルの異なる層がデータの異なる側面に関連付けられるのを観察します。
関連論文リスト
- GFlowNet-EM for learning compositional latent variable models [115.96660869630227]
ラテントの後方のモデリングにおける重要なトレードオフは、表現性とトラクタブルな最適化の間にある。
非正規化密度からサンプリングするアルゴリズムであるGFlowNetsを提案する。
GFlowNetsをトレーニングして、後部から潜伏者へのサンプルをトレーニングすることにより、それらの強度をアモータライズされた変分アルゴリズムとして活用する。
論文 参考訳（メタデータ） (2023-02-13T18:24:21Z) - Dynamic Latent Separation for Deep Learning [67.62190501599176]
機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。
本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
論文 参考訳（メタデータ） (2022-10-07T17:56:53Z) - Entropy optimized semi-supervised decomposed vector-quantized
variational autoencoder model based on transfer learning for multiclass text
classification and generation [3.9318191265352196]
多クラステキスト分類とテキスト生成のための半教師付き離散潜在変数モデルを提案する。
提案モデルは,量子化変圧器モデルの学習に伝達学習の概念を用いる。
実験結果から,提案モデルが最先端モデルを大幅に上回ったことが示唆された。
論文 参考訳（メタデータ） (2021-11-10T07:07:54Z) - Regularizing Variational Autoencoder with Diversity and Uncertainty
Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。
よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文 参考訳（メタデータ） (2021-10-24T07:58:13Z) - Hierarchical Few-Shot Generative Models [18.216729811514718]
本稿では,ニューラルネットワークを階層的なアプローチに拡張する潜伏変数のアプローチについて検討する。
以上の結果から,階層的な定式化は,小データ構造における集合内の内在的変動をよりよく捉えることが示唆された。
論文 参考訳（メタデータ） (2021-10-23T19:19:39Z) - Diverse Semantic Image Synthesis via Probability Distribution Modeling [103.88931623488088]
新規な多様な意味的画像合成フレームワークを提案する。
本手法は最先端手法と比較して優れた多様性と同等の品質を実現することができる。
論文 参考訳（メタデータ） (2021-03-11T18:59:25Z) - Oops I Took A Gradient: Scalable Sampling for Discrete Distributions [53.3142984019796]
このアプローチは、多くの困難な設定において、ジェネリックサンプリングよりも優れていることを示す。
また,高次元離散データを用いた深部エネルギーモデルトレーニングのための改良型サンプリング器についても実演した。
論文 参考訳（メタデータ） (2021-02-08T20:08:50Z) - Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。
次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文 参考訳（メタデータ） (2020-10-25T18:51:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。