論文の概要: LaDDer: Latent Data Distribution Modelling with a Generative Prior
- arxiv url: http://arxiv.org/abs/2009.00088v1
- Date: Mon, 31 Aug 2020 20:10:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-23 07:18:54.237154
- Title: LaDDer: Latent Data Distribution Modelling with a Generative Prior
- Title(参考訳): ladder: 生成前処理による潜在データ分散モデリング
- Authors: Shuyu Lin and Ronald Clark
- Abstract要約: 変分オートエンコーダフレームワークにおける遅延データ分布の正確なモデリングを実現するため,LaDDerを提案する。
LaDDerはメタ埋め込みの概念で、複数のVAEモデルを使用して埋め込みの埋め込みを学ぶ。
本稿では,LaDDerモデルを用いて複雑な潜伏分布を正確に推定し,表現品質の向上を図っている。
- 参考スコア(独自算出の注目度): 21.27563489899532
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we show that the performance of a learnt generative model is
closely related to the model's ability to accurately represent the inferred
\textbf{latent data distribution}, i.e. its topology and structural properties.
We propose LaDDer to achieve accurate modelling of the latent data distribution
in a variational autoencoder framework and to facilitate better representation
learning. The central idea of LaDDer is a meta-embedding concept, which uses
multiple VAE models to learn an embedding of the embeddings, forming a ladder
of encodings. We use a non-parametric mixture as the hyper prior for the
innermost VAE and learn all the parameters in a unified variational framework.
From extensive experiments, we show that our LaDDer model is able to accurately
estimate complex latent distribution and results in improvement in the
representation quality. We also propose a novel latent space interpolation
method that utilises the derived data distribution.
- Abstract(参考訳): 本稿では,学習生成モデルの性能が,推定された \textbf{latent data distribution} ,すなわちそのトポロジーと構造特性を正確に表現するモデルの能力と密接に関連していることを示す。
変分オートエンコーダフレームワークにおける遅延データ分布の正確なモデリングと表現学習を容易にするため,LaDDerを提案する。
LaDDerの中心的な考え方はメタ埋め込みの概念であり、複数のVAEモデルを使用して埋め込みの埋め込みを学び、エンコーディングのはしごを形成する。
非パラメトリック混合を最内側のvaeのハイパープリミティブとして使用し、すべてのパラメータを統一変分フレームワークで学習する。
実験の結果,LaDDerモデルでは複雑な潜伏分布を正確に推定でき,表現品質の向上が期待できることがわかった。
また、導出データ分布を利用した新しい潜時空間補間法を提案する。
関連論文リスト
- Improving Out-of-Distribution Robustness of Classifiers via Generative
Interpolation [56.620403243640396]
ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。
しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。
多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
論文 参考訳(メタデータ) (2023-07-23T03:53:53Z) - Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。
本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
論文 参考訳(メタデータ) (2023-07-17T07:12:29Z) - Diff-Instruct: A Universal Approach for Transferring Knowledge From
Pre-trained Diffusion Models [77.83923746319498]
本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。
Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。
GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
論文 参考訳(メタデータ) (2023-05-29T04:22:57Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳(メタデータ) (2023-05-28T06:30:29Z) - VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。
ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。
本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2023-04-03T13:13:19Z) - Flag Aggregator: Scalable Distributed Training under Failures and
Augmented Losses using Convex Optimization [14.732408788010313]
MLアプリケーションはますます、複雑なディープラーニングモデルと大規模なデータセットに依存している。
計算とデータをスケールするために、これらのモデルはノードのクラスタ内で分散的にトレーニングされ、それらの更新はモデルに適用される前に集約される。
これらの設定にデータ拡張を加えることで、堅牢で効率的なアグリゲーションシステムが必要である。
この手法は,最先端のビザンツ系レジリエントアグリゲータのロバスト性を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2023-02-12T06:38:30Z) - Hierarchical Latent Structure for Multi-Modal Vehicle Trajectory
Forecasting [0.0]
VAEに基づく軌道予測モデルに階層的潜在構造を導入する。
本モデルでは,複数モーダルな軌道分布を明瞭に生成し,予測精度で最先端(SOTA)モデルより優れる。
論文 参考訳(メタデータ) (2022-07-11T04:52:28Z) - Generative Model without Prior Distribution Matching [26.91643368299913]
変分オートエンコーダ(VAE)とその変分は、いくつかの先行分布を満たすために低次元の潜在表現を学習することによって古典的な生成モデルである。
我々は、先行変数に適合させるのではなく、先行変数が埋め込み分布と一致するように提案する。
論文 参考訳(メタデータ) (2020-09-23T09:33:24Z) - Variational Hyper-Encoding Networks [62.74164588885455]
ニューラルネットワークパラメータの分布を符号化するHyperVAEというフレームワークを提案する。
遅延符号の後部分布を予測し,行列ネットワークデコーダを用いて後部分布q(theta)を生成する。
論文 参考訳(メタデータ) (2020-05-18T06:46:09Z) - Characterizing and Avoiding Problematic Global Optima of Variational
Autoencoders [28.36260646471421]
変分自動エンコーダ(VAEs)は、深部生成潜在変数モデルである。
最近の研究は、伝統的な訓練手法がデシダラタに反する解決策をもたらす傾向があることを示している。
どちらの問題も、VAEトレーニング目標のグローバルな最適度が望ましくない解決策とよく一致するという事実に起因していることを示す。
論文 参考訳(メタデータ) (2020-03-17T15:14:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。