論文の概要: The deep generative decoder: Using MAP estimates of representations
- arxiv url: http://arxiv.org/abs/2110.06672v1
- Date: Wed, 13 Oct 2021 12:17:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-14 20:32:58.196382
- Title: The deep generative decoder: Using MAP estimates of representations
- Title（参考訳）: 深部生成デコーダ:MAPによる表現の推定
- Authors: Viktoria Schuster and Anders Krogh
- Abstract要約: 深層生成モデルは、表現空間とその分布と、その表現を特徴空間内のベクトル上の分布にマッピングするニューラルネットワークによって特徴づけられる。
変分オートエンコーダ(VAE)のような一般的な手法は、ニューラルネットワークのトレーニングに変分推論を適用するが、これらのモデルを最適化することは、しばしば簡単ではない。
バックプロパゲーションによりモデル確率を最大化することにより、表現とその分布を求めるより単純な近似について検討する。
CIFAR10データセットを用いて、DGDはVAEよりも簡単かつ高速に最適化でき、テストデータのより一貫した低再構成誤差を達成できることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A deep generative model is characterized by a representation space, its
distribution, and a neural network mapping the representation to a distribution
over vectors in feature space. Common methods such as variational autoencoders
(VAEs) apply variational inference for training the neural network, but
optimizing these models is often non-trivial. The encoder adds to the
complexity of the model and introduces an amortization gap and the quality of
the variational approximation is usually unknown. Additionally, the balance of
the loss terms of the objective function heavily influences performance.
Therefore, we argue that it is worthwhile to investigate a much simpler
approximation which finds representations and their distribution by maximizing
the model likelihood via back-propagation. In this approach, there is no
encoder, and we therefore call it a Deep Generative Decoder (DGD). Using the
CIFAR10 data set, we show that the DGD is easier and faster to optimize than
the VAE, achieves more consistent low reconstruction errors of test data, and
alleviates the problem of balancing the reconstruction and distribution loss
terms. Although the model in its simple form cannot compete with
state-of-the-art image generation approaches, it obtains better image
generation scores than the variational approach on the CIFAR10 data. We
demonstrate on MNIST data how the use of a Gaussian mixture with priors can
lead to a clear separation of classes in a 2D representation space, and how the
DGD can be used with labels to obtain a supervised representation.
- Abstract（参考訳）: 深層生成モデルは、表現空間とその分布と、その表現を特徴空間内のベクトル上の分布にマッピングするニューラルネットワークによって特徴づけられる。
変分オートエンコーダ(vaes)のような一般的な方法は、ニューラルネットワークのトレーニングに変分推論を適用するが、これらのモデルの最適化は、しばしば非自明である。
エンコーダはモデルの複雑さを増すとともに、償却ギャップを導入し、変分近似の品質は通常不明である。
さらに、目的関数の損失項のバランスは、性能に大きな影響を及ぼす。
したがって,バックプロパゲーションによるモデル可能性の最大化により表現とその分布を求める,より単純な近似を検討すべきである。
このアプローチでは、エンコーダがないため、これをDeep Generative Decoder (DGD)と呼ぶ。
CIFAR10データセットを用いて、DGDはVAEよりも簡単かつ高速に最適化でき、テストデータのより一貫性の低い再構成誤差を達成でき、再構成と分散損失項のバランスをとる問題を軽減する。
簡素な形状のモデルは最先端画像生成手法と競合できないが、cifar10データにおける変分法よりも優れた画像生成スコアが得られる。
mnistデータでは,ガウス混合とプリエントを併用することで2次元表現空間におけるクラスを明確に分離できることを示すとともに,dgdをラベルと併用して教師付き表現を得る方法を示す。
関連論文リスト
- Scalable Amortized GPLVMs for Single Cell Transcriptomics Data [9.010523724015398]
大規模単細胞RNA-seqデータの解析には次元化が不可欠である。
改良されたモデル、償却変分モデル(BGPLVM)を導入する。
BGPLVMは、特殊なエンコーダ、カーネル、そして可能性設計を備えたシングルセルRNA-seq向けに調整されている。
論文 参考訳（メタデータ） (2024-05-06T21:54:38Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳（メタデータ） (2023-05-28T06:30:29Z) - VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。
ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。
本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2023-04-03T13:13:19Z) - RENs: Relevance Encoding Networks [0.0]
本稿では,遅延空間に先行する自動相対性決定(ARD)を用いて,データ固有のボトルネック次元を学習する新しい確率的VOEベースのフレームワークであるrelevance encoding network (RENs)を提案する。
提案モデルは,サンプルの表現や生成品質を損なうことなく,関連性のあるボトルネック次元を学習することを示す。
論文 参考訳（メタデータ） (2022-05-25T21:53:48Z) - uGLAD: Sparse graph recovery by optimizing deep unrolled networks [11.48281545083889]
深層ネットワークを最適化してスパースグラフ復元を行う新しい手法を提案する。
我々のモデルであるuGLADは、最先端モデルGLADを教師なし設定に構築し、拡張します。
我々は, 遺伝子調節ネットワークから生成した合成ガウスデータ, 非ガウスデータを用いて, モデル解析を行い, 嫌気性消化の事例研究を行った。
論文 参考訳（メタデータ） (2022-05-23T20:20:27Z) - Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。
言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
論文 参考訳（メタデータ） (2022-01-08T00:47:50Z) - Exponentially Tilted Gaussian Prior for Variational Autoencoder [3.52359746858894]
近年の研究では, この課題に対して確率的生成モデルが不十分であることが示されている。
変分オートエンコーダ(VAE)の指数傾斜ガウス事前分布を提案する。
本モデルでは,標準ガウスVAEよりクオリティの高い画像サンプルが得られた。
論文 参考訳（メタデータ） (2021-11-30T18:28:19Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳（メタデータ） (2021-10-20T12:25:22Z) - Multivariate Data Explanation by Jumping Emerging Patterns Visualization [78.6363825307044]
多変量データセットにおけるパターンの識別と視覚的解釈を支援するVAX(multiVariate dAta eXplanation)を提案する。
既存の類似のアプローチとは異なり、VAXはJumping Emerging Patternsという概念を使って、複数の多様化したパターンを特定し、集約し、データ変数のロジックの組み合わせを通して説明を生成する。
論文 参考訳（メタデータ） (2021-06-21T13:49:44Z) - Generalized Matrix Factorization: efficient algorithms for fitting
generalized linear latent variable models to large data arrays [62.997667081978825]
一般化線形潜在変数モデル(GLLVM)は、そのような因子モデルを非ガウス応答に一般化する。
GLLVMのモデルパラメータを推定する現在のアルゴリズムは、集約的な計算を必要とし、大規模なデータセットにスケールしない。
本稿では,GLLVMを高次元データセットに適用するための新しい手法を提案する。
論文 参考訳（メタデータ） (2020-10-06T04:28:19Z) - tvGP-VAE: Tensor-variate Gaussian Process Prior Variational Autoencoder [0.0]
tvGP-VAEはカーネル関数を使用して相関を明示的にモデル化することができる。
そこで本研究では,どの相関構造を潜在空間で明示的に表現するかの選択が,モデル性能に大きな影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2020-06-08T17:59:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。