論文の概要: Identifiable Variational Autoencoders via Sparse Decoding
- arxiv url: http://arxiv.org/abs/2110.10804v1
- Date: Wed, 20 Oct 2021 22:11:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-23 12:34:54.471449
- Title: Identifiable Variational Autoencoders via Sparse Decoding
- Title（参考訳）: スパース復号による識別可能な変分オートエンコーダ
- Authors: Gemma E. Moran, Dhanya Sridhar, Yixin Wang and David M. Blei
- Abstract要約: 高次元データに基づく教師なし表現学習のための深層生成モデルであるSparse VAEを開発した。
まず、Sparse VAEが識別可能であることを示し、モデルから引き出されたデータを考えると、一意に最適な要素の集合が存在する。
シミュレーションデータと実データの両方を用いて,Sparse VAEを実証研究する。
- 参考スコア（独自算出の注目度）: 37.30831737046145
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We develop the Sparse VAE, a deep generative model for unsupervised
representation learning on high-dimensional data. Given a dataset of
observations, the Sparse VAE learns a set of latent factors that captures its
distribution. The model is sparse in the sense that each feature of the dataset
(i.e., each dimension) depends on a small subset of the latent factors. As
examples, in ratings data each movie is only described by a few genres; in text
data each word is only applicable to a few topics; in genomics, each gene is
active in only a few biological processes. We first show that the Sparse VAE is
identifiable: given data drawn from the model, there exists a uniquely optimal
set of factors. (In contrast, most VAE-based models are not identifiable.) The
key assumption behind Sparse-VAE identifiability is the existence of "anchor
features", where for each factor there exists a feature that depends only on
that factor. Importantly, the anchor features do not need to be known in
advance. We then show how to fit the Sparse VAE with variational EM. Finally,
we empirically study the Sparse VAE with both simulated and real data. We find
that it recovers meaningful latent factors and has smaller heldout
reconstruction error than related methods.
- Abstract（参考訳）: 高次元データに基づく教師なし表現学習のための深層生成モデルであるSparse VAEを開発した。
観測のデータセットが与えられた後、Sparse VAEは、その分布を捉える潜在因子のセットを学ぶ。
このモデルはデータセットの各特徴(つまり各次元)が潜在因子の小さな部分集合に依存するという意味では疎い。
例えば、格付けデータでは、各映画はいくつかのジャンルでのみ記述され、テキストデータでは、各単語は、いくつかのトピックにのみ適用され、ゲノム学では、各遺伝子は、いくつかの生物学的プロセスでのみ活性する。
まず、Sparse VAEが識別可能であることを示し、モデルから引き出されたデータを考えると、一意に最適な要素の集合が存在する。
(対照的に、ほとんどのVAEベースのモデルは識別できない)
スパース・ベイ(sparse-vae)の識別可能性の背後にある重要な仮定は、"アンカー特徴(anchor features)"の存在である。
重要なのは、アンカー機能は事前に知る必要がないことだ。
次に、Sparse VAEと変分EMの適合方法を示す。
最後に、シミュレーションデータと実データの両方を用いてSparse VAEを実証研究する。
その結果,有意な潜伏因子を回復し,関連する手法よりもホールドアウト復元誤差が小さいことがわかった。
関連論文リスト
- Predictive variational autoencoder for learning robust representations
of time-series data [0.0]
本稿では,次点を予測するVAEアーキテクチャを提案する。
VAEの2つの制約は、時間とともにスムーズであることを示し、堅牢な潜伏表現を生成し、合成データセット上の潜伏因子を忠実に回収する。
論文 参考訳（メタデータ） (2023-12-12T02:06:50Z) - SepVAE: a contrastive VAE to separate pathological patterns from healthy ones [2.619659560375341]
コントラスト分析VAE(Contrastive Analysis VAE)は、背景データセット(BG)と対象データセット(TG)の共通要因を分離することを目的とした変分自動エンコーダ(VAE)のファミリーである。
3つの医療応用と自然画像データセット(CelebA)における従来のCA-VAEs法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-07-12T14:52:21Z) - A Self-Encoder for Learning Nearest Neighbors [5.297261090056809]
自己エンコーダは、データサンプルを埋め込み空間に分散して、互いに線形に分離できるように学習する。
通常の隣人とは異なり、このデータの符号化による予測は、あらゆる機能のスケーリングに不変である。
論文 参考訳（メタデータ） (2023-06-25T14:30:31Z) - Posterior Collapse and Latent Variable Non-identifiability [54.842098835445]
柔軟性を犠牲にすることなく識別性を強制する深層生成モデルである,潜時同定可能な変分オートエンコーダのクラスを提案する。
合成および実データ全体にわたって、潜在識別可能な変分オートエンコーダは、後方崩壊を緩和し、データの有意義な表現を提供する既存の方法より優れている。
論文 参考訳（メタデータ） (2023-01-02T06:16:56Z) - Equivariance Allows Handling Multiple Nuisance Variables When Analyzing
Pooled Neuroimaging Datasets [53.34152466646884]
本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。
いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
論文 参考訳（メタデータ） (2022-03-29T04:54:06Z) - SubOmiEmbed: Self-supervised Representation Learning of Multi-omics Data
for Cancer Type Classification [4.992154875028543]
マルチオミクスデータの統合と解析により腫瘍の広い視野が得られ,臨床診断の精度が向上する。
SubOmiEmbedは、非常に小さなネットワークを持つベースラインであるOmiEmbedに匹敵する結果を生成する。
この作業は、突然変異に基づくゲノムデータを統合するために改善される。
論文 参考訳（メタデータ） (2022-02-03T16:39:09Z) - Multivariate Data Explanation by Jumping Emerging Patterns Visualization [78.6363825307044]
多変量データセットにおけるパターンの識別と視覚的解釈を支援するVAX(multiVariate dAta eXplanation)を提案する。
既存の類似のアプローチとは異なり、VAXはJumping Emerging Patternsという概念を使って、複数の多様化したパターンを特定し、集約し、データ変数のロジックの組み合わせを通して説明を生成する。
論文 参考訳（メタデータ） (2021-06-21T13:49:44Z) - The Shapley Value of coalition of variables provides better explanations [0.0]
SV(Shapley Values)がいまだに理解されていないことを示す。
ダミー変数のSVを和らげるという一般的な実践は誤りであることを示す。
重要な変数の正しい計算と推論を提供します。
論文 参考訳（メタデータ） (2021-03-24T17:02:57Z) - CausalVAE: Structured Causal Disentanglement in Variational Autoencoder [52.139696854386976]
変分オートエンコーダ(VAE)の枠組みは、観測から独立した因子をアンタングルするために一般的に用いられる。
本稿では, 因果内因性因子を因果内因性因子に変換する因果層を含むVOEベースの新しいフレームワークCausalVAEを提案する。
その結果、CausalVAEが学習した因果表現は意味論的に解釈可能であり、DAG(Directed Acyclic Graph)としての因果関係は精度良く同定された。
論文 参考訳（メタデータ） (2020-04-18T20:09:34Z) - Parameter Space Factorization for Zero-Shot Learning across Tasks and
Languages [112.65994041398481]
本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。
タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。
我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
論文 参考訳（メタデータ） (2020-01-30T16:58:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。