論文の概要: Variational Mutual Information Maximization Framework for VAE Latent
Codes with Continuous and Discrete Priors
- arxiv url: http://arxiv.org/abs/2006.02227v1
- Date: Tue, 2 Jun 2020 09:05:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-26 00:12:42.192607
- Title: Variational Mutual Information Maximization Framework for VAE Latent
Codes with Continuous and Discrete Priors
- Title（参考訳）: 連続および離散優先符号を含むvae潜在符号の変分相互情報最大化フレームワーク
- Authors: Andriy Serdega, Dae-Shik Kim
- Abstract要約: 変分オートエンコーダ(VAE)は、複雑なデータの有向潜在変数モデルを学習するためのスケーラブルな方法である。
本稿では,VAEのための変分相互情報最大化フレームワークを提案し,この問題に対処する。
- 参考スコア（独自算出の注目度）: 5.317548969642376
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning interpretable and disentangled representations of data is a key
topic in machine learning research. Variational Autoencoder (VAE) is a scalable
method for learning directed latent variable models of complex data. It employs
a clear and interpretable objective that can be easily optimized. However, this
objective does not provide an explicit measure for the quality of latent
variable representations which may result in their poor quality. We propose
Variational Mutual Information Maximization Framework for VAE to address this
issue. In comparison to other methods, it provides an explicit objective that
maximizes lower bound on mutual information between latent codes and
observations. The objective acts as a regularizer that forces VAE to not ignore
the latent variable and allows one to select particular components of it to be
most informative with respect to the observations. On top of that, the proposed
framework provides a way to evaluate mutual information between latent codes
and observations for a fixed VAE model. We have conducted our experiments on
VAE models with Gaussian and joint Gaussian and discrete latent variables. Our
results illustrate that the proposed approach strengthens relationships between
latent codes and observations and improves learned representations.
- Abstract（参考訳）: データの解釈可能で不連続な表現の学習は、機械学習研究の重要なトピックである。
variational autoencoder (vae) は、複雑なデータの有向潜在変数モデルを学ぶためのスケーラブルな手法である。
容易に最適化できる明確で解釈可能な目的を採用している。
しかし、この目的は、その品質が劣る可能性がある潜在変数表現の品質を明示的に測定するものではない。
本稿では,VAEのための変分相互情報最大化フレームワークを提案する。
他の方法と比較して、潜在コードと観測の間の相互情報において下限を最大化する明示的な目的を提供する。
目的は、VOEが潜伏変数を無視しないように強制する正規化器として機能し、その特定の成分を観察に関して最も有益なものにすることができる。
それに加えて、提案フレームワークは、固定されたVAEモデルの潜在符号と観測値の相互情報を評価する方法を提供する。
我々は,gaussian と joint gaussian および discrete latent variable を用いた vae モデルの実験を行った。
その結果,提案手法は潜在符号と観測値の関係を強化し,学習表現を改善した。
関連論文リスト
- Self-Supervised Representation Learning with Meta Comprehensive
Regularization [11.387994024747842]
既存の自己管理フレームワークに組み込まれたCompMod with Meta Comprehensive Regularization (MCR)というモジュールを導入する。
提案したモデルを双方向最適化機構により更新し,包括的特徴を捉える。
本稿では,情報理論と因果対実的視点から提案手法の理論的支援を行う。
論文 参考訳（メタデータ） (2024-03-03T15:53:48Z) - RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder
for Language Modeling [79.56442336234221]
可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。
テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。
各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
論文 参考訳（メタデータ） (2023-10-16T16:42:01Z) - DCID: Deep Canonical Information Decomposition [84.59396326810085]
本稿では,2つの1次元目標変数間で共有される信号の同定について考察する。
そこで本研究では,地中トラスラベルの存在下で使用可能な評価指標であるICMを提案する。
また、共有変数を学習するための単純かつ効果的なアプローチとして、Deep Canonical Information Decomposition (DCID)を提案する。
論文 参考訳（メタデータ） (2023-06-27T16:59:06Z) - Vector Quantized Wasserstein Auto-Encoder [57.29764749855623]
生成的視点から深層離散表現を学習する。
我々は,コードワード列上の離散分布を付与し,コードワード列上の分布をデータ分布に伝達する決定論的デコーダを学習する。
WS 距離のクラスタリングの観点と結びつけて,より優れた,より制御可能なクラスタリングソリューションを実現するための,さらなる理論を開発しています。
論文 参考訳（メタデータ） (2023-02-12T13:51:36Z) - Covariate-informed Representation Learning with Samplewise Optimal
Identifiable Variational Autoencoders [15.254297587065595]
最近提案された変分オートエンコーダ (iVAE) は、データの潜在独立成分を学習するための有望なアプローチを提供する。
我々は新しいアプローチ、CI-iVAE(co-informed identible VAE)を開発した。
目的関数は逆関係を強制し、学習された表現はより多くの観測情報を含む。
論文 参考訳（メタデータ） (2022-02-09T00:18:33Z) - Adaptive Discrete Communication Bottlenecks with Dynamic Vector
Quantization [76.68866368409216]
入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。
コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2022-02-02T23:54:26Z) - InteL-VAEs: Adding Inductive Biases to Variational Auto-Encoders via
Intermediary Latents [60.785317191131284]
本稿では,潜伏変数の中間集合を用いて,制御可能なバイアスでVAEを学習するための簡易かつ効果的な手法を提案する。
特に、学習した表現に対して、スパーシリティやクラスタリングといった望ましいプロパティを課すことができます。
これにより、InteL-VAEはより優れた生成モデルと表現の両方を学ぶことができる。
論文 参考訳（メタデータ） (2021-06-25T16:34:05Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳（メタデータ） (2020-11-13T10:53:27Z) - VMI-VAE: Variational Mutual Information Maximization Framework for VAE
With Discrete and Continuous Priors [5.317548969642376]
変分オートエンコーダは、複雑なデータの潜在変数モデルを学習するためのスケーラブルな方法である。
本稿では,VAEのための変分相互情報最大化フレームワークを提案し,この問題に対処する。
論文 参考訳（メタデータ） (2020-05-28T12:44:23Z) - Deterministic Decoding for Discrete Data in Variational Autoencoders [5.254093731341154]
サンプリングの代わりに最上位のトークンを選択するシーケンシャルデータに対して,決定論的デコーダ(DD-VAE)を用いたVAEモデルについて検討する。
分子生成や最適化問題を含む複数のデータセット上でのDD-VAEの性能を示す。
論文 参考訳（メタデータ） (2020-03-04T16:36:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。