論文の概要: C$^2$VAE: Gaussian Copula-based VAE Differing Disentangled from Coupled
Representations with Contrastive Posterior
- arxiv url: http://arxiv.org/abs/2309.13303v1
- Date: Sat, 23 Sep 2023 08:33:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-26 20:42:45.278289
- Title: C$^2$VAE: Gaussian Copula-based VAE Differing Disentangled from Coupled
Representations with Contrastive Posterior
- Title（参考訳）: c$^2$vae:gaussian copula-based vae : 連結表現とコントラスト後方表現の相違
- Authors: Zhangkai Wu and Longbing Cao
- Abstract要約: 本研究では,自己教師付き変分オートエンコーダ(VAE)を用いて,非絡み合いや依存型隠れ因子を共同学習する。
次に、自己教師付き分類器による非交叉表現学習を強化し、コントラスト的な方法で結合表現を除去する。
- 参考スコア（独自算出の注目度）: 36.2531431458649
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a self-supervised variational autoencoder (VAE) to jointly learn
disentangled and dependent hidden factors and then enhance disentangled
representation learning by a self-supervised classifier to eliminate coupled
representations in a contrastive manner. To this end, a Contrastive Copula VAE
(C$^2$VAE) is introduced without relying on prior knowledge about data in the
probabilistic principle and involving strong modeling assumptions on the
posterior in the neural architecture. C$^2$VAE simultaneously factorizes the
posterior (evidence lower bound, ELBO) with total correlation (TC)-driven
decomposition for learning factorized disentangled representations and extracts
the dependencies between hidden features by a neural Gaussian copula for copula
coupled representations. Then, a self-supervised contrastive classifier
differentiates the disentangled representations from the coupled
representations, where a contrastive loss regularizes this contrastive
classification together with the TC loss for eliminating entangled factors and
strengthening disentangled representations. C$^2$VAE demonstrates a strong
effect in enhancing disentangled representation learning. C$^2$VAE further
contributes to improved optimization addressing the TC-based VAE instability
and the trade-off between reconstruction and representation.
- Abstract（参考訳）: 自己教師付き変分オートエンコーダ(vae)を提案し,不等角化および従属化の隠れ要因を共同学習し,自己教師付き分類器による不等角化表現学習を強化し,対照的に結合表現を排除した。
この目的のために、Contrastive Copula VAE (C$^2$VAE) は確率論的原理におけるデータに関する事前の知識に頼ることなく導入され、ニューラルアーキテクチャの後方に強力なモデリング仮定が伴う。
c$^2$vae は、因子化不等角表現を学習するために、後側(evidence lower bound, elbo)と全相関(tc)駆動の分解を同時に分解し、コプラ結合表現のためのニューラルガウスコプラによる隠れ特徴間の依存関係を抽出する。
そして、自己教師付きコントラスト分類器は、このアンタングル表現と結合表現を区別し、コントラスト損失はこのコントラスト分類をTC損失と共に正規化し、アンタングル因子を除去し、アンタングル表現を強化する。
C$^2$VAEは不整合表現学習の強化に強い効果を示す。
C$^2$VAEはさらに、TCベースのVAE不安定性と再構成と表現のトレードオフに対処する最適化の改善に貢献している。
関連論文リスト
- Canonical Correlation Guided Deep Neural Network [14.188285111418516]
深層ニューラルネットワーク(CCDNN)により実現可能な標準相関学習フレームワークを提案する。
提案手法では、最適化の定式化は相関を最大化するために制限されず、代わりに正規相関を制約として行う。
相関による冗長性を低減するために、冗長性フィルタを設計する。
論文 参考訳（メタデータ） (2024-09-28T16:08:44Z) - Disentanglement with Factor Quantized Variational Autoencoders [11.086500036180222]
本稿では,生成因子に関する基礎的真理情報をモデルに提供しない離散変分オートエンコーダ(VAE)モデルを提案する。
本研究では, 離散表現を学習する上で, 連続表現を学習することの利点を実証する。
FactorQVAEと呼ばれる手法は,最適化に基づく不整合アプローチと離散表現学習を組み合わせた最初の手法である。
論文 参考訳（メタデータ） (2024-09-23T09:33:53Z) - Siamese Representation Learning for Unsupervised Relation Extraction [5.776369192706107]
非教師付き関係抽出(URE)は、オープンドメインのプレーンテキストから名前付きエンティティペア間の基礎となる関係を見つけることを目的としている。
比較学習を利用した既存のUREモデルでは、正のサンプルを惹きつけ、より良い分離を促進するために負のサンプルを反発させる効果がある。
非教師関係抽出のためのシームズ表現学習 - 正のペアを単純に活用して表現学習を行う新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-01T02:57:43Z) - Learning Disentangled Discrete Representations [22.5004558029479]
本稿では,標準ガウス変分オートエンコーダをカテゴリー変分オートエンコーダに置き換えることで,離散潜在空間と非交分表現の関係を示す。
本研究では,非絡み合った表現を学習する上で,個別のVAEの利点を示す分析的および実証的な知見を提供する。
論文 参考訳（メタデータ） (2023-07-26T12:29:58Z) - Understanding Augmentation-based Self-Supervised Representation Learning
via RKHS Approximation and Regression [53.15502562048627]
最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。
この研究は、増強に基づく事前訓練の統計的分析に発展する。
論文 参考訳（メタデータ） (2023-06-01T15:18:55Z) - Learning Partial Correlation based Deep Visual Representation for Image
Classification [61.0532370259644]
CNNの新たな構造層としてスパース逆共分散推定(SICE)を定式化する。
本研究は,部分的相関に基づく深部視覚表現を求め,小さなサンプル問題を緩和する。
実験により,本モデルの有効性と優れた分類性能が示された。
論文 参考訳（メタデータ） (2023-04-23T10:09:01Z) - Causal Disentangled Variational Auto-Encoder for Preference
Understanding in Recommendation [50.93536377097659]
本稿では,コメンテータシステムにおける対話データから因果不整合表現を学習するためのCaD-VAE(Causal Disentangled Variational Auto-Encoder)を提案する。
この手法は構造因果モデルを用いて、潜在因子間の因果関係を記述する因果表現を生成する。
論文 参考訳（メタデータ） (2023-04-17T00:10:56Z) - HiURE: Hierarchical Exemplar Contrastive Learning for Unsupervised
Relation Extraction [60.80849503639896]
非教師なし関係抽出は、関係範囲や分布に関する事前情報のない自然言語文からエンティティ間の関係を抽出することを目的としている。
本稿では,階層間注目を用いた階層的特徴空間から階層的信号を導出する機能を持つ,HiUREという新しいコントラスト学習フレームワークを提案する。
2つの公開データセットの実験結果は、最先端モデルと比較した場合の教師なし関係抽出におけるHiUREの有効性とロバスト性を示す。
論文 参考訳（メタデータ） (2022-05-04T17:56:48Z) - Regularizing Variational Autoencoder with Diversity and Uncertainty
Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。
よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文 参考訳（メタデータ） (2021-10-24T07:58:13Z) - Learning disentangled representations with the Wasserstein Autoencoder [22.54887526392739]
我々は,潜伏変数の総相関をペナルティ化するためのTCWAE(Total correlation Wasserstein Autoencoder)を提案する。
本稿では,WAEパラダイムにおける作業が,全相関項の分離を自然に可能にし,学習した表現に対する絡み合いの制御を可能にすることを示す。
さらに, 再構成期間におけるWAEパラダイムの柔軟性が向上する, 未知の生成因子を含む, より複雑なデータセット上での絡み合いと再構成のトレードオフについて検討する。
論文 参考訳（メタデータ） (2020-10-07T14:52:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。