論文の概要: Consistency Regularization for Variational Auto-Encoders

• arxiv url: http://arxiv.org/abs/2105.14859v1
• Date: Mon, 31 May 2021 10:26:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-02 01:42:10.313121
• Title: Consistency Regularization for Variational Auto-Encoders
• Title（参考訳）: 変分オートエンコーダの一貫性規則化
• Authors: Samarth Sinha, Adji B. Dieng
• Abstract要約: 変分自動エンコーダ(VAE)は教師なし学習の強力なアプローチである。 本稿では,VAEの整合性を強制する正規化手法を提案する。
• 参考スコア（独自算出の注目度）: 14.423556966548544
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Variational auto-encoders (VAEs) are a powerful approach to unsupervised learning. They enable scalable approximate posterior inference in latent-variable models using variational inference (VI). A VAE posits a variational family parameterized by a deep neural network called an encoder that takes data as input. This encoder is shared across all the observations, which amortizes the cost of inference. However the encoder of a VAE has the undesirable property that it maps a given observation and a semantics-preserving transformation of it to different latent representations. This "inconsistency" of the encoder lowers the quality of the learned representations, especially for downstream tasks, and also negatively affects generalization. In this paper, we propose a regularization method to enforce consistency in VAEs. The idea is to minimize the Kullback-Leibler (KL) divergence between the variational distribution when conditioning on the observation and the variational distribution when conditioning on a random semantic-preserving transformation of this observation. This regularization is applicable to any VAE. In our experiments we apply it to four different VAE variants on several benchmark datasets and found it always improves the quality of the learned representations but also leads to better generalization. In particular, when applied to the Nouveau Variational Auto-Encoder (NVAE), our regularization method yields state-of-the-art performance on MNIST and CIFAR-10. We also applied our method to 3D data and found it learns representations of superior quality as measured by accuracy on a downstream classification task.
• Abstract（参考訳）: 変分自動エンコーダ(VAE)は教師なし学習の強力なアプローチである。 これらは変分推論(vi)を用いた潜在変数モデルにおいてスケーラブルな近似後続推論を可能にする。 vaeは、データを入力とするエンコーダと呼ばれるディープニューラルネットワークによってパラメータ化された変分系を仮定する。 このエンコーダはすべての観測値で共有され、推論のコストを償却する。 しかしながら、VAEのエンコーダは、与えられた観測とそれのセマンティックス保存変換を異なる潜在表現にマッピングするという望ましくない性質を持っている。 このエンコーダの「矛盾」は、特に下流タスクにおける学習表現の品質を低下させ、また一般化にも悪影響を及ぼす。 本稿では,VAEの整合性を強制する正規化手法を提案する。 この考え方は、観測の条件付け時の変分分布と、この観測のランダムな意味保存変換の条件付け時の変分分布との発散を最小化することである。 この正規化は任意のVAEに適用できる。 実験では、複数のベンチマークデータセット上の4つの異なるVAE変種に適用し、学習された表現の質を常に改善すると同時に、より一般化することに成功した。 特に、ヌーヴォー変分オートエンコーダ(NVAE)に適用すると、本手法はMNISTおよびCIFAR-10の最先端性能が得られる。 また,本手法を3次元データに適用し,下流分類タスクの精度から,優れた品質の表現を学習した。

関連論文リスト

• Gaussian Mixture Vector Quantization with Aggregated Categorical Posterior [5.862123282894087]
  ベクトル量子化変分オートエンコーダ(VQ-VAE)を導入する。 VQ-VAEは、離散埋め込みを潜時として使用する変分オートエンコーダの一種である。 GM-VQは,手工芸品に頼らずに,コードブックの利用率を向上し,情報損失を低減する。
  論文  参考訳（メタデータ） (2024-10-14T05:58:11Z)
• PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
  PseudoNeg-MAEは,ポイントマスク自動エンコーダのグローバルな特徴表現を強化する,自己教師型学習フレームワークである。 PseudoNeg-MAE は ModelNet40 と ScanObjectNN のデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-09-24T07:57:21Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• AAVAE: Augmentation-Augmented Variational Autoencoders [43.73699420145321]
  本稿では,自動符号化に基づく自己教師型学習における第3のアプローチであるAugmentation-augmented variational autoencoders (AAVAE)を紹介する。 画像分類において提案したAAVAEを,最近のコントラスト学習アルゴリズムや非コントラスト学習アルゴリズムと同様に実証的に評価した。
  論文  参考訳（メタデータ） (2021-07-26T17:04:30Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• Simple and Effective VAE Training with Calibrated Decoders [123.08908889310258]
  変分オートエンコーダ(VAE)は、複雑な分布をモデル化するための効果的で簡単な方法である。 復号分布の不確かさを学習する校正復号器の影響について検討する。 本稿では,一般的なガウス復号器の簡易かつ斬新な修正を提案し,その予測分散を解析的に計算する。
  論文  参考訳（メタデータ） (2020-06-23T17:57:47Z)
• tvGP-VAE: Tensor-variate Gaussian Process Prior Variational Autoencoder [0.0]
  tvGP-VAEはカーネル関数を使用して相関を明示的にモデル化することができる。 そこで本研究では,どの相関構造を潜在空間で明示的に表現するかの選択が,モデル性能に大きな影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2020-06-08T17:59:13Z)
• On the Encoder-Decoder Incompatibility in Variational Text Modeling and Beyond [82.18770740564642]
  変分オートエンコーダ(VAE)は、潜時変数と償却変分推論を結合する。 我々は,データ多様体のパラメータ化が不十分なエンコーダ・デコーダの不整合性を観察する。 同一構造を持つ決定論的オートエンコーダとVAEモデルを結合した結合型VAEを提案する。
  論文  参考訳（メタデータ） (2020-04-20T10:34:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。