論文の概要: Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness

• arxiv url: http://arxiv.org/abs/2110.12381v1
• Date: Sun, 24 Oct 2021 07:58:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-26 16:51:01.031062
• Title: Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness
• Title（参考訳）: 多様性と不確実性を考慮した変分オートエンコーダの規則化
• Authors: Dazhong Shen and Chuan Qin and Chao Wang and Hengshu Zhu and Enhong Chen and Hui Xiong
• Abstract要約: 変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
• 参考スコア（独自算出の注目度）: 61.827054365139645
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As one of the most popular generative models, Variational Autoencoder (VAE) approximates the posterior of latent variables based on amortized variational inference. However, when the decoder network is sufficiently expressive, VAE may lead to posterior collapse; that is, uninformative latent representations may be learned. To this end, in this paper, we propose an alternative model, DU-VAE, for learning a more Diverse and less Uncertain latent space, and thus the representation can be learned in a meaningful and compact manner. Specifically, we first theoretically demonstrate that it will result in better latent space with high diversity and low uncertainty awareness by controlling the distribution of posterior's parameters across the whole data accordingly. Then, without the introduction of new loss terms or modifying training strategies, we propose to exploit Dropout on the variances and Batch-Normalization on the means simultaneously to regularize their distributions implicitly. Furthermore, to evaluate the generalization effect, we also exploit DU-VAE for inverse autoregressive flow based-VAE (VAE-IAF) empirically. Finally, extensive experiments on three benchmark datasets clearly show that our approach can outperform state-of-the-art baselines on both likelihood estimation and underlying classification tasks.
• Abstract（参考訳）: 最も一般的な生成モデルの一つとして、変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 しかし、デコーダネットワークが十分に表現可能であれば、VAEは後続の崩壊につながる可能性がある。 そこで本稿では,よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案し,その表現を意味的かつコンパクトな方法で学習する。 具体的には,データ全体にわたって後方パラメータの分布を制御し,高い多様性と低い不確実性を持った潜伏空間を実現することを理論的に実証した。 次に,新たな損失項の導入やトレーニング戦略の変更を伴わずに,分散とバッチ正規化を同時に利用し,その分布を暗黙的に正規化する手法を提案する。 さらに, この一般化効果を評価するために, 逆自己回帰フローベースVAE(VAE-IAF)を実験的に利用した。 最後に、3つのベンチマークデータセットに対する広範な実験により、我々のアプローチは、推定可能性と基礎となる分類タスクの両方において、最先端のベースラインより優れていることが示された。

関連論文リスト

• Protect Before Generate: Error Correcting Codes within Discrete Deep Generative Models [3.053842954605396]
  本稿では,離散潜在変数モデルにおける変分推論を強化する新しい手法を提案する。 我々は誤り訂正符号(ECC)を活用し、潜伏表現に冗長性を導入する。 この冗長性は変分後部によって利用され、より正確な推定値が得られる。
  論文  参考訳（メタデータ） (2024-10-10T11:59:58Z)
• Singular Value Penalization and Semantic Data Augmentation for Fully Test-Time Adaptation [5.891527229524256]
  テスト時間適応(FTTA)は、テストフェーズ中にソースドメイン上でトレーニングされたモデルをターゲットドメインに適応させる。 本稿では,その分散を最小化しながら特異値の和を最大化することを提案する。 これにより、モデルがより小さな特異値に焦点を合わせ、より挑戦的なクラス間の差別性を高め、予測結果の多様性を効果的に増大させることができる。
  論文  参考訳（メタデータ） (2023-12-10T01:08:56Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• Covariate-informed Representation Learning with Samplewise Optimal Identifiable Variational Autoencoders [15.254297587065595]
  最近提案された変分オートエンコーダ (iVAE) は、データの潜在独立成分を学習するための有望なアプローチを提供する。 我々は新しいアプローチ、CI-iVAE(co-informed identible VAE)を開発した。 目的関数は逆関係を強制し、学習された表現はより多くの観測情報を含む。
  論文  参考訳（メタデータ） (2022-02-09T00:18:33Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• InteL-VAEs: Adding Inductive Biases to Variational Auto-Encoders via Intermediary Latents [60.785317191131284]
  本稿では,潜伏変数の中間集合を用いて,制御可能なバイアスでVAEを学習するための簡易かつ効果的な手法を提案する。 特に、学習した表現に対して、スパーシリティやクラスタリングといった望ましいプロパティを課すことができます。 これにより、InteL-VAEはより優れた生成モデルと表現の両方を学ぶことができる。
  論文  参考訳（メタデータ） (2021-06-25T16:34:05Z)
• Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations [76.85274970052762]
  元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。 本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。 私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-25T22:40:09Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Automatic Differentiation Variational Inference with Mixtures [4.995383193706478]
  本研究では, 混合分布を近似後部として利用するために, 層状サンプリングを用いる方法を示す。 我々は、重要重み付きオートエンコーダ(IWAE)に類似したエビデンスに基づく新しい下界を導出する。
  論文  参考訳（メタデータ） (2020-03-03T18:12:42Z)
• NestedVAE: Isolating Common Factors via Weak Supervision [45.366986365879505]
  我々は、バイアス低減の課題と、ドメイン間で共通する分離要因の関係を同定する。 共通因子を分離するために、潜伏変数モデルの理論と情報ボトルネック理論を組み合わせる。 共有重みを持つ2つの外部VAEは入力を再構成し、潜伏空間を推論し、一方、ネストされたVAEはペア化された画像の潜伏表現から1つの画像の潜伏表現を再構成しようとする。
  論文  参考訳（メタデータ） (2020-02-26T15:49:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。