論文の概要: Preventing Posterior Collapse Induced by Oversmoothing in Gaussian VAE

• arxiv url: http://arxiv.org/abs/2102.08663v1
• Date: Wed, 17 Feb 2021 10:00:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-18 14:45:19.271244
• Title: Preventing Posterior Collapse Induced by Oversmoothing in Gaussian VAE
• Title（参考訳）: ガウスVAEにおけるオーバースムーシングによる後部崩壊の予防
• Authors: Yuhta Takida, Wei-Hsiang Liao, Toshimitsu Uesaka, Shusuke Takahashi and Yuki Mitsufuji
• Abstract要約: 分散パラメータを適応させることでモデルの平滑性を制御するAR-ELBOを提案する。 さらに、分散パラメータの代替パラメータ化によりVAEを拡張し、非均一または条件付きデータ分散に対処する。 AR-ELBOで訓練されたVAE拡張は、MNISTおよびCelebAデータセットから生成された画像に対するFr'echet受信距離(FID)を改善した。
• 参考スコア（独自算出の注目度）: 7.845959449872641
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Variational autoencoders (VAEs) often suffer from posterior collapse, which is a phenomenon in which the learned latent space becomes uninformative. This is often related to a hyperparameter resembling the data variance. It can be shown that an inappropriate choice of this parameter causes oversmoothness and leads to posterior collapse in the linearly approximated case and can be empirically verified for the general cases. Therefore, we propose AR-ELBO (Adaptively Regularized Evidence Lower BOund), which controls the smoothness of the model by adapting this variance parameter. In addition, we extend VAE with alternative parameterizations on the variance parameter to deal with non-uniform or conditional data variance. The proposed VAE extensions trained with AR-ELBO show improved Fr\'echet inception distance (FID) on images generated from the MNIST and CelebA datasets.
• Abstract（参考訳）: 可変自己エンコーダ(VAE)は、しばしば後部崩壊に苦しむが、これは学習された潜在空間が無情報になる現象である。 これはしばしばデータ分散に類似したハイパーパラメータに関連している。 このパラメータの不適切な選択が過滑性を引き起こし、線形近似ケースの後方崩壊につながることが示され、一般的なケースで経験的に検証することができる。 そこで我々は,この分散パラメータを適用してモデルの滑らかさを制御するAR-ELBO(Adaptively Regularized Evidence Lower Bound)を提案する。 さらに、分散パラメータの代替パラメータ化によりVAEを拡張し、非均一または条件付きデータ分散に対処する。 AR-ELBOで訓練されたVAE拡張は、MNISTおよびCelebAデータセットから生成された画像に対するFr\'echet受信距離(FID)を改善した。

関連論文リスト

• Improved Anomaly Detection through Conditional Latent Space VAE Ensembles [49.1574468325115]
  条件付きラテント空間変分オートエンコーダ(CL-VAE)は、既知の不整形クラスと未知の不整形クラスを持つデータに対する異常検出のための前処理を改善した。 モデルでは異常検出の精度が向上し、MNISTデータセットで97.4%のAUCが達成された。 さらに、CL-VAEは、アンサンブルの利点、より解釈可能な潜在空間、モデルサイズに制限のある複雑なデータでパターンを学習する能力の増大を示す。
  論文  参考訳（メタデータ） (2024-10-16T07:48:53Z)
• Matching aggregate posteriors in the variational autoencoder [0.5759862457142761]
  変分オートエンコーダ(VAE)は、よく研究され、深い、潜伏変数モデル(DLVM)である。 本稿では,VAE に付随する目的関数を改良することにより,VAE の欠点を克服する。 提案手法はEmphaggregate variational autoencoder (AVAE) と命名され,VAEの理論的枠組みに基づいて構築されている。
  論文  参考訳（メタデータ） (2023-11-13T19:22:37Z)
• Winning Prize Comes from Losing Tickets: Improve Invariant Learning by Exploring Variant Parameters for Out-of-Distribution Generalization [76.27711056914168]
  Out-of-Distribution (OOD) 一般化は、分散固有の特徴に適合することなく、様々な環境によく適応する堅牢なモデルを学ぶことを目的としている。 LTH(Lottery Ticket hypothesis)に基づく最近の研究は、学習目標を最小化し、タスクに重要なパラメータのいくつかを見つけることでこの問題に対処している。 Invariant Learning (EVIL) における変数探索手法を提案する。
  論文  参考訳（メタデータ） (2023-10-25T06:10:57Z)
• DAVA: Disentangling Adversarial Variational Autoencoder [12.513372993000914]
  本稿では,変分自動エンコーダの新しいトレーニング手法であるDAVAを紹介する。 抽象的推論において, PIPEが下流モデルの性能を肯定的に予測できることを実証する。
  論文  参考訳（メタデータ） (2023-03-02T16:08:23Z)
• Posterior Collapse and Latent Variable Non-identifiability [54.842098835445]
  柔軟性を犠牲にすることなく識別性を強制する深層生成モデルである,潜時同定可能な変分オートエンコーダのクラスを提案する。 合成および実データ全体にわたって、潜在識別可能な変分オートエンコーダは、後方崩壊を緩和し、データの有意義な表現を提供する既存の方法より優れている。
  論文  参考訳（メタデータ） (2023-01-02T06:16:56Z)
• DPVIm: Differentially Private Variational Inference Improved [13.761202518891329]
  多次元統計学の微分プライベート(DP)リリースは、一般的に集合感度を考える。 そのベクトルの次元は様々であり、従ってDP摂動は次元をまたいだ信号に不均等に影響を及ぼす。 変分推論(VI)に用いた場合、DP-SGDアルゴリズムの勾配解法でこの問題を観測する(VI)。
  論文  参考訳（メタデータ） (2022-10-28T07:41:32Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)
• Addressing Variance Shrinkage in Variational Autoencoders using Quantile Regression [0.0]
  可変変分オートエンコーダ (VAE) は, 医用画像の病変検出などの応用において, 異常検出の一般的なモデルとなっている。 本稿では,分散の縮小や過小評価といったよく知られた問題を避けるための代替手法について述べる。 ガウスの仮定の下で推定された定量値を用いて平均値と分散値を計算し、再構成確率を外乱検出や異常検出の原理的アプローチとして計算する。
  論文  参考訳（メタデータ） (2020-10-18T17:37:39Z)
• Preventing Posterior Collapse with Levenshtein Variational Autoencoder [61.30283661804425]
  我々は,エビデンス・ロー・バウンド(ELBO)を最適化し,後部崩壊を防止できる新しい目的に置き換えることを提案する。 本稿では,Levenstein VAEが後方崩壊防止のための代替手法よりも,より情報的な潜伏表現を生成することを示す。
  論文  参考訳（メタデータ） (2020-04-30T13:27:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。