論文の概要: A Contrastive Learning Approach for Training Variational Autoencoder Priors

• arxiv url: http://arxiv.org/abs/2010.02917v3
• Date: Wed, 3 Nov 2021 20:01:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 05:10:31.160570
• Title: A Contrastive Learning Approach for Training Variational Autoencoder Priors
• Title（参考訳）: 変分オートエンコーダ事前学習のためのコントラスト学習手法
• Authors: Jyoti Aneja, Alexander Schwing, Jan Kautz, Arash Vahdat
• Abstract要約: 変分オートエンコーダ(VAE)は、多くの領域で応用される強力な可能性に基づく生成モデルの一つである。 VAEsが生成性に乏しいことの1つの説明は、事前の分布が集合の近似的な後部と一致しないという、事前の穴の問題である。 本研究では, 基底分布の積と再重み付け係数によって定義されるエネルギーベースの事前定義を行い, 基底を集合体後部へ近づけるようにした。
• 参考スコア（独自算出の注目度）: 137.62674958536712
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational autoencoders (VAEs) are one of the powerful likelihood-based generative models with applications in many domains. However, they struggle to generate high-quality images, especially when samples are obtained from the prior without any tempering. One explanation for VAEs' poor generative quality is the prior hole problem: the prior distribution fails to match the aggregate approximate posterior. Due to this mismatch, there exist areas in the latent space with high density under the prior that do not correspond to any encoded image. Samples from those areas are decoded to corrupted images. To tackle this issue, we propose an energy-based prior defined by the product of a base prior distribution and a reweighting factor, designed to bring the base closer to the aggregate posterior. We train the reweighting factor by noise contrastive estimation, and we generalize it to hierarchical VAEs with many latent variable groups. Our experiments confirm that the proposed noise contrastive priors improve the generative performance of state-of-the-art VAEs by a large margin on the MNIST, CIFAR-10, CelebA 64, and CelebA HQ 256 datasets. Our method is simple and can be applied to a wide variety of VAEs to improve the expressivity of their prior distribution.
• Abstract（参考訳）: 変分オートエンコーダ(VAE)は、多くの領域で応用される強力な可能性に基づく生成モデルの一つである。 しかし、特にテンパリングなしで前者からサンプルを得る場合、高品質な画像を生成するのに苦労する。 VAEsが生成性に乏しいことの1つの説明は、事前の分布が集合の近似的な後部と一致しないという、事前の穴の問題である。 このミスマッチのため、エンコードされた画像に対応しない、前者の下の高濃度の潜在空間に領域が存在する。 これらの領域のサンプルは、破損した画像にデコードされる。 この問題に対処するために,ベース先行分布の積と,ベースを集合体後部へ近づけるように設計された再重み付け係数によって定義されるエネルギーベースの事前定義を提案する。 ノイズコントラスト推定により重み付け係数を訓練し,多くの潜在変数群を持つ階層的vaesに一般化した。 提案手法は,MNIST,CIFAR-10,CelebA 64,CelebA HQ 256データセットにおいて,最先端のVAEの生成性能を大きく向上させるものであることを確認した。 提案手法は単純で,従来の分布の表現性を向上させるため,多種多様なVAEに適用可能である。

関連論文リスト

• Provably Robust Score-Based Diffusion Posterior Sampling for Plug-and-Play Image Reconstruction [31.503662384666274]
  科学と工学において、ゴールは、ある画像のモダリティを記述する既知のフォワードモデルから収集された少数の測定値から未知の画像を推測することである。 モチベートされたスコアベース拡散モデルはその経験的成功により、画像再構成に先立って模範の印象的な候補として現れた。
  論文  参考訳（メタデータ） (2024-03-25T15:58:26Z)
• JoReS-Diff: Joint Retinex and Semantic Priors in Diffusion Model for Low-light Image Enhancement [69.6035373784027]
  低照度画像強調(LLIE)は条件付き拡散モデルを用いて有望な性能を実現している。 従来手法は、タスク固有の条件戦略の十分な定式化の重要性を無視するものであった。 本稿では,Retinex および semantic-based pre-processing condition を付加した新しいアプローチである JoReS-Diff を提案する。
  論文  参考訳（メタデータ） (2023-12-20T08:05:57Z)
• Variational Bayesian Imaging with an Efficient Surrogate Score-based Prior [7.155937118886449]
  不完全, 雑音の計測により, クリーンな画像後部を狙う不完全な逆画像問題について考察する。 最近の研究は、スコアベースの拡散モデルを、不適切な画像問題を解くための原則化された先行モデルに変えた。 提案するサロゲート先行法は, スコアベース拡散モデルの低境界に基づくものである。
  論文  参考訳（メタデータ） (2023-09-05T04:55:10Z)
• Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
  微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。 そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-06T11:51:28Z)
• Posterior samples of source galaxies in strong gravitational lenses with score-based priors [107.52670032376555]
  我々はスコアベースモデルを用いて、背景銀河の歪みのない画像の事前推定を符号化する。 アウト・オブ・ディストリビューション・データを用いた実験において、可能性と事前のバランスが、我々の期待にどのように合致しているかを示す。
  論文  参考訳（メタデータ） (2022-11-07T19:00:42Z)
• Exponentially Tilted Gaussian Prior for Variational Autoencoder [3.52359746858894]
  近年の研究では, この課題に対して確率的生成モデルが不十分であることが示されている。 変分オートエンコーダ(VAE)の指数傾斜ガウス事前分布を提案する。 本モデルでは,標準ガウスVAEよりクオリティの高い画像サンプルが得られた。
  論文  参考訳（メタデータ） (2021-11-30T18:28:19Z)
• Blind Image Restoration with Flow Based Priors [19.190289348734215]
  未知の劣化を伴う盲点において、優れた先行性は依然として不可欠である。 本稿では, 正規化フローを用いて対象コンテンツの分布をモデル化し, 最大アフターリ(MAP)の定式化に先立ってこれを前もって用いることを提案する。 我々の知る限りでは、これは画像強調問題に先行する正規化フローを探求する最初の研究である。
  論文  参考訳（メタデータ） (2020-09-09T21:40:11Z)
• Generalizing Variational Autoencoders with Hierarchical Empirical Bayes [6.273154057349038]
  確率的生成モデルのための計算的に安定なフレームワークである階層的経験的ベイズオートエンコーダ(HEBAE)を提案する。 鍵となる貢献は2つであり、まず、符号化分布を階層的に優先することで、再構成損失関数の最小化と過正規化の回避とのトレードオフを適応的にバランスさせることで、利益を得る。
  論文  参考訳（メタデータ） (2020-07-20T18:18:39Z)
• The Power of Triply Complementary Priors for Image Compressive Sensing [89.14144796591685]
  本稿では,一対の相補的な旅先を含むLRD画像モデルを提案する。 次に、画像CSのためのRDモデルに基づく新しいハイブリッド・プラグイン・アンド・プレイ・フレームワークを提案する。 そこで,提案したH-based image CS問題の解法として,単純で効果的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-05-16T08:17:44Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。