論文の概要: Learning Energy-based Variational Latent Prior for VAEs

• arxiv url: http://arxiv.org/abs/2510.00260v1
• Date: Tue, 30 Sep 2025 20:32:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.248221
• Title: Learning Energy-based Variational Latent Prior for VAEs
• Title（参考訳）: VAEに先立つエネルギーに基づく変分潜時学習
• Authors: Debottam Dutta, Chaitanya Amballa, Zhongweiyang Xu, Yu-Lin Wei, Romit Roy Choudhury,
• Abstract要約: 変分自動エンコーダ(VAE)は、ぼやけや一貫性のないサンプルを生成することが知られている。 先行ホールとは、VAEの先行部分では高い確率を持つが、VAEの後方部分では低い確率を持つ領域を指す。 本稿では,前者をエネルギーベースモデル(EBM)としてモデル化することを提案する。
• 参考スコア（独自算出の注目度）: 11.63676322474951
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational Auto-Encoders (VAEs) are known to generate blurry and inconsistent samples. One reason for this is the "prior hole" problem. A prior hole refers to regions that have high probability under the VAE's prior but low probability under the VAE's posterior. This means that during data generation, high probability samples from the prior could have low probability under the posterior, resulting in poor quality data. Ideally, a prior needs to be flexible enough to match the posterior while retaining the ability to generate samples fast. Generative models continue to address this tradeoff. This paper proposes to model the prior as an energy-based model (EBM). While EBMs are known to offer the flexibility to match posteriors (and also improving the ELBO), they are traditionally slow in sample generation due to their dependency on MCMC methods. Our key idea is to bring a variational approach to tackle the normalization constant in EBMs, thus bypassing the expensive MCMC approaches. The variational form can be approximated with a sampler network, and we show that such an approach to training priors can be formulated as an alternating optimization problem. Moreover, the same sampler reduces to an implicit variational prior during generation, providing efficient and fast sampling. We compare our Energy-based Variational Latent Prior (EVaLP) method to multiple SOTA baselines and show improvements in image generation quality, reduced prior holes, and better sampling efficiency.
• Abstract（参考訳）: 変分自動エンコーダ(VAE)は、ぼやけや一貫性のないサンプルを生成することが知られている。 この理由の1つは「適切な穴」の問題である。 先行ホールとは、VAEの先行部分では高い確率を持つが、VAEの後方部分では低い確率を持つ領域を指す。 これは、データ生成の間、前者からの高確率サンプルは後部の下で低い確率を持ち、品質の悪いデータをもたらす可能性があることを意味する。 理想的には、サンプルを素早く生成する能力を維持しながら、後方に合わせるのに十分な柔軟性を持つ必要がある。 生成モデルは、このトレードオフに対処し続けています。 本稿では,前者をエネルギーベースモデル(EBM)としてモデル化することを提案する。 EBMは後方に適合する柔軟性(およびELBOの改良)を提供することが知られているが、MCMC法に依存しているため、伝統的にサンプル生成が遅くなっている。 我々のキーとなる考え方は、EMMの正規化定数に取り組むための変分的アプローチを導入し、高価なMCMCアプローチをバイパスすることである。 変分形式をサンプルネットワークで近似し,事前学習へのアプローチを交互最適化問題として定式化できることを示す。 さらに、同じサンプリング器は、生成中に暗黙の変動前まで減少し、効率的かつ高速なサンプリングを提供する。 提案手法を複数のSOTAベースラインと比較し, 画像生成品質の向上, 先行穴の縮小, サンプリング効率の向上を図った。

関連論文リスト

• Bayesian full waveform inversion with sequential surrogate model refinement [0.0]
  マルコフ連鎖モンテカルロ (MCMC) は後続確率密度関数をサンプリングする。 次元性推論法は、事前および訓練代理モデルを定義するのに役立つ。 本稿では,サロゲートモデルを段階的に洗練する反復的手法を提案する。
  論文  参考訳（メタデータ） (2025-05-06T07:17:03Z)
• Tackling the Problem of Distributional Shifts: Correcting Misspecified, High-Dimensional Data-Driven Priors for Inverse Problems [39.58317527488534]
  天体物理学の応用では、基礎となるデータ生成プロセスから独立した、あるいは同一に分散したサンプルを取得することはしばしば困難または不可能である。 本稿では,異なる観測セットの後方サンプルを用いてモデルを再学習し,集団レベルの分布を反復的に更新することでこの問題に対処することを提案する。 そこで本研究では,不特定分布から,更新分布が個体群レベルの分布に徐々に近づきつつあることを示す。
  論文  参考訳（メタデータ） (2024-07-24T22:39:27Z)
• Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
  高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。 EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。 本研究では,協調拡散回復可能性 (CDRL) を提案する。
  論文  参考訳（メタデータ） (2023-09-10T22:05:24Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• LDC-VAE: A Latent Distribution Consistency Approach to Variational AutoEncoders [26.349085280990657]
  本稿では, 後部分布と前部分布の矛盾を回避するために, 潜時分布整合性アプローチを提案する。 我々の手法は、VAEの強力な改善よりも、同等またはさらに優れた性能を実現している。
  論文  参考訳（メタデータ） (2021-09-22T10:34:40Z)
• Reducing the Amortization Gap in Variational Autoencoders: A Bayesian Random Function Approach [38.45568741734893]
  GPモデルの推論は、セミアモタイズ法よりもはるかに高速な1つのフィードフォワードパスによって行われる。 提案手法は,複数のベンチマークデータセットの最先端データよりも高い確率でテストデータが得られることを示す。
  論文  参考訳（メタデータ） (2021-02-05T13:01:12Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Learning Energy-Based Models by Diffusion Recovery Likelihood [61.069760183331745]
  本稿では,エネルギーベースモデルから気軽に学習・サンプルできる拡散回復可能性法を提案する。 学習後、ガウスの白色雑音分布から初期化するサンプリングプロセスにより合成画像を生成することができる。 非条件 CIFAR-10 では,本手法は FID 9.58 と開始スコア 8.30 を達成する。
  論文  参考訳（メタデータ） (2020-12-15T07:09:02Z)
• A Contrastive Learning Approach for Training Variational Autoencoder Priors [137.62674958536712]
  変分オートエンコーダ(VAE)は、多くの領域で応用される強力な可能性に基づく生成モデルの一つである。 VAEsが生成性に乏しいことの1つの説明は、事前の分布が集合の近似的な後部と一致しないという、事前の穴の問題である。 本研究では, 基底分布の積と再重み付け係数によって定義されるエネルギーベースの事前定義を行い, 基底を集合体後部へ近づけるようにした。
  論文  参考訳（メタデータ） (2020-10-06T17:59:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。