論文の概要: Energy-Calibrated VAE with Test Time Free Lunch
- arxiv url: http://arxiv.org/abs/2311.04071v3
- Date: Tue, 16 Jan 2024 08:04:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 01:01:52.617562
- Title: Energy-Calibrated VAE with Test Time Free Lunch
- Title(参考訳): テストタイムフリーランチ付き省エネルギーvae
- Authors: Yihong Luo, Siya Qiu, Xingjian Tao, Yujun Cai, Jing Tang
- Abstract要約: 可変オートエンコーダ(VAE)の強化のための条件付きエネルギーベースモデル(EBM)を提案する。
VAEは、生成方向に生成されたサンプルの調整されたトレーニングが欠如しているため、しばしばぼやけた生成サンプルに悩まされる。
我々は,EC-VAEの校正アイデアを変分学習と正規化フローに拡張し,ニューラルトランスポートとレンジヌル理論によるゼロショット画像復元にEC-VAEを適用した。
- 参考スコア(独自算出の注目度): 11.477659210519278
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose a novel generative model that utilizes a
conditional Energy-Based Model (EBM) for enhancing Variational Autoencoder
(VAE), termed Energy-Calibrated VAE (EC-VAE). Specifically, VAEs often suffer
from blurry generated samples due to the lack of a tailored training on the
samples generated in the generative direction. On the other hand, EBMs can
generate high-quality samples but require expensive Markov Chain Monte Carlo
(MCMC) sampling. To address these issues, we introduce a conditional EBM for
calibrating the generative direction of VAE during training, without requiring
it for the generation at test time. In particular, we train EC-VAE upon both
the input data and the calibrated samples with adaptive weight to enhance
efficacy while avoiding MCMC sampling at test time. Furthermore, we extend the
calibration idea of EC-VAE to variational learning and normalizing flows, and
apply EC-VAE to an additional application of zero-shot image restoration via
neural transport prior and range-null theory. We evaluate the proposed method
with two applications, including image generation and zero-shot image
restoration, and the experimental results show that our method achieves the
state-of-the-art performance over single-step non-adversarial generation. Our
code is available at https://github.com/DJ-LYH/EC-VAE.
- Abstract(参考訳): 本稿では,Energy-Calibrated VAE(EC-VAE)と呼ばれる可変オートエンコーダ(VAE)の強化に条件付きエネルギーベースモデル(EBM)を利用する新しい生成モデルを提案する。
特に、VAEは、生成方向に生成されたサンプルの調整されたトレーニングが欠如しているため、ぼやけたサンプルに悩まされることが多い。
一方、ESMは高品質なサンプルを生成することができるが、高価なマルコフ連鎖モンテカルロ(MCMC)サンプリングが必要である。
これらの課題に対処するために,テスト時の生成に必要とせず,トレーニング中のVAE生成方向を調整するための条件付きEMMを導入する。
特に,ec-vaeを入力データとキャリブレーション試料の両方に適応重みで訓練し,mcmcサンプリングを回避しつつ有効性を高める。
さらに,ec-vaeのキャリブレーションアイデアを変分学習と正規化に拡張し,神経伝達前と範囲ヌル理論によるゼロショット画像復元の新たな応用にec-vaeを適用する。
提案手法は, 画像生成とゼロショット画像復元の2つの応用により評価し, 実験により, 単段非敵生成よりも最先端の性能が得られることを示した。
私たちのコードはhttps://github.com/dj-lyh/ec-vaeで利用可能です。
関連論文リスト
- Ambient Diffusion Posterior Sampling: Solving Inverse Problems with
Diffusion Models trained on Corrupted Data [56.81246107125692]
Ambient Diffusion Posterior Smpling (A-DPS) は、ある種類の腐敗に対して事前訓練された生成モデルである。
A-DPSは、いくつかの画像復元タスクにおいて、クリーンなデータで訓練されたモデルよりも、速度と性能の両方で優れていることが示される。
我々はAmbient Diffusionフレームワークを拡張して、FourierサブサンプルのマルチコイルMRI測定にのみアクセスしてMRIモデルをトレーニングする。
論文 参考訳(メタデータ) (2024-03-13T17:28:20Z) - Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [111.90150190668555]
反復Denoising Energy Matching (iDEM)
iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。
提案手法は,全測定値の最先端性能を達成し,2~5倍の速さでトレーニングを行う。
論文 参考訳(メタデータ) (2024-02-09T01:11:23Z) - Sample as You Infer: Predictive Coding With Langevin Dynamics [11.515490109360012]
汎用的な深層生成モデルにおけるパラメータ学習のための新しいアルゴリズムを提案する。
提案手法は,標準変分自動エンコーダトレーニングから得られる性能と超越性を実現するために,標準PCアルゴリズムを改良する。
論文 参考訳(メタデータ) (2023-11-22T19:36:47Z) - Learning Energy-Based Models by Cooperative Diffusion Recovery
Likelihood [70.96045509920326]
高次元データに対する最大推定値のトレーニングエネルギーベースモデル(EBMs)は、困難かつ時間を要する可能性がある。
本研究では,データセットの雑音の増大する頂点上で定義された一連のEMMから,協調拡散回復確率(CDRL)を抽出し,抽出する手法を提案する。
CIFAR-10 と ImageNet 32x32 の既存 EBM 法と比較して FID のスコアが大幅に向上し,DRL を2倍高速化した。
論文 参考訳(メタデータ) (2023-09-10T22:05:24Z) - Boosting Diffusion Models with an Adaptive Momentum Sampler [21.88226514633627]
本稿では,広く使用されているAdamサンプルから着想を得た新しいDPM用リバースサンプルについて述べる。
提案手法は,事前学習した拡散モデルに容易に適用できる。
初期段階から更新方向を暗黙的に再利用することにより,提案するサンプルは,高レベルのセマンティクスと低レベルの詳細とのバランスを良くする。
論文 参考訳(メタデータ) (2023-08-23T06:22:02Z) - Balanced Training of Energy-Based Models with Adaptive Flow Sampling [13.951904929884618]
エネルギーベースモデル (EBMs) は、非正規化ログ密度を直接パラメータ化する汎用密度推定モデルである。
我々は、異なる種類の生成モデル、正規化フロー(NF)を用いたESMのための新しい最大可能性トレーニングアルゴリズムを提案する。
本手法はトレーニング中にNFをEMMに適合させ,NF支援サンプリング方式によりESMの正確な勾配が常に得られるようにする。
論文 参考訳(メタデータ) (2023-06-01T13:58:06Z) - Towards Bridging the Performance Gaps of Joint Energy-based Models [1.933681537640272]
共同エネルギーベースモデル(JEM)は高い分類精度と画像生成品質を同時に達成する。
本稿では,JEMの精度ギャップと生成品質ギャップを橋渡しする様々なトレーニング手法を紹介する。
我々のSADA-JEMは、画像分類、画像生成、キャリブレーション、アウト・オブ・ディストリビューション検出、対向ロバストネスにおいて、最先端のパフォーマンスを達成し、JEMより優れています。
論文 参考訳(メタデータ) (2022-09-16T14:19:48Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳(メタデータ) (2022-04-06T06:39:40Z) - Controllable and Compositional Generation with Latent-Space Energy-Based
Models [60.87740144816278]
制御可能な生成は、現実世界のアプリケーションで深層生成モデルの採用を成功させる上で重要な要件の1つである。
本研究では, エネルギーモデル(EBM)を用いて, 属性の集合上での合成生成を扱う。
エネルギー関数を論理演算子と合成することにより、分解能1024x1024のフォトリアリスティック画像を生成する際に、このような構成性を実現するのはこれが初めてである。
論文 参考訳(メタデータ) (2021-10-21T03:31:45Z) - No MCMC for me: Amortized sampling for fast and stable training of
energy-based models [62.1234885852552]
エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。
本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。
次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
論文 参考訳(メタデータ) (2020-10-08T19:17:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。