論文の概要: Energy-Calibrated VAE with Test Time Free Lunch
- arxiv url: http://arxiv.org/abs/2311.04071v5
- Date: Thu, 18 Jul 2024 07:24:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-19 22:00:55.004535
- Title: Energy-Calibrated VAE with Test Time Free Lunch
- Title（参考訳）: 試験時間自由ランチを用いたエネルギーキャリブレーション型VAE
- Authors: Yihong Luo, Siya Qiu, Xingjian Tao, Yujun Cai, Jing Tang,
- Abstract要約: 可変オートエンコーダ(VAE)の強化のための条件付きエネルギーベースモデル(EBM)を提案する。
VAEは、生成方向に生成されたサンプルの調整されたトレーニングが欠如しているため、しばしばぼやけた生成サンプルに悩まされる。
我々は,EC-VAEの校正アイデアを変分学習と正規化フローに拡張し,ニューラルトランスポートとレンジヌル理論によるゼロショット画像復元にEC-VAEを適用した。
- 参考スコア（独自算出の注目度）: 10.698329211674372
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose a novel generative model that utilizes a conditional Energy-Based Model (EBM) for enhancing Variational Autoencoder (VAE), termed Energy-Calibrated VAE (EC-VAE). Specifically, VAEs often suffer from blurry generated samples due to the lack of a tailored training on the samples generated in the generative direction. On the other hand, EBMs can generate high-quality samples but require expensive Markov Chain Monte Carlo (MCMC) sampling. To address these issues, we introduce a conditional EBM for calibrating the generative direction of VAE during training, without requiring it for the generation at test time. In particular, we train EC-VAE upon both the input data and the calibrated samples with adaptive weight to enhance efficacy while avoiding MCMC sampling at test time. Furthermore, we extend the calibration idea of EC-VAE to variational learning and normalizing flows, and apply EC-VAE to an additional application of zero-shot image restoration via neural transport prior and range-null theory. We evaluate the proposed method with two applications, including image generation and zero-shot image restoration, and the experimental results show that our method achieves competitive performance over single-step non-adversarial generation. Our code is available at https://github.com/DJ-LYH/EC-VAE.
- Abstract（参考訳）: 本稿では,Energy-Calibrated VAE(EC-VAE)と呼ばれる可変オートエンコーダ(VAE)の強化に,条件付きエネルギーベースモデル(EBM)を利用する新しい生成モデルを提案する。
特に、VAEは、生成方向に生成されたサンプルの調整されたトレーニングが欠如しているため、ぼやけたサンプルに悩まされることが多い。
一方、ESMは高品質なサンプルを生成することができるが、高価なマルコフ・チェイン・モンテカルロ(MCMC)サンプリングが必要である。
これらの課題に対処するために,テスト時の生成に必要とせず,トレーニング中のVAE生成方向を調整するための条件付きEMMを導入する。
特に,入力データと校正標本の両方を適応重量でトレーニングし,MCMCサンプリングを回避しながら有効性を高める。
さらに、EC-VAEのキャリブレーションの考え方を変分学習や正規化フローに拡張し、ニューラルトランスポートとレンジヌル理論によるゼロショット画像復元のさらなる応用にEC-VAEを適用した。
提案手法を画像生成とゼロショット画像復元を含む2つのアプリケーションを用いて評価し, 実験結果から, 単段階の非逆生成よりも競合性能が高いことを示す。
私たちのコードはhttps://github.com/DJ-LYH/EC-VAE.comで公開されています。
関連論文リスト
- EM Distillation for One-step Diffusion Models [65.57766773137068]
最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。
本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
論文 参考訳（メタデータ） (2024-05-27T05:55:22Z) - Improved Distribution Matching Distillation for Fast Image Synthesis [54.72356560597428]
この制限を解除し、MDDトレーニングを改善する一連の技術であるMDD2を紹介する。
まず、回帰損失と高価なデータセット構築の必要性を排除します。
第2に, GAN損失を蒸留工程に統合し, 生成した試料と実画像との識別を行う。
論文 参考訳（メタデータ） (2024-05-23T17:59:49Z) - Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。
テスト時間フォワード最適化適応法(FOA)を提案する。
FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
論文 参考訳（メタデータ） (2024-04-02T05:34:33Z) - Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
反復Denoising Energy Matching (iDEM)
iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。
提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
論文 参考訳（メタデータ） (2024-02-09T01:11:23Z) - Sample as You Infer: Predictive Coding With Langevin Dynamics [11.515490109360012]
汎用的な深層生成モデルにおけるパラメータ学習のための新しいアルゴリズムを提案する。
提案手法は,標準変分自動エンコーダトレーニングから得られる性能と超越性を実現するために,標準PCアルゴリズムを改良する。
論文 参考訳（メタデータ） (2023-11-22T19:36:47Z) - Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。
EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。
本研究では,協調拡散回復可能性 (CDRL) を提案する。
論文 参考訳（メタデータ） (2023-09-10T22:05:24Z) - Boosting Diffusion Models with an Adaptive Momentum Sampler [21.88226514633627]
本稿では,広く使用されているAdamサンプルから着想を得た新しいDPM用リバースサンプルについて述べる。
提案手法は,事前学習した拡散モデルに容易に適用できる。
初期段階から更新方向を暗黙的に再利用することにより,提案するサンプルは,高レベルのセマンティクスと低レベルの詳細とのバランスを良くする。
論文 参考訳（メタデータ） (2023-08-23T06:22:02Z) - Balanced Training of Energy-Based Models with Adaptive Flow Sampling [13.951904929884618]
エネルギーベースモデル (EBMs) は、非正規化ログ密度を直接パラメータ化する汎用密度推定モデルである。
我々は、異なる種類の生成モデル、正規化フロー(NF)を用いたESMのための新しい最大可能性トレーニングアルゴリズムを提案する。
本手法はトレーニング中にNFをEMMに適合させ,NF支援サンプリング方式によりESMの正確な勾配が常に得られるようにする。
論文 参考訳（メタデータ） (2023-06-01T13:58:06Z) - Towards Bridging the Performance Gaps of Joint Energy-based Models [1.933681537640272]
共同エネルギーベースモデル(JEM)は高い分類精度と画像生成品質を同時に達成する。
本稿では,JEMの精度ギャップと生成品質ギャップを橋渡しする様々なトレーニング手法を紹介する。
我々のSADA-JEMは、画像分類、画像生成、キャリブレーション、アウト・オブ・ディストリビューション検出、対向ロバストネスにおいて、最先端のパフォーマンスを達成し、JEMより優れています。
論文 参考訳（メタデータ） (2022-09-16T14:19:48Z) - No MCMC for me: Amortized sampling for fast and stable training of
energy-based models [62.1234885852552]
エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。
本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。
次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
論文 参考訳（メタデータ） (2020-10-08T19:17:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。