論文の概要: Joint Training of Variational Auto-Encoder and Latent Energy-Based Model

• arxiv url: http://arxiv.org/abs/2006.06059v1
• Date: Wed, 10 Jun 2020 20:32:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 04:57:35.076232
• Title: Joint Training of Variational Auto-Encoder and Latent Energy-Based Model
• Title（参考訳）: 変分オートエンコーダと潜時エネルギーベースモデルの共同訓練
• Authors: Tian Han, Erik Nijkamp, Linqi Zhou, Bo Pang, Song-Chun Zhu, Ying Nian Wu
• Abstract要約: 本稿では,変分オートエンコーダ(VAE)と潜時エネルギーベースモデル(EBM)を併用した共同学習手法を提案する。 VAEと潜伏ESMのジョイントトレーニングは、潜伏ベクトル上の3つの関節分布と画像との間の3つのクルバック・リーブラー分岐からなる目的関数に基づいている。
• 参考スコア（独自算出の注目度）: 112.7509497792616
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a joint training method to learn both the variational auto-encoder (VAE) and the latent energy-based model (EBM). The joint training of VAE and latent EBM are based on an objective function that consists of three Kullback-Leibler divergences between three joint distributions on the latent vector and the image, and the objective function is of an elegant symmetric and anti-symmetric form of divergence triangle that seamlessly integrates variational and adversarial learning. In this joint training scheme, the latent EBM serves as a critic of the generator model, while the generator model and the inference model in VAE serve as the approximate synthesis sampler and inference sampler of the latent EBM. Our experiments show that the joint training greatly improves the synthesis quality of the VAE. It also enables learning of an energy function that is capable of detecting out of sample examples for anomaly detection.
• Abstract（参考訳）: 本稿では,変分オートエンコーダ(VAE)と潜時エネルギーベースモデル(EBM)を併用した共同学習手法を提案する。 VAEと潜伏ESMの合同訓練は、潜伏ベクトル上の3つの関節分布と画像との間の3つのクルバック・リーバー分岐からなる目的関数に基づいており、目的関数は、変分学習と逆数学習をシームレスに統合するエレガントな対称および反対称な発散三角形である。 この共同トレーニングスキームでは、潜伏ESMはジェネレータモデルへの批判として機能し、VAEのジェネレータモデルと推論モデルは、潜伏ESMの近似合成サンプルおよび推論サンプルとして機能する。 実験の結果,共同訓練はVAEの合成品質を大幅に向上させることがわかった。 また、サンプルからサンプルを検出できるエネルギー関数を学習して異常を検出することもできる。

関連論文リスト

• Hitchhiker's guide on Energy-Based Models: a comprehensive review on the relation with other generative models, sampling and statistical physics [0.0]
  エネルギーベースモデル(EBM)は、生成モデリングの領域において強力なフレームワークとして登場した。 このレビューは、物理学者にESMの包括的理解を提供し、他の生成モデルとの関係を説明することを目的としている。
  論文  参考訳（メタデータ） (2024-06-19T16:08:00Z)
• Generalized Contrastive Divergence: Joint Training of Energy-Based Model and Diffusion Model through Inverse Reinforcement Learning [13.22531381403974]
  Generalized Contrastive Divergence (GCD) はエネルギーベースモデル(EBM)とサンプルを同時にトレーニングするための新しい目的関数である。 EBMと拡散モデルの両方にジョイントトレーニングが有用であることを示す予備的かつ有望な結果を示す。
  論文  参考訳（メタデータ） (2023-12-06T10:10:21Z)
• Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
  高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。 EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。 本研究では,協調拡散回復可能性 (CDRL) を提案する。
  論文  参考訳（メタデータ） (2023-09-10T22:05:24Z)
• MCMC-Correction of Score-Based Diffusion Models for Model Composition [2.682859657520006]
  拡散モデルは、スコアまたはエネルギー関数のどちらかの観点からパラメータ化することができる。 本稿では,エネルギーモデルにインスパイアされたスコアパラメータ化と受理確率の計算を提案する。
  論文  参考訳（メタデータ） (2023-07-26T07:50:41Z)
• On Feature Diversity in Energy-based Models [98.78384185493624]
  エネルギーベースモデル(EBM)は通常、異なる特徴の組み合わせを学習し、入力構成ごとにエネルギーマッピングを生成する内部モデルによって構成される。 EBMのほぼ正しい(PAC)理論を拡張し,EBMの性能に及ぼす冗長性低減の影響を解析した。
  論文  参考訳（メタデータ） (2023-06-02T12:30:42Z)
• Equivariant Diffusion for Molecule Generation in 3D [74.289191525633]
  この研究は、ユークリッド変換に同値な3次元の分子計算生成のための拡散モデルを導入する。 提案手法は, 従来の3次元分子生成法に比べて, 生成した試料の品質と訓練時の効率を著しく向上させる。
  論文  参考訳（メタデータ） (2022-03-31T12:52:25Z)
• Learning Equivariant Energy Based Models with Equivariant Stein Variational Gradient Descent [80.73580820014242]
  本稿では,確率モデルに対称性を組み込むことにより,確率密度の効率的なサンプリングと学習の問題に焦点をあてる。 まず、等変シュタイン変分勾配Descentアルゴリズムを導入する。これは、対称性を持つ密度からサンプリングするスタインの同一性に基づく同変サンプリング法である。 我々はエネルギーベースモデルのトレーニングを改善し、スケールアップする新しい方法を提案する。
  論文  参考訳（メタデータ） (2021-06-15T01:35:17Z)
• Learning Energy-Based Model with Variational Auto-Encoder as Amortized Sampler [35.80109055748496]
  最大確率でエネルギーベースモデル(ebms)を訓練するにはマルコフ連鎖モンテカルロサンプリングが必要である。 我々は、エネルギー関数から派生したランゲビンダイナミクスのような有限ステップMCMCを初期化する変分オートエンコーダ(VAE)を学びます。 これらのアモールト化MCMCサンプルにより、ESMは「合成による分析」スキームに従って最大で訓練することができる。 我々はこの共同学習アルゴリズムを変分MCMC教育と呼び、VAEはEMMをデータ分布に向けて追従する。
  論文  参考訳（メタデータ） (2020-12-29T20:46:40Z)
• Energy-based View of Retrosynthesis [70.66156081030766]
  エネルギーモデルとしてシーケンスおよびグラフベースの手法を統一するフレームワークを提案する。 本稿では,ベイズ前方および後方予測に対して一貫した訓練を行うフレームワーク内での新しい二重変種を提案する。 このモデルは、反応型が不明なテンプレートフリーアプローチに対して、最先端の性能を9.6%向上させる。
  論文  参考訳（メタデータ） (2020-07-14T18:51:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。