論文の概要: Learning Joint Latent Space EBM Prior Model for Multi-layer Generator

• arxiv url: http://arxiv.org/abs/2306.06323v1
• Date: Sat, 10 Jun 2023 00:27:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 19:42:52.694978
• Title: Learning Joint Latent Space EBM Prior Model for Multi-layer Generator
• Title（参考訳）: 多層発電機のための学習ジョイント潜在空間ebm事前モデル
• Authors: Jiali Cui, Ying Nian Wu, Tian Han
• Abstract要約: 多層ジェネレータモデルの学習における基礎的問題について検討する。 本稿では,全層にまたがる待ち行列空間上のエネルギーモデル (EBM) を提案する。 実験により、学習したモデルが高品質な画像を生成する際に表現できることが実証された。
• 参考スコア（独自算出の注目度）: 50.745174885285294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies the fundamental problem of learning multi-layer generator models. The multi-layer generator model builds multiple layers of latent variables as a prior model on top of the generator, which benefits learning complex data distribution and hierarchical representations. However, such a prior model usually focuses on modeling inter-layer relations between latent variables by assuming non-informative (conditional) Gaussian distributions, which can be limited in model expressivity. To tackle this issue and learn more expressive prior models, we propose an energy-based model (EBM) on the joint latent space over all layers of latent variables with the multi-layer generator as its backbone. Such joint latent space EBM prior model captures the intra-layer contextual relations at each layer through layer-wise energy terms, and latent variables across different layers are jointly corrected. We develop a joint training scheme via maximum likelihood estimation (MLE), which involves Markov Chain Monte Carlo (MCMC) sampling for both prior and posterior distributions of the latent variables from different layers. To ensure efficient inference and learning, we further propose a variational training scheme where an inference model is used to amortize the costly posterior MCMC sampling. Our experiments demonstrate that the learned model can be expressive in generating high-quality images and capturing hierarchical features for better outlier detection.
• Abstract（参考訳）: 本稿では,多層発電機モデル学習の基本問題について述べる。 多層ジェネレータモデルは、ジェネレータの上に先行モデルとして潜伏変数の複数のレイヤを構築し、複雑なデータ分散と階層表現の学習に役立ちます。 しかし、そのような事前モデルは通常、モデル表現性に制限のある非インフォーマティブ(条件付き)ガウス分布を仮定することで、潜在変数間の層間関係のモデル化に焦点を当てている。 この問題に対処し、より表現力のある先行モデルを学ぶために、多層ジェネレータをバックボーンとする潜在変数のすべての層にまたがるジョイント潜在空間上のエネルギーベースモデル(EBM)を提案する。 このようなジョイント潜時空間ebm事前モデルは、層毎のエネルギー項を通じて各層における層内コンテキスト関係をキャプチャし、異なる層間の潜時変数を共同で補正する。 そこで本研究では, マルコフ連鎖モンテカルロ (mcmc) による各層からの潜在変数の事前分布と後方分布をサンプリングするmle (maximum likelihood estimation) による共同学習法を開発した。 さらに,効率的な推論と学習を実現するために,コストのかかる後方mcmcサンプリングの償却に推論モデルを用いる変分訓練方式を提案する。 実験では,学習モデルが高品質な画像の生成と階層的特徴のキャプチャによって,より優れた異常検出を実現することを実証した。

関連論文リスト

• Learning Multimodal Latent Generative Models with Energy-Based Prior [3.6648642834198797]
  EBMに潜時生成モデルを統合する新しいフレームワークを提案する。 このアプローチは、より表現力があり、情報的であり、複数のモダリティにまたがる情報のより良いキャプチャをもたらす。
  論文  参考訳（メタデータ） (2024-09-30T01:38:26Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Learning Latent Space Hierarchical EBM Diffusion Models [4.4996462447311725]
  エネルギーベース先行モデルと多層ジェネレータモデルの学習問題について検討する。 近年,エネルギーベースモデル(EBM)を第2段階の補完モデルとして学習し,ギャップを埋める研究が進められている。 本研究では,EBMサンプリングの負担を軽減するために拡散確率スキームを活用することを提案する。
  論文  参考訳（メタデータ） (2024-05-22T18:34:25Z)
• FissionFusion: Fast Geometric Generation and Hierarchical Souping for Medical Image Analysis [0.7751705157998379]
  十分に注釈付けされた医療データセットの不足は、ImageNetのような広範なデータセットやCLIPのような事前訓練されたモデルからの移行学習を活用する必要がある。 モデルスープは、In-Domain(ID)タスクのパフォーマンスを改善し、out-of-Distribution(OOD)データセットに対する堅牢性を高めることを目的とした、複数の微調整されたモデルの平均である。 本稿では,様々なレベルのモデルの局所的および大域的集約を伴う階層的統合手法を提案する。
  論文  参考訳（メタデータ） (2024-03-20T06:48:48Z)
• Learning Hierarchical Features with Joint Latent Space Energy-Based Prior [44.4434704520236]
  階層表現学習における多層ジェネレータモデルの基本的問題について検討する。 実効的階層型表現学習のための多層潜在変数を用いた有意な潜在空間EMM事前モデルを提案する。
  論文  参考訳（メタデータ） (2023-10-14T15:44:14Z)
• Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
  高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。 EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。 本研究では,協調拡散回復可能性 (CDRL) を提案する。
  論文  参考訳（メタデータ） (2023-09-10T22:05:24Z)
• A new perspective on probabilistic image modeling [92.89846887298852]
  本稿では,密度推定,サンプリング,トラクタブル推論が可能な画像モデリングのための新しい確率論的手法を提案する。 DCGMMは、CNNのように、ランダムな初期条件からSGDによってエンドツーエンドに訓練することができる。 本研究は,近年のPCおよびSPNモデルと,推論,分類,サンプリングの観点から比較した。
  論文  参考訳（メタデータ） (2022-03-21T14:53:57Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。