論文の概要: Persistently Trained, Diffusion-assisted Energy-based Models
- arxiv url: http://arxiv.org/abs/2304.10707v1
- Date: Fri, 21 Apr 2023 02:29:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-24 16:06:55.760888
- Title: Persistently Trained, Diffusion-assisted Energy-based Models
- Title(参考訳): 持続的学習型拡散支援エネルギーベースモデル
- Authors: Xinwei Zhang, Zhiqiang Tan, Zhijian Ou
- Abstract要約: 我々は,拡散データを導入し,持続的トレーニングを通じて拡散補助EBMと呼ばれる共同ESMを学習する。
持続的に訓練されたESMは、長期安定、訓練後の画像生成、配当検出の精度の向上を同時に達成できることを示す。
- 参考スコア(独自算出の注目度): 18.135784288023928
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Maximum likelihood (ML) learning for energy-based models (EBMs) is
challenging, partly due to non-convergence of Markov chain Monte Carlo.Several
variations of ML learning have been proposed, but existing methods all fail to
achieve both post-training image generation and proper density estimation. We
propose to introduce diffusion data and learn a joint EBM, called diffusion
assisted-EBMs, through persistent training (i.e., using persistent contrastive
divergence) with an enhanced sampling algorithm to properly sample from
complex, multimodal distributions. We present results from a 2D illustrative
experiment and image experiments and demonstrate that, for the first time for
image data, persistently trained EBMs can {\it simultaneously} achieve long-run
stability, post-training image generation, and superior out-of-distribution
detection.
- Abstract(参考訳): マルコフ連鎖モンテカルロの非収束のため、エネルギーベースモデル(EBM)の最大確率学習(ML)は困難であり、ML学習の多くのバリエーションが提案されているが、既存の手法はすべて、訓練後の画像生成と適切な密度推定の両方を達成することができない。
我々は,拡散データを導入し,拡散補助型EBMと呼ばれる共同ESMを,複雑なマルチモーダル分布から適切にサンプリングするための改良されたサンプリングアルゴリズムを用いて,持続的トレーニング(永続的コントラスト分散を用いた)を通じて学習することを提案する。
本研究では,2次元図形実験および画像実験の結果を提示し,画像データとして初めて,持続的に訓練されたESMが長時間の安定性,訓練後の画像生成,配当検出に優れることを示す。
関連論文リスト
- Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [111.90150190668555]
反復Denoising Energy Matching (iDEM)
iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。
提案手法は,全測定値の最先端性能を達成し,2~5倍の速さでトレーニングを行う。
論文 参考訳(メタデータ) (2024-02-09T01:11:23Z) - Generalized Contrastive Divergence: Joint Training of Energy-Based Model
and Diffusion Model through Inverse Reinforcement Learning [13.22531381403974]
Generalized Contrastive Divergence (GCD) はエネルギーベースモデル(EBM)とサンプルを同時にトレーニングするための新しい目的関数である。
EBMと拡散モデルの両方にジョイントトレーニングが有用であることを示す予備的かつ有望な結果を示す。
論文 参考訳(メタデータ) (2023-12-06T10:10:21Z) - Energy-Based Models for Anomaly Detection: A Manifold Diffusion Recovery
Approach [12.623417770432146]
本稿では,データ内の低次元構造を利用した異常検出のための新しいエネルギーベースモデル(EBM)のトレーニング手法を提案する。
提案したアルゴリズムであるManifold Projection-Diffusion Recovery (MPDR) は、トレーニングデータセットを近似した低次元多様体に沿ったデータポイントを摂動する。
実験の結果,MPDRは多種多様なデータ型を含む様々な異常検出タスクに対して高い性能を示すことがわかった。
論文 参考訳(メタデータ) (2023-10-28T11:18:39Z) - Learning Energy-Based Models by Cooperative Diffusion Recovery
Likelihood [70.96045509920326]
高次元データに対する最大推定値のトレーニングエネルギーベースモデル(EBMs)は、困難かつ時間を要する可能性がある。
本研究では,データセットの雑音の増大する頂点上で定義された一連のEMMから,協調拡散回復確率(CDRL)を抽出し,抽出する手法を提案する。
CIFAR-10 と ImageNet 32x32 の既存 EBM 法と比較して FID のスコアが大幅に向上し,DRL を2倍高速化した。
論文 参考訳(メタデータ) (2023-09-10T22:05:24Z) - SDDM: Score-Decomposed Diffusion Models on Manifolds for Unpaired
Image-to-Image Translation [96.11061713135385]
本研究は,画像生成時の絡み合った分布を明示的に最適化する,新しいスコア分解拡散モデルを提案する。
我々は、スコア関数の精製部分とエネルギー誘導を等しくし、多様体上の多目的最適化を可能にする。
SDDMは既存のSBDMベースの手法よりも優れており、I2Iベンチマークでは拡散ステップがはるかに少ない。
論文 参考訳(メタデータ) (2023-08-04T06:21:57Z) - Decoupled Diffusion Models: Image to Zero and Zero to Noise [57.9447970931649]
本稿では, 複雑な拡散過程を2つの比較的単純なプロセスに分離し, 生成効率と速度を改善することを提案する。
拡散過程の疎結合は学習の難しさを低減し、明示的な遷移確率は生成速度を大幅に向上させる。
また,このフレームワークは画像条件付き生成や高解像度画像合成にも適用可能であること,また,10機能評価のみで高品質な画像を生成することができることを示す。
論文 参考訳(メタデータ) (2023-06-23T18:08:00Z) - DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion [144.9653045465908]
拡散確率モデル(DDPM)に基づく新しい融合アルゴリズムを提案する。
近赤外可視画像融合と医用画像融合で有望な融合が得られた。
論文 参考訳(メタデータ) (2023-03-13T04:06:42Z) - Score-based diffusion models for accelerated MRI [35.3148116010546]
本研究では,画像中の逆問題を容易に解けるような条件分布からデータをサンプリングする方法を提案する。
我々のモデルは、訓練のためにのみ等級画像を必要とするが、複雑な値のデータを再構成することができ、さらに並列画像まで拡張できる。
論文 参考訳(メタデータ) (2021-10-08T08:42:03Z) - Learning Energy-Based Models by Diffusion Recovery Likelihood [61.069760183331745]
本稿では,エネルギーベースモデルから気軽に学習・サンプルできる拡散回復可能性法を提案する。
学習後、ガウスの白色雑音分布から初期化するサンプリングプロセスにより合成画像を生成することができる。
非条件 CIFAR-10 では,本手法は FID 9.58 と開始スコア 8.30 を達成する。
論文 参考訳(メタデータ) (2020-12-15T07:09:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。