論文の概要: Persistently Trained, Diffusion-assisted Energy-based Models

• arxiv url: http://arxiv.org/abs/2304.10707v1
• Date: Fri, 21 Apr 2023 02:29:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-24 16:06:55.760888
• Title: Persistently Trained, Diffusion-assisted Energy-based Models
• Title（参考訳）: 持続的学習型拡散支援エネルギーベースモデル
• Authors: Xinwei Zhang, Zhiqiang Tan, Zhijian Ou
• Abstract要約: 我々は,拡散データを導入し,持続的トレーニングを通じて拡散補助EBMと呼ばれる共同ESMを学習する。 持続的に訓練されたESMは、長期安定、訓練後の画像生成、配当検出の精度の向上を同時に達成できることを示す。
• 参考スコア（独自算出の注目度）: 18.135784288023928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Maximum likelihood (ML) learning for energy-based models (EBMs) is challenging, partly due to non-convergence of Markov chain Monte Carlo.Several variations of ML learning have been proposed, but existing methods all fail to achieve both post-training image generation and proper density estimation. We propose to introduce diffusion data and learn a joint EBM, called diffusion assisted-EBMs, through persistent training (i.e., using persistent contrastive divergence) with an enhanced sampling algorithm to properly sample from complex, multimodal distributions. We present results from a 2D illustrative experiment and image experiments and demonstrate that, for the first time for image data, persistently trained EBMs can {\it simultaneously} achieve long-run stability, post-training image generation, and superior out-of-distribution detection.
• Abstract（参考訳）: マルコフ連鎖モンテカルロの非収束のため、エネルギーベースモデル(EBM)の最大確率学習(ML)は困難であり、ML学習の多くのバリエーションが提案されているが、既存の手法はすべて、訓練後の画像生成と適切な密度推定の両方を達成することができない。 我々は,拡散データを導入し,拡散補助型EBMと呼ばれる共同ESMを,複雑なマルチモーダル分布から適切にサンプリングするための改良されたサンプリングアルゴリズムを用いて,持続的トレーニング(永続的コントラスト分散を用いた)を通じて学習することを提案する。 本研究では,2次元図形実験および画像実験の結果を提示し,画像データとして初めて,持続的に訓練されたESMが長時間の安定性,訓練後の画像生成,配当検出に優れることを示す。

関連論文リスト

• Maximum Entropy Inverse Reinforcement Learning of Diffusion Models with Energy-Based Models [12.327318533784961]
  本稿では,拡散生成モデルのサンプル品質を向上させるために,最大強化学習(IRL)手法を提案する。 トレーニングデータから推定したログ密度を用いて拡散モデルを訓練(または微調整)する。 実験により,DxMIを用いて微調整した拡散モデルでは,4段階から10段階の精度で高品質な試料を生成できることがわかった。
  論文  参考訳（メタデータ） (2024-06-30T08:52:17Z)
• EM Distillation for One-step Diffusion Models [65.57766773137068]
  最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。 本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
  論文  参考訳（メタデータ） (2024-05-27T05:55:22Z)
• Distilling Diffusion Models into Conditional GANs [90.76040478677609]
  複雑な多段階拡散モデルを1段階条件付きGAN学生モデルに蒸留する。 E-LatentLPIPSは,拡散モデルの潜在空間で直接動作する知覚的損失である。 我々は, 最先端の1ステップ拡散蒸留モデルよりも優れた1ステップ発生器を実証した。
  論文  参考訳（メタデータ） (2024-05-09T17:59:40Z)
• Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
  反復Denoising Energy Matching (iDEM) iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。 提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
  論文  参考訳（メタデータ） (2024-02-09T01:11:23Z)
• Generalized Contrastive Divergence: Joint Training of Energy-Based Model and Diffusion Model through Inverse Reinforcement Learning [13.22531381403974]
  Generalized Contrastive Divergence (GCD) はエネルギーベースモデル(EBM)とサンプルを同時にトレーニングするための新しい目的関数である。 EBMと拡散モデルの両方にジョイントトレーニングが有用であることを示す予備的かつ有望な結果を示す。
  論文  参考訳（メタデータ） (2023-12-06T10:10:21Z)
• Energy-Based Models for Anomaly Detection: A Manifold Diffusion Recovery Approach [12.623417770432146]
  本稿では,データ内の低次元構造を利用した異常検出のための新しいエネルギーベースモデル(EBM)のトレーニング手法を提案する。 提案したアルゴリズムであるManifold Projection-Diffusion Recovery (MPDR) は、トレーニングデータセットを近似した低次元多様体に沿ったデータポイントを摂動する。 実験の結果,MPDRは多種多様なデータ型を含む様々な異常検出タスクに対して高い性能を示すことがわかった。
  論文  参考訳（メタデータ） (2023-10-28T11:18:39Z)
• Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
  高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。 EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。 本研究では,協調拡散回復可能性 (CDRL) を提案する。
  論文  参考訳（メタデータ） (2023-09-10T22:05:24Z)
• SDDM: Score-Decomposed Diffusion Models on Manifolds for Unpaired Image-to-Image Translation [96.11061713135385]
  本研究は,画像生成時の絡み合った分布を明示的に最適化する,新しいスコア分解拡散モデルを提案する。 我々は、スコア関数の精製部分とエネルギー誘導を等しくし、多様体上の多目的最適化を可能にする。 SDDMは既存のSBDMベースの手法よりも優れており、I2Iベンチマークでは拡散ステップがはるかに少ない。
  論文  参考訳（メタデータ） (2023-08-04T06:21:57Z)
• DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion [144.9653045465908]
  拡散確率モデル(DDPM)に基づく新しい融合アルゴリズムを提案する。 近赤外可視画像融合と医用画像融合で有望な融合が得られた。
  論文  参考訳（メタデータ） (2023-03-13T04:06:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。