論文の概要: Generative Modelling with High-Order Langevin Dynamics

• arxiv url: http://arxiv.org/abs/2404.12814v2
• Date: Mon, 22 Apr 2024 01:14:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 12:38:52.528764
• Title: Generative Modelling with High-Order Langevin Dynamics
• Title（参考訳）: 高次ランゲヴィンダイナミクスを用いた生成モデリング
• Authors: Ziqiang Shi, Rujie Liu,
• Abstract要約: スコアマッチングによる微分方程式(SDE)に基づく拡散生成モデル(DGM)は、データ生成において前例のない結果を得た。 スコアマッチングを用いた高次ランゲヴィンダイナミクス(HOLD)に基づく高速な高品質生成モデリング手法を提案する。
• 参考スコア（独自算出の注目度）: 6.890658812702238
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Diffusion generative modelling (DGM) based on stochastic differential equations (SDEs) with score matching has achieved unprecedented results in data generation. In this paper, we propose a novel fast high-quality generative modelling method based on high-order Langevin dynamics (HOLD) with score matching. This motive is proved by third-order Langevin dynamics. By augmenting the previous SDEs, e.g. variance exploding or variance preserving SDEs for single-data variable processes, HOLD can simultaneously model position, velocity, and acceleration, thereby improving the quality and speed of the data generation at the same time. HOLD is composed of one Ornstein-Uhlenbeck process and two Hamiltonians, which reduce the mixing time by two orders of magnitude. Empirical experiments for unconditional image generation on the public data set CIFAR-10 and CelebA-HQ show that the effect is significant in both Frechet inception distance (FID) and negative log-likelihood, and achieves the state-of-the-art FID of 1.85 on CIFAR-10.
• Abstract（参考訳）: スコアマッチングを伴う確率微分方程式(SDE)に基づく拡散生成モデル(DGM)は、データ生成において前例のない結果を得た。 本稿では,スコアマッチングを用いた高次ランゲヴィンダイナミクス(HOLD)に基づく高速な高品質生成モデルを提案する。 この動機は、三階ランゲヴィン力学によって証明される。 単一データ可変プロセスに対する従来のSDE、eg分散爆発または分散保存SDEを増大させることにより、HOLDは同時に位置、速度、加速度をモデル化し、同時にデータ生成の品質と速度を向上させることができる。 HOLDは、Ornstein-Uhlenbeck過程と2つのハミルトニアンプロセスから成り、混合時間を2桁に短縮する。 公開データセットCIFAR-10とCelebA-HQの非条件画像生成の実験実験により、この効果はFrechet開始距離(FID)と負の対数類似度の両方において有意であり、CIFAR-10における1.85の最先端FIDを実現する。

関連論文リスト

• ARLON: Boosting Diffusion Transformers with Autoregressive Models for Long Video Generation [83.62931466231898]
  本稿では,長期ビデオ生成のための自己回帰モデルを用いた拡散変換器を高速化するフレームワークARLONを提案する。 潜在ベクトル量子変分オートコーダ(VQ-VAE)は、DiTモデルの入力潜時空間をコンパクトなビジュアルトークンに圧縮する。 適応ノルムベースのセマンティックインジェクションモジュールは、ARモデルから粗い離散視覚ユニットをDiTモデルに統合する。
  論文  参考訳（メタデータ） (2024-10-27T16:28:28Z)
• IFH: a Diffusion Framework for Flexible Design of Graph Generative Models [53.219279193440734]
  グラフ生成モデルは,1行にグラフを生成するワンショットモデルと,ノードとエッジの連続的な付加によるグラフを生成するシーケンシャルモデルという,2つの顕著なファミリーに分類される。 本稿では,逐次度を規定するグラフ生成モデルであるInsert-Fill-Halt(IFH)を提案する。
  論文  参考訳（メタデータ） (2024-08-23T16:24:40Z)
• Score-based Generative Models with Adaptive Momentum [40.84399531998246]
  変換過程を高速化する適応運動量サンプリング法を提案する。 提案手法は,2倍から5倍の速度で,より忠実な画像/グラフを小さなサンプリングステップで作成できることを示す。
  論文  参考訳（メタデータ） (2024-05-22T15:20:27Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Spontaneous Symmetry Breaking in Generative Diffusion Models [6.4322891559626125]
  生成拡散モデルは近年,高次元データ生成の先導的アプローチとして浮上している。 これらのモデルの力学は、生成力学を2つの異なる位相に分割する自発的対称性の破れを示す。 本稿では,より高性能でバイアスの少ない高速サンプリングを実現する可能性を持つ拡散モデルの生成力学を理解するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-31T09:36:34Z)
• Controllable and Compositional Generation with Latent-Space Energy-Based Models [60.87740144816278]
  制御可能な生成は、現実世界のアプリケーションで深層生成モデルの採用を成功させる上で重要な要件の1つである。 本研究では, エネルギーモデル(EBM)を用いて, 属性の集合上での合成生成を扱う。 エネルギー関数を論理演算子と合成することにより、分解能1024x1024のフォトリアリスティック画像を生成する際に、このような構成性を実現するのはこれが初めてである。
  論文  参考訳（メタデータ） (2021-10-21T03:31:45Z)
• Score-Based Generative Modeling through Stochastic Differential Equations [114.39209003111723]
  複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。 対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。 スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。 スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
  論文  参考訳（メタデータ） (2020-11-26T19:39:10Z)
• Denoising Diffusion Probabilistic Models [91.94962645056896]
  拡散確率モデルを用いて高品質な画像合成結果を示す。 本研究は,拡散確率モデルとランゲヴィン力学と整合したデノイングスコアとの新たな接続に基づいて設計した重み付き変分境界のトレーニングにより得られた。
  論文  参考訳（メタデータ） (2020-06-19T17:24:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。