論文の概要: FP-Diffusion: Improving Score-based Diffusion Models by Enforcing the Underlying Score Fokker-Planck Equation

• arxiv url: http://arxiv.org/abs/2210.04296v4
• Date: Wed, 14 Jun 2023 05:26:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-17 03:22:23.837045
• Title: FP-Diffusion: Improving Score-based Diffusion Models by Enforcing the Underlying Score Fokker-Planck Equation
• Title（参考訳）: FP拡散:下記のスコアフォッカー・プランク方程式によるスコアベース拡散モデルの改善
• Authors: Chieh-Hsin Lai, Yuhta Takida, Naoki Murata, Toshimitsu Uesaka, Yuki Mitsufuji, Stefano Ermon
• Abstract要約: 雑音が増大する傾向にあるデータ密度に対応する雑音条件スコア関数の族を学習する。 これらの摂動データ密度は、密度の時空間進化を管理する偏微分方程式(PDE)であるフォッカー・プランク方程式(Fokker-Planck equation, FPE)によって結合される。 我々は、摂動データ密度の雑音条件スコアを特徴付けるスコアFPEと呼ばれる対応する方程式を導出する。
• 参考スコア（独自算出の注目度）: 72.19198763459448
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Score-based generative models (SGMs) learn a family of noise-conditional score functions corresponding to the data density perturbed with increasingly large amounts of noise. These perturbed data densities are linked together by the Fokker-Planck equation (FPE), a partial differential equation (PDE) governing the spatial-temporal evolution of a density undergoing a diffusion process. In this work, we derive a corresponding equation called the score FPE that characterizes the noise-conditional scores of the perturbed data densities (i.e., their gradients). Surprisingly, despite the impressive empirical performance, we observe that scores learned through denoising score matching (DSM) fail to fulfill the underlying score FPE, which is an inherent self-consistency property of the ground truth score. We prove that satisfying the score FPE is desirable as it improves the likelihood and the degree of conservativity. Hence, we propose to regularize the DSM objective to enforce satisfaction of the score FPE, and we show the effectiveness of this approach across various datasets.
• Abstract（参考訳）: スコアベース生成モデル (sgms) は, 音量の増加に伴って摂動するデータ密度に対応する雑音条件スコア関数の族を学習する。 これらの摂動データ密度は、拡散過程を経た密度の空間-時間発展を管理する偏微分方程式(pde)であるフォッカー・プランク方程式(fpe)によって結合される。 本研究では,摂動データ密度(すなわち勾配)のノイズ条件スコアを特徴付けるスコアfpeと呼ばれる対応する方程式を導出する。 驚くべきことに、印象的な経験的性能にもかかわらず、DSM(denoising score matching)によって学習されたスコアは、基礎となるスコアFPEを満たさないことが観察された。 スコアFPEの満足度や保守度を向上させるため,FPEの満足度が望ましいことを示す。 そこで,本研究では,スコアFPEの満足度を高めるためにDSM目標を標準化することを提案する。

関連論文リスト

• Iso-Diffusion: Improving Diffusion Probabilistic Models Using the Isotropy of the Additive Gaussian Noise [0.0]
  加算音と予測音との平均二乗誤差を最小化することは、予測音に等方性を持つような制約を課すものではない。 我々は、DDPMの忠実度を高めるために、目的関数の制約として添加音の等方性を利用する。
  論文  参考訳（メタデータ） (2024-03-25T14:05:52Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Concrete Score Matching: Generalized Score Matching for Discrete Data [109.12439278055213]
  コンクレトスコア(Concrete score)とは、個別の設定のためのスコア(ステイン)の一般化である。 コンクレトスコアマッチング(Concrete Score Matching)は、サンプルからこのようなスコアを学習するフレームワークである。
  論文  参考訳（メタデータ） (2022-11-02T00:41:37Z)
• Denoising Likelihood Score Matching for Conditional Score-based Data Generation [22.751924447125955]
  そこで本研究では,真の対数確率密度の勾配に合わせるために,DLSM(Denoising Likelihood Score Matching)損失という新たなトレーニング目標を提案する。 実験により,提案手法は,いくつかの重要な評価指標において,従来の手法よりも顕著に優れた性能を示した。
  論文  参考訳（メタデータ） (2022-03-27T04:37:54Z)
• Estimating High Order Gradients of the Data Distribution by Denoising [81.24581325617552]
  スコアマッチングを復調することにより、データ密度の第1次微分を効率的に推定することができる。 サンプルからデータ密度の高次微分(スコア)を直接推定する手法を提案する。
  論文  参考訳（メタデータ） (2021-11-08T18:59:23Z)
• Score Matching Model for Unbounded Data Score [23.708122045184695]
  実際のデータセットでは、摂動ノイズ(sigma$)が0に減少するにつれてスコア関数は分岐する。 スコア問題を解消するunbounded noise Score Network (UNCSN)を導入する。 また、新しいタイプのSDEを導入し、新たに提案したSDEから正確なログ確率を計算する。
  論文  参考訳（メタデータ） (2021-06-10T06:30:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。