論文の概要: FP-Diffusion: Improving Score-based Diffusion Models by Enforcing the Underlying Score Fokker-Planck Equation

• arxiv url: http://arxiv.org/abs/2210.04296v4
• Date: Wed, 14 Jun 2023 05:26:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-17 03:22:23.837045
• Title: FP-Diffusion: Improving Score-based Diffusion Models by Enforcing the Underlying Score Fokker-Planck Equation
• Title（参考訳）: FP拡散:下記のスコアフォッカー・プランク方程式によるスコアベース拡散モデルの改善
• Authors: Chieh-Hsin Lai, Yuhta Takida, Naoki Murata, Toshimitsu Uesaka, Yuki Mitsufuji, Stefano Ermon
• Abstract要約: 雑音が増大する傾向にあるデータ密度に対応する雑音条件スコア関数の族を学習する。 これらの摂動データ密度は、密度の時空間進化を管理する偏微分方程式(PDE)であるフォッカー・プランク方程式(Fokker-Planck equation, FPE)によって結合される。 我々は、摂動データ密度の雑音条件スコアを特徴付けるスコアFPEと呼ばれる対応する方程式を導出する。
• 参考スコア（独自算出の注目度）: 72.19198763459448
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Score-based generative models (SGMs) learn a family of noise-conditional score functions corresponding to the data density perturbed with increasingly large amounts of noise. These perturbed data densities are linked together by the Fokker-Planck equation (FPE), a partial differential equation (PDE) governing the spatial-temporal evolution of a density undergoing a diffusion process. In this work, we derive a corresponding equation called the score FPE that characterizes the noise-conditional scores of the perturbed data densities (i.e., their gradients). Surprisingly, despite the impressive empirical performance, we observe that scores learned through denoising score matching (DSM) fail to fulfill the underlying score FPE, which is an inherent self-consistency property of the ground truth score. We prove that satisfying the score FPE is desirable as it improves the likelihood and the degree of conservativity. Hence, we propose to regularize the DSM objective to enforce satisfaction of the score FPE, and we show the effectiveness of this approach across various datasets.
• Abstract（参考訳）: スコアベース生成モデル (sgms) は, 音量の増加に伴って摂動するデータ密度に対応する雑音条件スコア関数の族を学習する。 これらの摂動データ密度は、拡散過程を経た密度の空間-時間発展を管理する偏微分方程式(pde)であるフォッカー・プランク方程式(fpe)によって結合される。 本研究では,摂動データ密度(すなわち勾配)のノイズ条件スコアを特徴付けるスコアfpeと呼ばれる対応する方程式を導出する。 驚くべきことに、印象的な経験的性能にもかかわらず、DSM(denoising score matching)によって学習されたスコアは、基礎となるスコアFPEを満たさないことが観察された。 スコアFPEの満足度や保守度を向上させるため,FPEの満足度が望ましいことを示す。 そこで,本研究では,スコアFPEの満足度を高めるためにDSM目標を標準化することを提案する。

関連論文リスト

• Dimension-free Score Matching and Time Bootstrapping for Diffusion Models [11.743167854433306]
  拡散モデルは、様々な雑音レベルにおける対象分布のスコア関数を推定してサンプルを生成する。 本研究では,これらのスコア関数を学習するために,次元自由なサンプル境界の複雑性を初めて(ほぼ)確立する。 我々の分析の重要な側面は、ノイズレベル間でのスコアを共同で推定する単一関数近似器を使用することである。
  論文  参考訳（メタデータ） (2025-02-14T18:32:22Z)
• DiffATR: Diffusion-based Generative Modeling for Audio-Text Retrieval [49.076590578101985]
  ノイズから関節分布を生成する拡散型ATRフレームワーク(DiffATR)を提案する。 優れたパフォーマンスを持つAudioCapsとClothoデータセットの実験は、我々のアプローチの有効性を検証する。
  論文  参考訳（メタデータ） (2024-09-16T06:33:26Z)
• Iso-Diffusion: Improving Diffusion Probabilistic Models Using the Isotropy of the Additive Gaussian Noise [0.0]
  本稿では、DDPMの忠実度を高めるために、目的関数の制約として添加音の等方性を利用する方法を示す。 我々のアプローチは単純であり、DDPMの変種にも適用できる。
  論文  参考訳（メタデータ） (2024-03-25T14:05:52Z)
• An analysis of the noise schedule for score-based generative models [7.180235086275926]
  スコアベース生成モデル(SGM)は、目標からのノイズ摂動サンプルのみを用いてスコア関数を学習することにより、目標データ分布を推定することを目的としている。 近年の文献では、ターゲットと推定分布の誤差を評価し、KL(Kulback-Leibler)の発散とワッサーシュタイン距離を通じて生成品質を測ることに重点を置いている。 対象と推定分布のKL分散の上限を時間依存ノイズスケジュールによって明確に設定する。
  論文  参考訳（メタデータ） (2024-02-07T08:24:35Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Concrete Score Matching: Generalized Score Matching for Discrete Data [109.12439278055213]
  コンクレトスコア(Concrete score)とは、個別の設定のためのスコア(ステイン)の一般化である。 コンクレトスコアマッチング(Concrete Score Matching)は、サンプルからこのようなスコアを学習するフレームワークである。
  論文  参考訳（メタデータ） (2022-11-02T00:41:37Z)
• Denoising Likelihood Score Matching for Conditional Score-based Data Generation [22.751924447125955]
  そこで本研究では,真の対数確率密度の勾配に合わせるために,DLSM(Denoising Likelihood Score Matching)損失という新たなトレーニング目標を提案する。 実験により,提案手法は,いくつかの重要な評価指標において,従来の手法よりも顕著に優れた性能を示した。
  論文  参考訳（メタデータ） (2022-03-27T04:37:54Z)
• Estimating High Order Gradients of the Data Distribution by Denoising [81.24581325617552]
  スコアマッチングを復調することにより、データ密度の第1次微分を効率的に推定することができる。 サンプルからデータ密度の高次微分(スコア)を直接推定する手法を提案する。
  論文  参考訳（メタデータ） (2021-11-08T18:59:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。