論文の概要: Regularizing Score-based Models with Score Fokker-Planck Equations

• arxiv url: http://arxiv.org/abs/2210.04296v1
• Date: Sun, 9 Oct 2022 16:27:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 15:06:01.062742
• Title: Regularizing Score-based Models with Score Fokker-Planck Equations
• Title（参考訳）: スコアフォッカー・プランク方程式を用いたスコアベースモデルの正規化
• Authors: Chieh-Hsin Lai, Yuhta Takida, Naoki Murata, Toshimitsu Uesaka, Yuki Mitsufuji, Stefano Ermon
• Abstract要約: 本研究では,DSM(Denoising score matching)を用いて学習したスコアが,基礎となるスコアFPEを満足していないことを示す。 本稿では,DSM目標を定式化し,スコアFPEの満足度を高めることを提案し,その効果を合成データとMNISTに示す。
• 参考スコア（独自算出の注目度）: 72.19198763459448
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Score-based generative models learn a family of noise-conditional score functions corresponding to the data density perturbed with increasingly large amounts of noise. These pertubed data densities are tied together by the Fokker-Planck equation (FPE), a PDE governing the spatial-temporal evolution of a density undergoing a diffusion process. In this work, we derive a corresponding equation characterizing the noise-conditional scores of the perturbed data densities (i.e., their gradients), termed the score FPE. Surprisingly, despite impressive empirical performance, we observe that scores learned via denoising score matching (DSM) do not satisfy the underlying score FPE. We mathematically analyze two implications of satisfying the score FPE and a potential explanation for why the score FPE is not satisfied in practice. At last, we propose to regularize the DSM objective to enforce satisfaction of the score FPE, and show its effectiveness on synthetic data and MNIST.
• Abstract（参考訳）: スコアベース生成モデルは、ますます多くのノイズを伴うデータ密度に対応する雑音条件スコア関数の族を学習する。 これらのパーチューブデータ密度をフォッカー・プランク方程式(fpe)で結合し、拡散過程を行う密度の空間-時間発展を管理するpdeである。 本研究では、摂動データ密度(すなわち、その勾配)の雑音条件スコアを特徴付ける対応する方程式をFPEと呼ぶ。 驚くべきことに、印象的な経験的性能にもかかわらず、DSM(denoising score matching)を用いて学習したスコアは、基礎となるスコアFPEを満足しない。 スコアfpeを満足することの2つの意味を数学的に解析し,スコアfpeが実際に満足できない理由を説明する。 最終的に、スコアFPEの満足度を高めるためにDSM目標を標準化し、合成データとMNISTにその効果を示すことを提案する。

関連論文リスト

• Dimension-free Score Matching and Time Bootstrapping for Diffusion Models [11.743167854433306]
  拡散モデルは、様々な雑音レベルにおける対象分布のスコア関数を推定してサンプルを生成する。 本研究では,これらのスコア関数を学習するために,次元自由なサンプル境界の複雑性を初めて(ほぼ)確立する。 我々の分析の重要な側面は、ノイズレベル間でのスコアを共同で推定する単一関数近似器を使用することである。
  論文  参考訳（メタデータ） (2025-02-14T18:32:22Z)
• DiffATR: Diffusion-based Generative Modeling for Audio-Text Retrieval [49.076590578101985]
  ノイズから関節分布を生成する拡散型ATRフレームワーク(DiffATR)を提案する。 優れたパフォーマンスを持つAudioCapsとClothoデータセットの実験は、我々のアプローチの有効性を検証する。
  論文  参考訳（メタデータ） (2024-09-16T06:33:26Z)
• Iso-Diffusion: Improving Diffusion Probabilistic Models Using the Isotropy of the Additive Gaussian Noise [0.0]
  本稿では、DDPMの忠実度を高めるために、目的関数の制約として添加音の等方性を利用する方法を示す。 我々のアプローチは単純であり、DDPMの変種にも適用できる。
  論文  参考訳（メタデータ） (2024-03-25T14:05:52Z)
• An analysis of the noise schedule for score-based generative models [7.180235086275926]
  スコアベース生成モデル(SGM)は、目標からのノイズ摂動サンプルのみを用いてスコア関数を学習することにより、目標データ分布を推定することを目的としている。 近年の文献では、ターゲットと推定分布の誤差を評価し、KL(Kulback-Leibler)の発散とワッサーシュタイン距離を通じて生成品質を測ることに重点を置いている。 対象と推定分布のKL分散の上限を時間依存ノイズスケジュールによって明確に設定する。
  論文  参考訳（メタデータ） (2024-02-07T08:24:35Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Concrete Score Matching: Generalized Score Matching for Discrete Data [109.12439278055213]
  コンクレトスコア(Concrete score)とは、個別の設定のためのスコア(ステイン)の一般化である。 コンクレトスコアマッチング(Concrete Score Matching)は、サンプルからこのようなスコアを学習するフレームワークである。
  論文  参考訳（メタデータ） (2022-11-02T00:41:37Z)
• Denoising Likelihood Score Matching for Conditional Score-based Data Generation [22.751924447125955]
  そこで本研究では,真の対数確率密度の勾配に合わせるために,DLSM(Denoising Likelihood Score Matching)損失という新たなトレーニング目標を提案する。 実験により,提案手法は,いくつかの重要な評価指標において,従来の手法よりも顕著に優れた性能を示した。
  論文  参考訳（メタデータ） (2022-03-27T04:37:54Z)
• Estimating High Order Gradients of the Data Distribution by Denoising [81.24581325617552]
  スコアマッチングを復調することにより、データ密度の第1次微分を効率的に推定することができる。 サンプルからデータ密度の高次微分(スコア)を直接推定する手法を提案する。
  論文  参考訳（メタデータ） (2021-11-08T18:59:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。