論文の概要: Regularizing Score-based Models with Score Fokker-Planck Equations
- arxiv url: http://arxiv.org/abs/2210.04296v1
- Date: Sun, 9 Oct 2022 16:27:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-11 15:06:01.062742
- Title: Regularizing Score-based Models with Score Fokker-Planck Equations
- Title(参考訳): スコアフォッカー・プランク方程式を用いたスコアベースモデルの正規化
- Authors: Chieh-Hsin Lai, Yuhta Takida, Naoki Murata, Toshimitsu Uesaka, Yuki
Mitsufuji, Stefano Ermon
- Abstract要約: 本研究では,DSM(Denoising score matching)を用いて学習したスコアが,基礎となるスコアFPEを満足していないことを示す。
本稿では,DSM目標を定式化し,スコアFPEの満足度を高めることを提案し,その効果を合成データとMNISTに示す。
- 参考スコア(独自算出の注目度): 72.19198763459448
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Score-based generative models learn a family of noise-conditional score
functions corresponding to the data density perturbed with increasingly large
amounts of noise. These pertubed data densities are tied together by the
Fokker-Planck equation (FPE), a PDE governing the spatial-temporal evolution of
a density undergoing a diffusion process. In this work, we derive a
corresponding equation characterizing the noise-conditional scores of the
perturbed data densities (i.e., their gradients), termed the score FPE.
Surprisingly, despite impressive empirical performance, we observe that scores
learned via denoising score matching (DSM) do not satisfy the underlying score
FPE. We mathematically analyze two implications of satisfying the score FPE and
a potential explanation for why the score FPE is not satisfied in practice. At
last, we propose to regularize the DSM objective to enforce satisfaction of the
score FPE, and show its effectiveness on synthetic data and MNIST.
- Abstract(参考訳): スコアベース生成モデルは、ますます多くのノイズを伴うデータ密度に対応する雑音条件スコア関数の族を学習する。
これらのパーチューブデータ密度をフォッカー・プランク方程式(fpe)で結合し、拡散過程を行う密度の空間-時間発展を管理するpdeである。
本研究では、摂動データ密度(すなわち、その勾配)の雑音条件スコアを特徴付ける対応する方程式をFPEと呼ぶ。
驚くべきことに、印象的な経験的性能にもかかわらず、DSM(denoising score matching)を用いて学習したスコアは、基礎となるスコアFPEを満足しない。
スコアfpeを満足することの2つの意味を数学的に解析し,スコアfpeが実際に満足できない理由を説明する。
最終的に、スコアFPEの満足度を高めるためにDSM目標を標準化し、合成データとMNISTにその効果を示すことを提案する。
関連論文リスト
- DiffATR: Diffusion-based Generative Modeling for Audio-Text Retrieval [49.076590578101985]
ノイズから関節分布を生成する拡散型ATRフレームワーク(DiffATR)を提案する。
優れたパフォーマンスを持つAudioCapsとClothoデータセットの実験は、我々のアプローチの有効性を検証する。
論文 参考訳(メタデータ) (2024-09-16T06:33:26Z) - Iso-Diffusion: Improving Diffusion Probabilistic Models Using the Isotropy of the Additive Gaussian Noise [0.0]
加算音と予測音との平均二乗誤差を最小化することは、予測音に等方性を持つような制約を課すものではない。
我々は、DDPMの忠実度を高めるために、目的関数の制約として添加音の等方性を利用する。
論文 参考訳(メタデータ) (2024-03-25T14:05:52Z) - Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be
Consistent [97.64313409741614]
本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。
CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
論文 参考訳(メタデータ) (2023-02-17T18:45:04Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳(メタデータ) (2022-11-30T05:33:29Z) - Concrete Score Matching: Generalized Score Matching for Discrete Data [109.12439278055213]
コンクレトスコア(Concrete score)とは、個別の設定のためのスコア(ステイン)の一般化である。
コンクレトスコアマッチング(Concrete Score Matching)は、サンプルからこのようなスコアを学習するフレームワークである。
論文 参考訳(メタデータ) (2022-11-02T00:41:37Z) - Denoising Likelihood Score Matching for Conditional Score-based Data
Generation [22.751924447125955]
そこで本研究では,真の対数確率密度の勾配に合わせるために,DLSM(Denoising Likelihood Score Matching)損失という新たなトレーニング目標を提案する。
実験により,提案手法は,いくつかの重要な評価指標において,従来の手法よりも顕著に優れた性能を示した。
論文 参考訳(メタデータ) (2022-03-27T04:37:54Z) - Estimating High Order Gradients of the Data Distribution by Denoising [81.24581325617552]
スコアマッチングを復調することにより、データ密度の第1次微分を効率的に推定することができる。
サンプルからデータ密度の高次微分(スコア)を直接推定する手法を提案する。
論文 参考訳(メタデータ) (2021-11-08T18:59:23Z) - Score Matching Model for Unbounded Data Score [23.708122045184695]
実際のデータセットでは、摂動ノイズ(sigma$)が0に減少するにつれてスコア関数は分岐する。
スコア問題を解消するunbounded noise Score Network (UNCSN)を導入する。
また、新しいタイプのSDEを導入し、新たに提案したSDEから正確なログ確率を計算する。
論文 参考訳(メタデータ) (2021-06-10T06:30:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。