Fugu-MT 論文翻訳(概要): On Maximum Likelihood Training of Score-Based Generative Models

論文の概要: On Maximum Likelihood Training of Score-Based Generative Models

arxiv url: http://arxiv.org/abs/2101.09258v1
Date: Fri, 22 Jan 2021 18:22:29 GMT
ステータス: 処理完了
システム内更新日: 2021-03-20 17:29:16.770466
Title: On Maximum Likelihood Training of Score-Based Generative Models
Title（参考訳）: スコアベース生成モデルの最大確率トレーニングについて
Authors: Conor Durkan and Yang Song
Abstract要約: 目的が混合重み付けの特定の選択の最大可能性と同値であることを示す。スコア関数のみをパラメータ化することで,最大確率トレーニングとテスト時間ログ類似度評価の両方が達成できることを示す。
参考スコア（独自算出の注目度）: 17.05208572228308
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Score-based generative modeling has recently emerged as a promising alternative to traditional likelihood-based or implicit approaches. Learning in score-based models involves first perturbing data with a continuous-time stochastic process, and then matching the time-dependent gradient of the logarithm of the noisy data density - or score function - using a continuous mixture of score matching losses. In this note, we show that such an objective is equivalent to maximum likelihood for certain choices of mixture weighting. This connection provides a principled way to weight the objective function, and justifies its use for comparing different score-based generative models. Taken together with previous work, our result reveals that both maximum likelihood training and test-time log-likelihood evaluation can be achieved through parameterization of the score function alone, without the need to explicitly parameterize a density function.
Abstract（参考訳）: スコアベース生成モデリングは、最近、従来の可能性ベースや暗黙のアプローチに代わる有望な代替手段として登場した。スコアベースモデルでの学習は、まず連続時間確率過程でデータを摂動させ、次にスコアマッチング損失の連続混合を用いて、ノイズデータ密度の対数(スコア関数)の時間依存勾配をマッチングする。本稿では,このような目的が混合重み付けの特定の選択に対する最大確率と同値であることを示す。この接続は目的関数の重み付けの原則的な方法を提供し、異なるスコアベースの生成モデルを比較するのにその使用を正当化する。これまでの研究と合わせて, 最大確率トレーニングとテスト時間ログ類似度評価は, 濃度関数を明示的にパラメータ化することなく, スコア関数のみのパラメータ化によって達成できることを明らかにした。