論文の概要: On Maximum Likelihood Training of Score-Based Generative Models

• arxiv url: http://arxiv.org/abs/2101.09258v1
• Date: Fri, 22 Jan 2021 18:22:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-03-20 17:29:16.770466
• Title: On Maximum Likelihood Training of Score-Based Generative Models
• Title（参考訳）: スコアベース生成モデルの最大確率トレーニングについて
• Authors: Conor Durkan and Yang Song
• Abstract要約: 目的が混合重み付けの特定の選択の最大可能性と同値であることを示す。 スコア関数のみをパラメータ化することで,最大確率トレーニングとテスト時間ログ類似度評価の両方が達成できることを示す。
• 参考スコア（独自算出の注目度）: 17.05208572228308
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Score-based generative modeling has recently emerged as a promising alternative to traditional likelihood-based or implicit approaches. Learning in score-based models involves first perturbing data with a continuous-time stochastic process, and then matching the time-dependent gradient of the logarithm of the noisy data density - or score function - using a continuous mixture of score matching losses. In this note, we show that such an objective is equivalent to maximum likelihood for certain choices of mixture weighting. This connection provides a principled way to weight the objective function, and justifies its use for comparing different score-based generative models. Taken together with previous work, our result reveals that both maximum likelihood training and test-time log-likelihood evaluation can be achieved through parameterization of the score function alone, without the need to explicitly parameterize a density function.
• Abstract（参考訳）: スコアベース生成モデリングは、最近、従来の可能性ベースや暗黙のアプローチに代わる有望な代替手段として登場した。 スコアベースモデルでの学習は、まず連続時間確率過程でデータを摂動させ、次にスコアマッチング損失の連続混合を用いて、ノイズデータ密度の対数(スコア関数)の時間依存勾配をマッチングする。 本稿では,このような目的が混合重み付けの特定の選択に対する最大確率と同値であることを示す。 この接続は目的関数の重み付けの原則的な方法を提供し、異なるスコアベースの生成モデルを比較するのにその使用を正当化する。 これまでの研究と合わせて, 最大確率トレーニングとテスト時間ログ類似度評価は, 濃度関数を明示的にパラメータ化することなく, スコア関数のみのパラメータ化によって達成できることを明らかにした。

関連論文リスト

• Dimension-free Score Matching and Time Bootstrapping for Diffusion Models [11.743167854433306]
  拡散モデルは、様々な雑音レベルにおける対象分布のスコア関数を推定してサンプルを生成する。 本研究では,これらのスコア関数を学習するために,次元自由なサンプル境界の複雑性を初めて(ほぼ)確立する。 我々の分析の重要な側面は、ノイズレベル間でのスコアを共同で推定する単一関数近似器を使用することである。
  論文  参考訳（メタデータ） (2025-02-14T18:32:22Z)
• Leveraging Uncertainty Estimates To Improve Classifier Performance [4.4951754159063295]
  バイナリ分類では、正のクラスのモデルスコアが、アプリケーション要求に基づいて選択されたしきい値を超えるかどうかに基づいて、インスタンスのラベルを予測する。 しかし、モデルスコアは真の肯定率と一致しないことが多い。 これは特に、クラス間の差分サンプリングを含むトレーニングや、トレインとテスト設定間の分散ドリフトがある場合に当てはまる。
  論文  参考訳（メタデータ） (2023-11-20T12:40:25Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Stochastic Interpolants: A Unifying Framework for Flows and Diffusions [16.95541777254722]
  フローベースおよび拡散ベースを統一する生成モデルのクラスを紹介する。 これらのモデルは、Albergo & VandenEijnden (2023) で提案されたフレームワークを拡張し、確率補間子と呼ばれる広範囲の連続時間プロセスの使用を可能にする。 これらの補間材は、2つの所定の密度のデータと、橋を柔軟に形作る追加の潜伏変数を組み合わせることで構築される。
  論文  参考訳（メタデータ） (2023-03-15T17:43:42Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Concrete Score Matching: Generalized Score Matching for Discrete Data [109.12439278055213]
  コンクレトスコア(Concrete score)とは、個別の設定のためのスコア(ステイン)の一般化である。 コンクレトスコアマッチング(Concrete Score Matching)は、サンプルからこのようなスコアを学習するフレームワークである。
  論文  参考訳（メタデータ） (2022-11-02T00:41:37Z)
• Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
  本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。 これらの結果はサンプル状態と有限状態の両方で定式化する。
  論文  参考訳（メタデータ） (2022-10-03T06:09:01Z)
• Denoising Likelihood Score Matching for Conditional Score-based Data Generation [22.751924447125955]
  そこで本研究では,真の対数確率密度の勾配に合わせるために,DLSM(Denoising Likelihood Score Matching)損失という新たなトレーニング目標を提案する。 実験により,提案手法は,いくつかの重要な評価指標において,従来の手法よりも顕著に優れた性能を示した。
  論文  参考訳（メタデータ） (2022-03-27T04:37:54Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)
• On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
  log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。 異なる家族間でのモデルランキングの相関はみられない。
  論文  参考訳（メタデータ） (2020-02-17T20:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。