論文の概要: Maximum Likelihood Training for Score-Based Diffusion ODEs by High-Order Denoising Score Matching

• arxiv url: http://arxiv.org/abs/2206.08265v1
• Date: Thu, 16 Jun 2022 16:02:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-17 13:59:33.624989
• Title: Maximum Likelihood Training for Score-Based Diffusion ODEs by High-Order Denoising Score Matching
• Title（参考訳）: 高次Denoising Score Matchingによるスコアベース拡散モードの最大習熟
• Authors: Cheng Lu, Kaiwen Zheng, Fan Bao, Jianfei Chen, Chongxuan Li, Jun Zhu
• Abstract要約: 1次スコアのマッチングはODEの確率を最大化するには不十分であることを示す。 本稿では,高次スコアマッチング手法を提案する。 提案アルゴリズムは,高次マッチング誤差がトレーニング誤差と低次エラーによって制限されていることを保証している。
• 参考スコア（独自算出の注目度）: 39.67603446643135
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Score-based generative models have excellent performance in terms of generation quality and likelihood. They model the data distribution by matching a parameterized score network with first-order data score functions. The score network can be used to define an ODE ("score-based diffusion ODE") for exact likelihood evaluation. However, the relationship between the likelihood of the ODE and the score matching objective is unclear. In this work, we prove that matching the first-order score is not sufficient to maximize the likelihood of the ODE, by showing a gap between the maximum likelihood and score matching objectives. To fill up this gap, we show that the negative likelihood of the ODE can be bounded by controlling the first, second, and third-order score matching errors; and we further present a novel high-order denoising score matching method to enable maximum likelihood training of score-based diffusion ODEs. Our algorithm guarantees that the higher-order matching error is bounded by the training error and the lower-order errors. We empirically observe that by high-order score matching, score-based diffusion ODEs achieve better likelihood on both synthetic data and CIFAR-10, while retaining the high generation quality.
• Abstract（参考訳）: スコアベース生成モデルは、生成品質と可能性の点で優れた性能を有する。 パラメータ化スコアネットワークと1次データスコア関数をマッチングしてデータ分布をモデル化する。 スコアネットワークは、正確な精度評価のためにODE(スコアベース拡散ODE)を定義するために使用できる。 しかし、ODEの可能性とスコアマッチングの目的との関係は明らかでない。 本研究は,最大確率とスコアマッチング目標とのギャップを示すことにより,一階のスコアの一致がodeの可能性を最大化するのに十分でないことを示す。 このギャップを埋めるために、第1、第2、第3のスコアマッチング誤差を制御することで、ODEの負の確率を制限できることを示し、さらに、スコアベース拡散ODEの最大極大トレーニングを可能にする、新しい高次のスコアマッチング法を提案する。 提案アルゴリズムは,高次マッチングエラーがトレーニングエラーと低次エラーによって境界づけられていることを保証する。 我々は,高次スコアマッチングにより,高次品質を維持しつつ,スコアベース拡散ODEが合成データとCIFAR-10の両方により良い可能性をもたらすことを実証的に観察した。

関連論文リスト

• Score Mismatching for Generative Modeling [4.413162309652114]
  そこで我々は,一段階サンプリングを用いた新しいスコアベースモデルを提案する。 我々は、スコアネットワークから逆転した勾配で全ての時間ステップを圧縮するようにスタンドアロンのジェネレータを訓練する。 生成器に有意義な勾配を与えるため、スコアネットワークは実データ分布を同時にマッチングし、偽データ分布を誤マッチするように訓練される。
  論文  参考訳（メタデータ） (2023-09-20T03:47:12Z)
• SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking [60.109453252858806]
  MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。 我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。 これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。 得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
  論文  参考訳（メタデータ） (2023-06-08T17:59:58Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• Denoising Likelihood Score Matching for Conditional Score-based Data Generation [22.751924447125955]
  そこで本研究では,真の対数確率密度の勾配に合わせるために,DLSM(Denoising Likelihood Score Matching)損失という新たなトレーニング目標を提案する。 実験により,提案手法は,いくつかの重要な評価指標において,従来の手法よりも顕著に優れた性能を示した。
  論文  参考訳（メタデータ） (2022-03-27T04:37:54Z)
• Deep Probabilistic Graph Matching [72.6690550634166]
  本稿では,マッチング制約を伴わずに,元のQAPに適合する深層学習ベースのグラフマッチングフレームワークを提案する。 提案手法は,一般的な3つのベンチマーク(Pascal VOC,Wilow Object,SPair-71k)で評価され,すべてのベンチマークにおいて過去の最先端よりも優れていた。
  論文  参考訳（メタデータ） (2022-01-05T13:37:27Z)
• Estimating High Order Gradients of the Data Distribution by Denoising [81.24581325617552]
  スコアマッチングを復調することにより、データ密度の第1次微分を効率的に推定することができる。 サンプルからデータ密度の高次微分(スコア)を直接推定する手法を提案する。
  論文  参考訳（メタデータ） (2021-11-08T18:59:23Z)
• On Maximum Likelihood Training of Score-Based Generative Models [17.05208572228308]
  目的が混合重み付けの特定の選択の最大可能性と同値であることを示す。 スコア関数のみをパラメータ化することで,最大確率トレーニングとテスト時間ログ類似度評価の両方が達成できることを示す。
  論文  参考訳（メタデータ） (2021-01-22T18:22:29Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。