論文の概要: Denoising Likelihood Score Matching for Conditional Score-based Data Generation

• arxiv url: http://arxiv.org/abs/2203.14206v1
• Date: Sun, 27 Mar 2022 04:37:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-29 13:40:28.692532
• Title: Denoising Likelihood Score Matching for Conditional Score-based Data Generation
• Title（参考訳）: 条件付スコアベースデータ生成のための発声適性スコアマッチング
• Authors: Chen-Hao Chao, Wei-Fang Sun, Bo-Wun Cheng, Yi-Chen Lo, Chia-Che Chang, Yu-Lun Liu, Yu-Lin Chang, Chia-Ping Chen, Chun-Yi Lee
• Abstract要約: そこで本研究では,真の対数確率密度の勾配に合わせるために,DLSM(Denoising Likelihood Score Matching)損失という新たなトレーニング目標を提案する。 実験により,提案手法は,いくつかの重要な評価指標において,従来の手法よりも顕著に優れた性能を示した。
• 参考スコア（独自算出の注目度）: 22.751924447125955
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many existing conditional score-based data generation methods utilize Bayes' theorem to decompose the gradients of a log posterior density into a mixture of scores. These methods facilitate the training procedure of conditional score models, as a mixture of scores can be separately estimated using a score model and a classifier. However, our analysis indicates that the training objectives for the classifier in these methods may lead to a serious score mismatch issue, which corresponds to the situation that the estimated scores deviate from the true ones. Such an issue causes the samples to be misled by the deviated scores during the diffusion process, resulting in a degraded sampling quality. To resolve it, we formulate a novel training objective, called Denoising Likelihood Score Matching (DLSM) loss, for the classifier to match the gradients of the true log likelihood density. Our experimental evidence shows that the proposed method outperforms the previous methods on both Cifar-10 and Cifar-100 benchmarks noticeably in terms of several key evaluation metrics. We thus conclude that, by adopting DLSM, the conditional scores can be accurately modeled, and the effect of the score mismatch issue is alleviated.
• Abstract（参考訳）: 既存の条件付きスコアベースのデータ生成手法の多くはベイズの定理を用いて、ログ後密度の勾配をスコアの混合に分解する。 これらの方法は、スコアモデルと分類器を用いてスコアの混合を別々に推定できるため、条件付スコアモデルのトレーニング手順を容易にする。 しかし,本手法における分類器の訓練目的は,推定値が真から逸脱している状況に対応して,重大なスコアミスマッチ問題を引き起こす可能性が示唆された。 このような問題により、拡散過程中にずれたスコアでサンプルを誤認させ、結果としてサンプリング品質が低下する。 そこで我々は, 真の対数確率密度の勾配に適合する分類器に対して, denoising likelihood score matching (dlsm) loss と呼ばれる新しい学習目標を定式化した。 提案手法は,Cifar-10およびCifar-100ベンチマークにおいて,いくつかの重要な評価指標において,従来手法よりも顕著に優れていることを示す。 その結果,DLSMを採用することで条件付きスコアを正確にモデル化することができ,スコアミスマッチ問題の影響が軽減されることがわかった。

関連論文リスト

• Covariate Assisted Entity Ranking with Sparse Intrinsic Scores [3.2839905453386162]
  我々は,新しいモデル同定条件を導入し,正規化された最大推定値の統計率について検討する。 また,本手法を潜在固有スコアを持たないモデルに対する適合性テストに適用する。
  論文  参考訳（メタデータ） (2024-07-09T19:58:54Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Target Score Matching [36.80075781966174]
  対象スコアの知識を活用できることが示される。 ターゲットスコア識別と対応するターゲットスコアマッチング回帰損失を示す。
  論文  参考訳（メタデータ） (2024-02-13T18:48:28Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Concrete Score Matching: Generalized Score Matching for Discrete Data [109.12439278055213]
  コンクレトスコア(Concrete score)とは、個別の設定のためのスコア(ステイン)の一般化である。 コンクレトスコアマッチング(Concrete Score Matching)は、サンプルからこのようなスコアを学習するフレームワークである。
  論文  参考訳（メタデータ） (2022-11-02T00:41:37Z)
• FP-Diffusion: Improving Score-based Diffusion Models by Enforcing the Underlying Score Fokker-Planck Equation [72.19198763459448]
  雑音が増大する傾向にあるデータ密度に対応する雑音条件スコア関数の族を学習する。 これらの摂動データ密度は、密度の時空間進化を管理する偏微分方程式(PDE)であるフォッカー・プランク方程式(Fokker-Planck equation, FPE)によって結合される。 我々は、摂動データ密度の雑音条件スコアを特徴付けるスコアFPEと呼ばれる対応する方程式を導出する。
  論文  参考訳（メタデータ） (2022-10-09T16:27:25Z)
• Evaluating State-of-the-Art Classification Models Against Bayes Optimality [106.50867011164584]
  正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。 われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
  論文  参考訳（メタデータ） (2021-06-07T06:21:20Z)
• On Maximum Likelihood Training of Score-Based Generative Models [17.05208572228308]
  目的が混合重み付けの特定の選択の最大可能性と同値であることを示す。 スコア関数のみをパラメータ化することで,最大確率トレーニングとテスト時間ログ類似度評価の両方が達成できることを示す。
  論文  参考訳（メタデータ） (2021-01-22T18:22:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。