論文の概要: Estimating High Order Gradients of the Data Distribution by Denoising

• arxiv url: http://arxiv.org/abs/2111.04726v1
• Date: Mon, 8 Nov 2021 18:59:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-09 14:59:42.397603
• Title: Estimating High Order Gradients of the Data Distribution by Denoising
• Title（参考訳）: デノイングによるデータ分布の高次勾配の推定
• Authors: Chenlin Meng, Yang Song, Wenzhe Li, Stefano Ermon
• Abstract要約: スコアマッチングを復調することにより、データ密度の第1次微分を効率的に推定することができる。 サンプルからデータ密度の高次微分(スコア)を直接推定する手法を提案する。
• 参考スコア（独自算出の注目度）: 81.24581325617552
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The first order derivative of a data density can be estimated efficiently by denoising score matching, and has become an important component in many applications, such as image generation and audio synthesis. Higher order derivatives provide additional local information about the data distribution and enable new applications. Although they can be estimated via automatic differentiation of a learned density model, this can amplify estimation errors and is expensive in high dimensional settings. To overcome these limitations, we propose a method to directly estimate high order derivatives (scores) of a data density from samples. We first show that denoising score matching can be interpreted as a particular case of Tweedie's formula. By leveraging Tweedie's formula on higher order moments, we generalize denoising score matching to estimate higher order derivatives. We demonstrate empirically that models trained with the proposed method can approximate second order derivatives more efficiently and accurately than via automatic differentiation. We show that our models can be used to quantify uncertainty in denoising and to improve the mixing speed of Langevin dynamics via Ozaki discretization for sampling synthetic data and natural images.
• Abstract（参考訳）: データ密度の第1次微分はスコアマッチングを識別することで効率的に推定することができ、画像生成や音声合成といった多くのアプリケーションにおいて重要な要素となっている。 上位デリバティブは、データ分散に関する追加のローカル情報を提供し、新しいアプリケーションを可能にする。 学習密度モデルの自動微分によって推定できるが、これは推定誤差を増幅することができ、高次元の設定では高価である。 これらの限界を克服するために,試料からデータ密度の高次導関数(score)を直接推定する手法を提案する。 まず, スコアマッチングをトウィーディーの公式の特定の場合と解釈できることを示す。 トウィーディーの公式を高階モーメントに利用することにより、高階微分を推定するために分位スコアマッチングを一般化する。 提案手法で学習したモデルが, 自動微分法よりも2次微分を効率的に高精度に近似できることを実証的に示す。 また,本モデルは,合成データと自然画像のサンプリングのためのozaki離散化によるランジュバンダイナミクスの混合速度を向上できることを示す。

関連論文リスト

• Score-based Generative Models with Adaptive Momentum [40.84399531998246]
  変換過程を高速化する適応運動量サンプリング法を提案する。 提案手法は,2倍から5倍の速度で,より忠実な画像/グラフを小さなサンプリングステップで作成できることを示す。
  論文  参考訳（メタデータ） (2024-05-22T15:20:27Z)
• Boosting Fast and High-Quality Speech Synthesis with Linear Diffusion [85.54515118077825]
  本稿では, 常微分方程式に基づく線形拡散モデル(LinDiff)を提案する。 計算複雑性を低減するため、LinDiffでは、入力信号を小さなパッチに分割するパッチベースの処理アプローチを採用している。 我々のモデルは、より高速な合成速度で自己回帰モデルに匹敵する品質の音声を合成することができる。
  論文  参考訳（メタデータ） (2023-06-09T07:02:43Z)
• On-the-fly Denoising for Data Augmentation in Natural Language Understanding [101.46848743193358]
  よりクリーンなオリジナルデータに基づいて訓練された有機教師モデルによって提供されるソフトな拡張ラベルから学習する,データ拡張のためのオンザフライデノケーション手法を提案する。 本手法は,一般的な拡張手法に適用でき,テキスト分類と質問応答の両タスクの性能を一貫して向上させることができる。
  論文  参考訳（メタデータ） (2022-12-20T18:58:33Z)
• From Denoising Diffusions to Denoising Markov Models [38.33676858989955]
  デノイング拡散は、顕著な経験的性能を示す最先端の生成モデルである。 本稿では、この手法を広い範囲に一般化し、スコアマッチングのオリジナル拡張につながる統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-07T14:34:27Z)
• ProDiff: Progressive Fast Diffusion Model For High-Quality Text-to-Speech [63.780196620966905]
  本稿では,高品質テキスト合成のためのプログレッシブ高速拡散モデルであるProDiffを提案する。 ProDiffはクリーンデータを直接予測することでデノナイジングモデルをパラメータ化し、サンプリングを高速化する際の品質劣化を回避する。 評価の結果,高忠実度メル-スペクトログラムの合成にProDiffは2回しか要しないことがわかった。 ProDiffは1つのNVIDIA 2080Ti GPU上で、サンプリング速度をリアルタイムより24倍高速にする。
  論文  参考訳（メタデータ） (2022-07-13T17:45:43Z)
• It\^{o}-Taylor Sampling Scheme for Denoising Diffusion Probabilistic Models using Ideal Derivatives [5.302303646066551]
  本稿では微分方程式(SDE)の2階数値スキームに基づく新しいDDPMサンプリング手法を提案する。 提案手法により, 比較的少数の精錬工程において, 可塑性画像と音声信号を合成できることが実験的に確認された。
  論文  参考訳（メタデータ） (2021-12-26T09:38:11Z)
• PriorGrad: Improving Conditional Denoising Diffusion Models with Data-Driven Adaptive Prior [103.00403682863427]
  条件拡散モデルの効率を改善するために, PreGrad を提案する。 PriorGradはデータとパラメータの効率を向上し、品質を向上する。
  論文  参考訳（メタデータ） (2021-06-11T14:04:03Z)
• Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
  DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。 次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
  論文  参考訳（メタデータ） (2020-01-31T23:50:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。