論文の概要: PriorGrad: Improving Conditional Denoising Diffusion Models with
Data-Driven Adaptive Prior
- arxiv url: http://arxiv.org/abs/2106.06406v1
- Date: Fri, 11 Jun 2021 14:04:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-14 14:23:46.141804
- Title: PriorGrad: Improving Conditional Denoising Diffusion Models with
Data-Driven Adaptive Prior
- Title（参考訳）: PriorGrad: データ駆動適応型事前処理による条件付き拡散モデルの改善
- Authors: Sang-gil Lee, Heeseung Kim, Chaehun Shin, Xu Tan, Chang Liu, Qi Meng,
Tao Qin, Wei Chen, Sungroh Yoon, Tie-Yan Liu
- Abstract要約: 条件拡散モデルの効率を改善するために, PreGrad を提案する。
PriorGradはデータとパラメータの効率を向上し、品質を向上する。
- 参考スコア（独自算出の注目度）: 103.00403682863427
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Denoising diffusion probabilistic models have been recently proposed to
generate high-quality samples by estimating the gradient of the data density.
The framework assumes the prior noise as a standard Gaussian distribution,
whereas the corresponding data distribution may be more complicated than the
standard Gaussian distribution, which potentially introduces inefficiency in
denoising the prior noise into the data sample because of the discrepancy
between the data and the prior. In this paper, we propose PriorGrad to improve
the efficiency of the conditional diffusion model (for example, a vocoder using
a mel-spectrogram as the condition) by applying an adaptive prior derived from
the data statistics based on the conditional information. We formulate the
training and sampling procedures of PriorGrad and demonstrate the advantages of
an adaptive prior through a theoretical analysis. Focusing on the audio domain,
we consider the recently proposed diffusion-based audio generative models based
on both the spectral and time domains and show that PriorGrad achieves a faster
convergence leading to data and parameter efficiency and improved quality, and
thereby demonstrating the efficiency of a data-driven adaptive prior.
- Abstract（参考訳）: 近年,データ密度の勾配を推定して高品質なサンプルを生成するための拡散確率モデルが提案されている。
このフレームワークは、先行ノイズを標準ガウス分布と仮定するが、対応するデータ分布は標準ガウス分布よりも複雑であり、データと前との相違により、先行ノイズをデータサンプルに分解する非効率性をもたらす可能性がある。
本稿では,条件情報に基づくデータ統計から導出される適応前処理を適用することにより,条件拡散モデル(例えばメルスペクトログラムを条件とするボコーダ)の効率を向上させる優先順位付けを提案する。
事前段階の訓練・サンプリング手順を定式化し,理論解析により適応型事前手法の利点を実証する。
音声領域に着目し,スペクトル領域と時間領域の両方に基づく最近提案された拡散に基づく音声生成モデルについて考察し,データとパラメータの効率と品質の向上につながるより高速な収束を実現し,データ駆動適応型プリミティブの効率を実証する。
関連論文リスト
- From Denoising Diffusions to Denoising Markov Models [26.578515749292954]
デノイング拡散は、顕著な経験的性能を示す最先端の生成モデルである。
拡散をシミュレートすることで,分布がデータ分布に近くなる新しいサンプルを得る。
この偏微分は、スコアマッチングを用いて得られる雑音データ密度の対数微分の近似に依存する。
論文 参考訳（メタデータ） (2022-11-07T14:34:27Z) - How Much is Enough? A Study on Diffusion Times in Score-based Generative
Models [76.76860707897413]
現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。
本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
論文 参考訳（メタデータ） (2022-06-10T15:09:46Z) - SpecGrad: Diffusion Probabilistic Model based Neural Vocoder with
Adaptive Noise Spectral Shaping [51.698273019061645]
SpecGradは拡散雑音に適応し、その時間変化スペクトル包絡が条件付き対数メル分光器に近づく。
時間周波数領域で処理され、計算コストは従来のDDPMベースのニューラルボコーダとほぼ同じである。
論文 参考訳（メタデータ） (2022-03-31T02:08:27Z) - The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。
特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
論文 参考訳（メタデータ） (2022-03-02T13:59:20Z) - Estimating High Order Gradients of the Data Distribution by Denoising [81.24581325617552]
スコアマッチングを復調することにより、データ密度の第1次微分を効率的に推定することができる。
サンプルからデータ密度の高次微分(スコア)を直接推定する手法を提案する。
論文 参考訳（メタデータ） (2021-11-08T18:59:23Z) - Non-Asymptotic Analysis of Stochastic Approximation Algorithms for
Streaming Data [0.0]
本稿では,その勾配の偏りのない推定によって凸目標を最小化する手法を提案する。
平均推定値は任意のデータストリームレートに最適かつ堅牢に収束することを示す。
さらに、特定のパターンでデータを処理することで、ノイズ低減を実現することができる。
論文 参考訳（メタデータ） (2021-09-15T06:58:23Z) - Bayesian Imaging With Data-Driven Priors Encoded by Neural Networks:
Theory, Methods, and Algorithms [2.266704469122763]
本稿では,事前知識がトレーニングデータとして利用可能である逆問題に対して,ベイズ推定を行う新しい手法を提案する。
容易に検証可能な条件下で,関連する後方モーメントの存在と適切性を確立する。
モデル精度解析により、データ駆動モデルによって報告されるベイズ確率は、頻繁な定義の下で著しく正確であることが示された。
論文 参考訳（メタデータ） (2021-03-18T11:34:08Z) - Meta-Learning Conjugate Priors for Few-Shot Bayesian Optimization [0.0]
メタラーニングを用いて情報共役の事前分布の推定を自動化する新しい手法を提案する。
このプロセスから、元のデータ分布の形状パラメータを推定するために、わずかなデータしか必要としない先行データを生成する。
論文 参考訳（メタデータ） (2021-01-03T23:58:32Z) - Learning Energy-Based Models by Diffusion Recovery Likelihood [61.069760183331745]
本稿では,エネルギーベースモデルから気軽に学習・サンプルできる拡散回復可能性法を提案する。
学習後、ガウスの白色雑音分布から初期化するサンプリングプロセスにより合成画像を生成することができる。
非条件 CIFAR-10 では,本手法は FID 9.58 と開始スコア 8.30 を達成する。
論文 参考訳（メタデータ） (2020-12-15T07:09:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。