論文の概要: PriorGrad: Improving Conditional Denoising Diffusion Models with
Data-Driven Adaptive Prior
- arxiv url: http://arxiv.org/abs/2106.06406v1
- Date: Fri, 11 Jun 2021 14:04:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-14 14:23:46.141804
- Title: PriorGrad: Improving Conditional Denoising Diffusion Models with
Data-Driven Adaptive Prior
- Title（参考訳）: PriorGrad: データ駆動適応型事前処理による条件付き拡散モデルの改善
- Authors: Sang-gil Lee, Heeseung Kim, Chaehun Shin, Xu Tan, Chang Liu, Qi Meng,
Tao Qin, Wei Chen, Sungroh Yoon, Tie-Yan Liu
- Abstract要約: 条件拡散モデルの効率を改善するために, PreGrad を提案する。
PriorGradはデータとパラメータの効率を向上し、品質を向上する。
- 参考スコア（独自算出の注目度）: 103.00403682863427
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Denoising diffusion probabilistic models have been recently proposed to
generate high-quality samples by estimating the gradient of the data density.
The framework assumes the prior noise as a standard Gaussian distribution,
whereas the corresponding data distribution may be more complicated than the
standard Gaussian distribution, which potentially introduces inefficiency in
denoising the prior noise into the data sample because of the discrepancy
between the data and the prior. In this paper, we propose PriorGrad to improve
the efficiency of the conditional diffusion model (for example, a vocoder using
a mel-spectrogram as the condition) by applying an adaptive prior derived from
the data statistics based on the conditional information. We formulate the
training and sampling procedures of PriorGrad and demonstrate the advantages of
an adaptive prior through a theoretical analysis. Focusing on the audio domain,
we consider the recently proposed diffusion-based audio generative models based
on both the spectral and time domains and show that PriorGrad achieves a faster
convergence leading to data and parameter efficiency and improved quality, and
thereby demonstrating the efficiency of a data-driven adaptive prior.
- Abstract（参考訳）: 近年,データ密度の勾配を推定して高品質なサンプルを生成するための拡散確率モデルが提案されている。
このフレームワークは、先行ノイズを標準ガウス分布と仮定するが、対応するデータ分布は標準ガウス分布よりも複雑であり、データと前との相違により、先行ノイズをデータサンプルに分解する非効率性をもたらす可能性がある。
本稿では,条件情報に基づくデータ統計から導出される適応前処理を適用することにより,条件拡散モデル(例えばメルスペクトログラムを条件とするボコーダ)の効率を向上させる優先順位付けを提案する。
事前段階の訓練・サンプリング手順を定式化し,理論解析により適応型事前手法の利点を実証する。
音声領域に着目し,スペクトル領域と時間領域の両方に基づく最近提案された拡散に基づく音声生成モデルについて考察し,データとパラメータの効率と品質の向上につながるより高速な収束を実現し,データ駆動適応型プリミティブの効率を実証する。
関連論文リスト
- On the Relation Between Linear Diffusion and Power Iteration [42.158089783398616]
相関機械として生成過程を研究する」
生成過程の早い段階で低周波が出現し, 固有値に依存する速度で, 偏極基底ベクトルが真のデータにより整合していることが示される。
このモデルにより、線形拡散モデルが、一般的な電力反復法と同様に、基礎データの先頭固有ベクトルに平均的に収束することを示すことができる。
論文 参考訳（メタデータ） (2024-10-16T07:33:12Z) - FIND: Fine-tuning Initial Noise Distribution with Policy Optimization for Diffusion Models [10.969811500333755]
本稿では,FIND(Fincent-tuning Initial Noise Distribution)フレームワークのポリシー最適化について紹介する。
提案手法はSOTA法よりも10倍高速である。
論文 参考訳（メタデータ） (2024-07-28T10:07:55Z) - Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。
雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文 参考訳（メタデータ） (2024-03-11T16:22:41Z) - Diffusion Models with Deterministic Normalizing Flow Priors [23.212848643552395]
フローと拡散モデルを正規化する手法であるDiNof(textbfDi$ffusion with $textbfNo$rmalizing $textbff$low priors)を提案する。
標準画像生成データセットの実験は、既存の手法よりも提案手法の利点を実証している。
論文 参考訳（メタデータ） (2023-09-03T21:26:56Z) - Optimizing the Noise in Self-Supervised Learning: from Importance
Sampling to Noise-Contrastive Estimation [80.07065346699005]
GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。
我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。
本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
論文 参考訳（メタデータ） (2023-01-23T19:57:58Z) - From Denoising Diffusions to Denoising Markov Models [38.33676858989955]
デノイング拡散は、顕著な経験的性能を示す最先端の生成モデルである。
本稿では、この手法を広い範囲に一般化し、スコアマッチングのオリジナル拡張につながる統一フレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-07T14:34:27Z) - The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。
特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
論文 参考訳（メタデータ） (2022-03-02T13:59:20Z) - Estimating High Order Gradients of the Data Distribution by Denoising [81.24581325617552]
スコアマッチングを復調することにより、データ密度の第1次微分を効率的に推定することができる。
サンプルからデータ密度の高次微分(スコア)を直接推定する手法を提案する。
論文 参考訳（メタデータ） (2021-11-08T18:59:23Z) - Bayesian Imaging With Data-Driven Priors Encoded by Neural Networks:
Theory, Methods, and Algorithms [2.266704469122763]
本稿では,事前知識がトレーニングデータとして利用可能である逆問題に対して,ベイズ推定を行う新しい手法を提案する。
容易に検証可能な条件下で,関連する後方モーメントの存在と適切性を確立する。
モデル精度解析により、データ駆動モデルによって報告されるベイズ確率は、頻繁な定義の下で著しく正確であることが示された。
論文 参考訳（メタデータ） (2021-03-18T11:34:08Z) - Learning Energy-Based Models by Diffusion Recovery Likelihood [61.069760183331745]
本稿では,エネルギーベースモデルから気軽に学習・サンプルできる拡散回復可能性法を提案する。
学習後、ガウスの白色雑音分布から初期化するサンプリングプロセスにより合成画像を生成することができる。
非条件 CIFAR-10 では,本手法は FID 9.58 と開始スコア 8.30 を達成する。
論文 参考訳（メタデータ） (2020-12-15T07:09:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。