論文の概要: Not All Noises Are Created Equally:Diffusion Noise Selection and Optimization
- arxiv url: http://arxiv.org/abs/2407.14041v1
- Date: Fri, 19 Jul 2024 05:36:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-22 18:43:32.381464
- Title: Not All Noises Are Created Equally:Diffusion Noise Selection and Optimization
- Title（参考訳）: すべてのノイズが等しく生成されるわけではない:拡散雑音の選択と最適化
- Authors: Zipeng Qi, Lichen Bai, Haoyi Xiong, and Zeke Xie,
- Abstract要約: 拡散モデルはランダムサンプリングされたガウス雑音から高品質なデータを生成することができる。
すべてのノイズが拡散モデルに対して等しく生成されるわけではない。
任意の雑音の反転を積極的に向上する新しい雑音最適化法を提案する。
- 参考スコア（独自算出の注目度）: 22.179546978732184
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models that can generate high-quality data from randomly sampled Gaussian noises have become the mainstream generative method in both academia and industry. Are randomly sampled Gaussian noises equally good for diffusion models? While a large body of works tried to understand and improve diffusion models, previous works overlooked the possibility to select or optimize the sampled noise the possibility of selecting or optimizing sampled noises for improving diffusion models. In this paper, we mainly made three contributions. First, we report that not all noises are created equally for diffusion models. We are the first to hypothesize and empirically observe that the generation quality of diffusion models significantly depend on the noise inversion stability. This naturally provides us a noise selection method according to the inversion stability. Second, we further propose a novel noise optimization method that actively enhances the inversion stability of arbitrary given noises. Our method is the first one that works on noise space to generally improve generated results without fine-tuning diffusion models. Third, our extensive experiments demonstrate that the proposed noise selection and noise optimization methods both significantly improve representative diffusion models, such as SDXL and SDXL-turbo, in terms of human preference and other objective evaluation metrics. For example, the human preference winning rates of noise selection and noise optimization over the baselines can be up to 57% and 72.5%, respectively, on DrawBench.
- Abstract（参考訳）: ランダムにサンプリングされたガウスノイズから高品質なデータを生成する拡散モデルは、学術と産業の両方において主要な生成方法となっている。
ランダムサンプリングされたガウス雑音は拡散モデルに等しく良いか?
多くの研究が拡散モデルを理解し、改善しようとしたが、以前の研究は、サンプルノイズを選択し、最適化し、拡散モデルを改善するためにサンプルノイズを選択し、最適化する可能性を見落としていた。
本稿では主に3つの貢献を行った。
まず、拡散モデルに対して全てのノイズが等しく生成されるわけではないことを報告する。
我々は,拡散モデルの生成品質が雑音の反転安定性に大きく依存する,という仮説と経験的考察を初めて行った。
これにより、反転安定性に応じたノイズ選択法が自然に提供される。
次に,任意の雑音の反転安定性を積極的に向上する新しい雑音最適化手法を提案する。
提案手法は, ノイズ空間に係わる最初の手法であり, 微調整拡散モデルを使わずに, 一般に発生する結果を改善する。
第3に,提案手法は,人間の嗜好や他の客観的評価指標の観点から,SDXLやSDXL-turboなどの代表拡散モデルを大幅に改善することを示す。
例えば、DrawBenchでは、ベースライン上でのノイズ選択とノイズ最適化の人間の選好勝利率は、それぞれ57%と72.5%である。
関連論文リスト
- Diffusion Gaussian Mixture Audio Denoise [23.760755498636943]
本稿では拡散モデルとガウス混合モデルに基づくデノナイズモデルであるDiffGMMモデルを提案する。
まず1D-U-Netを用いて特徴を抽出し,ガウス混合モデルのパラメータを推定する線形層を訓練する。
推定ノイズからノイズ信号を連続的に減算してクリーンオーディオ信号を出力する。
論文 参考訳（メタデータ） (2024-06-13T14:18:10Z) - Blue noise for diffusion models [50.99852321110366]
本稿では,画像内および画像間の相関雑音を考慮した拡散モデルを提案する。
我々のフレームワークは、勾配流を改善するために、1つのミニバッチ内に画像間の相関を導入することができる。
本手法を用いて,各種データセットの質的,定量的な評価を行う。
論文 参考訳（メタデータ） (2024-02-07T14:59:25Z) - Robust Estimation of Causal Heteroscedastic Noise Models [7.568978862189266]
学生の$t$-distributionは、より小さなサンプルサイズと極端な値で、全体の分布形態を著しく変えることなく、サンプル変数をサンプリングすることの堅牢さで知られている。
我々の経験的評価は、我々の推定器はより堅牢で、合成ベンチマークと実ベンチマークの総合的な性能が向上していることを示している。
論文 参考訳（メタデータ） (2023-12-15T02:26:35Z) - Multi-scale Diffusion Denoised Smoothing [79.95360025953931]
ランダムな平滑化は、大規模モデルに敵対的ロバスト性を提供する、いくつかの具体的なアプローチの1つになっている。
本報告では, 分割平滑化におけるロバスト性と精度との現在のトレードオフに対処するスケーラブルな手法を提案する。
提案手法と拡散微細調整を併用したマルチスケール平滑化手法により,高騒音レベルで高い信頼性のロバスト性が得られることを示す。
論文 参考訳（メタデータ） (2023-10-25T17:11:21Z) - Denoising Diffusion Gamma Models [91.22679787578438]
Denoising Diffusion Gamma Model (DDGM)を導入し、ガンマ分布からのノイズが画像および音声生成に改善をもたらすことを示す。
提案手法は,ガンマノイズを用いてトレーニング拡散過程の状態を効率的にサンプリングする能力を保持する。
論文 参考訳（メタデータ） (2021-10-10T10:46:31Z) - Rethinking Noise Synthesis and Modeling in Raw Denoising [75.55136662685341]
センサの実際の雑音を直接サンプリングすることで、ノイズを合成する新しい視点を導入する。
それは本質的に、異なるカメラセンサーに対して正確な生画像ノイズを発生させる。
論文 参考訳（メタデータ） (2021-10-10T10:45:24Z) - A Study on Speech Enhancement Based on Diffusion Probabilistic Model [63.38586161802788]
雑音信号からクリーンな音声信号を復元することを目的とした拡散確率モデルに基づく音声強調モデル(DiffuSE)を提案する。
実験結果から、DiffuSEは、標準化されたVoice Bankコーパスタスクにおいて、関連する音声生成モデルに匹敵する性能が得られることがわかった。
論文 参考訳（メタデータ） (2021-07-25T19:23:18Z) - Non Gaussian Denoising Diffusion Models [91.22679787578438]
ガンマ分布からのノイズは、画像および音声生成のための改善された結果をもたらすことを示す。
また,拡散過程におけるガウス雑音の混合を用いることで,単一分布に基づく拡散過程における性能が向上することを示す。
論文 参考訳（メタデータ） (2021-06-14T16:42:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。