論文の概要: Tackling the Singularities at the Endpoints of Time Intervals in
Diffusion Models
- arxiv url: http://arxiv.org/abs/2403.08381v1
- Date: Wed, 13 Mar 2024 09:47:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 15:16:26.434866
- Title: Tackling the Singularities at the Endpoints of Time Intervals in
Diffusion Models
- Title(参考訳): 時間間隔の端点における特異点の対応
拡散モデル
- Authors: Pengze Zhang, Hubery Yin, Chen Li, Xiaohua Xie
- Abstract要約: 不適切な特異点の扱いは、アプリケーションにおける平均的な明るさの問題につながる。
理論的・実践的な両面から特異点に取り組むことに注力する。
本稿では,初期特異時間ステップサンプリングに対処する新しいプラグアンドプレイ方式SingDiffusionを提案する。
- 参考スコア(独自算出の注目度): 29.213216002178306
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most diffusion models assume that the reverse process adheres to a Gaussian
distribution. However, this approximation has not been rigorously validated,
especially at singularities, where t=0 and t=1. Improperly dealing with such
singularities leads to an average brightness issue in applications, and limits
the generation of images with extreme brightness or darkness. We primarily
focus on tackling singularities from both theoretical and practical
perspectives. Initially, we establish the error bounds for the reverse process
approximation, and showcase its Gaussian characteristics at singularity time
steps. Based on this theoretical insight, we confirm the singularity at t=1 is
conditionally removable while it at t=0 is an inherent property. Upon these
significant conclusions, we propose a novel plug-and-play method SingDiffusion
to address the initial singular time step sampling, which not only effectively
resolves the average brightness issue for a wide range of diffusion models
without extra training efforts, but also enhances their generation capability
in achieving notable lower FID scores. Code and models are released at
https://github.com/PangzeCheung/SingDiffusion.
- Abstract(参考訳): ほとんどの拡散モデルは、逆過程がガウス分布に従属すると仮定する。
しかし、この近似は、特に t=0 と t=1 の特異点において厳密に検証されていない。
このような特異点に不適切な対処は、アプリケーションにおける平均的な明るさ問題を引き起こし、極度の明るさまたは暗さで画像の生成を制限する。
主に、理論的および実践的な観点から特異点に取り組むことに重点を置いています。
まず、逆過程近似の誤差境界を確立し、特異時間ステップでそのガウス特性を示す。
この理論的な洞察に基づき、t = 1 における特異点が条件的に除去可能であるのに対して、t=0 における特異点が固有の性質であることを確認する。
そこで本研究では,初期特異時間ステップサンプリングに対処するプラグイン・アンド・プレイ方式SingDiffusionを提案する。これは,トレーニングを余分に行わずに,広範囲の拡散モデルの平均輝度問題を効果的に解決するだけでなく,FIDスコアの顕著な向上を実現するための生成能力も向上する。
コードとモデルはhttps://github.com/PangzeCheung/SingDiffusion.comで公開されている。
関連論文リスト
- Time Series Diffusion in the Frequency Domain [54.60573052311487]
周波数領域における時系列表現がスコアベース拡散モデルに有用な帰納バイアスであるか否かを解析する。
重要なニュアンスを持つ周波数領域において、二重拡散過程が生じることを示す。
周波数領域に拡散モデルを実装するために,デノナイジングスコアマッチング手法を適用する方法を示す。
論文 参考訳(メタデータ) (2024-02-08T18:59:05Z) - Improving and Unifying Discrete&Continuous-time Discrete Denoising
Diffusion [41.03548068279262]
離散拡散のためのより正確で容易に最適なトレーニングを可能にする変分下界の数学的単純化について述べる。
本稿では, 精密かつ高速なサンプリングが可能な後方復調法と, 離散時間および連続時間離散拡散のエレガントな統一法を導出する。
論文 参考訳(メタデータ) (2024-02-06T04:42:36Z) - Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。
本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-14T11:19:11Z) - One More Step: A Versatile Plug-and-Play Module for Rectifying Diffusion
Schedule Flaws and Enhancing Low-Frequency Controls [77.42510898755037]
One More Step (OMS) は、推論中に単純だが効果的なステップを付加したコンパクトネットワークである。
OMSは画像の忠実度を高め、トレーニングと推論の二分法を調和させ、元のモデルパラメータを保存する。
トレーニングが完了すると、同じ潜在ドメインを持つ様々な事前訓練された拡散モデルが同じOMSモジュールを共有することができる。
論文 参考訳(メタデータ) (2023-11-27T12:02:42Z) - Eliminating Lipschitz Singularities in Diffusion Models [51.806899946775076]
拡散モデルは、時間ステップの零点付近で無限のリプシッツをしばしば表すことを示す。
これは、積分演算に依存する拡散過程の安定性と精度に脅威をもたらす。
我々はE-TSDMと呼ばれる新しい手法を提案し、これは0に近い拡散モデルのリプシッツを除去する。
論文 参考訳(メタデータ) (2023-06-20T03:05:28Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳(メタデータ) (2023-06-15T16:30:08Z) - Blackout Diffusion: Generative Diffusion Models in Discrete-State Spaces [0.0]
前方拡散過程における任意の離散状態マルコフ過程の理論的定式化を開発する。
例えばBlackout Diffusion'は、ノイズからではなく、空のイメージからサンプルを生成することを学習する。
論文 参考訳(メタデータ) (2023-05-18T16:24:12Z) - Infinite-Dimensional Diffusion Models [4.342241136871849]
拡散に基づく生成モデルを無限次元で定式化し、関数の生成モデルに適用する。
我々の定式化は無限次元の設定においてよく成り立っていることを示し、サンプルから目標測度への次元非依存距離境界を提供する。
また,無限次元拡散モデルの設計ガイドラインも作成する。
論文 参考訳(メタデータ) (2023-02-20T18:00:38Z) - Kernel-Whitening: Overcome Dataset Bias with Isotropic Sentence
Embedding [51.48582649050054]
符号化文の特徴間の相関関係を解消する表現正規化手法を提案する。
またNystromカーネル近似法であるKernel-Whiteningを提案する。
実験により,Kernel-Whiteningは分布内精度を維持しつつ,分布外データセット上でのBERTの性能を著しく向上することが示された。
論文 参考訳(メタデータ) (2022-10-14T05:56:38Z) - First Hitting Diffusion Models [19.19644194006565]
First Hitting Diffusion Models (FHDM) は、ランダムな最初のヒット時間で終了する拡散プロセスでデータを生成する。
品質と速度の両面で、最先端のアプローチと比較して、かなりの改善が見られた。
論文 参考訳(メタデータ) (2022-09-02T17:01:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。