論文の概要: Critical windows: non-asymptotic theory for feature emergence in diffusion models
- arxiv url: http://arxiv.org/abs/2403.01633v2
- Date: Fri, 24 May 2024 20:35:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 06:45:59.934091
- Title: Critical windows: non-asymptotic theory for feature emergence in diffusion models
- Title(参考訳): 臨界窓-拡散モデルにおける特徴出現のための非漸近理論
- Authors: Marvin Li, Sitan Chen,
- Abstract要約: 我々は,重要なウィンドウと呼ぶ画像生成のための拡散モデルの興味深い性質を理解するための理論を開発する。
本稿では,これらのウィンドウを解析するための公式な枠組みを提案し,強対数凹凸密度の混合から得られるデータに対して,これらのウィンドウを証明可能な有界化が可能であることを示す。
安定拡散に関する予備実験は、クリティカルウィンドウが現実世界の拡散モデルにおける公正さとプライバシー侵害を診断するための有用なツールとして役立つことを示唆している。
- 参考スコア(独自算出の注目度): 9.275532709125242
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We develop theory to understand an intriguing property of diffusion models for image generation that we term critical windows. Empirically, it has been observed that there are narrow time intervals in sampling during which particular features of the final image emerge, e.g. the image class or background color (Ho et al., 2020b; Meng et al., 2022; Choi et al., 2022; Raya & Ambrogioni, 2023; Georgiev et al., 2023; Sclocchi et al., 2024; Biroli et al., 2024). While this is advantageous for interpretability as it implies one can localize properties of the generation to a small segment of the trajectory, it seems at odds with the continuous nature of the diffusion. We propose a formal framework for studying these windows and show that for data coming from a mixture of strongly log-concave densities, these windows can be provably bounded in terms of certain measures of inter- and intra-group separation. We also instantiate these bounds for concrete examples like well-conditioned Gaussian mixtures. Finally, we use our bounds to give a rigorous interpretation of diffusion models as hierarchical samplers that progressively "decide" output features over a discrete sequence of times. We validate our bounds with synthetic experiments. Additionally, preliminary experiments on Stable Diffusion suggest critical windows may serve as a useful tool for diagnosing fairness and privacy violations in real-world diffusion models.
- Abstract(参考訳): 我々は,重要なウィンドウと呼ぶ画像生成のための拡散モデルの興味深い性質を理解するための理論を開発する。
実験的に、最終像の特定の特徴、例えば画像クラスまたは背景色(Ho et al , 2020b; Meng et al , 2022; Choi et al , 2022; Raya & Ambrogioni, 2023; Georgiev et al , 2023; Sclocchi et al , 2024; Biroli et al , 2024)が出現する時間間隔が狭いことが観察されている。
これは、生成物の性質を軌道の小さな部分へ局所化できることを意味するため、解釈可能性に有利であるが、拡散の連続的な性質に反するように見える。
本稿では,これらのウィンドウを解析するための公式な枠組みを提案し,強対数凹凸密度の混合から得られるデータに対して,グループ間およびグループ間分離の特定の尺度によって,これらのウィンドウを証明可能な有界化が可能であることを示す。
また、よく条件付けられたガウス混合のような具体的な例としてこれらの境界をインスタンス化する。
最後に、我々の境界を用いて拡散モデルの厳密な解釈を階層的なサンプルとして与え、段階的に離散的に出力特徴を「デシド」する。
我々は合成実験で限界を検証した。
さらに、安定拡散に関する予備実験では、クリティカルウィンドウが現実世界の拡散モデルにおける公正性とプライバシ違反の診断に有用なツールである可能性が示唆されている。
関連論文リスト
- Unraveling the Smoothness Properties of Diffusion Models: A Gaussian Mixture Perspective [29.27113653850964]
拡散過程のリプシッツ連続性と第二運動量特性の理論的理解を提供する。
この結果から, 共通データ分布下での拡散過程のダイナミクスについて, より深い理論的知見が得られた。
論文 参考訳(メタデータ) (2024-05-26T03:32:27Z) - Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。
経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。
本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
論文 参考訳(メタデータ) (2024-03-18T17:08:24Z) - Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian
Mixture Models [59.331993845831946]
拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。
本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
論文 参考訳(メタデータ) (2024-03-03T23:15:48Z) - Feedback Efficient Online Fine-Tuning of Diffusion Models [52.170384048274364]
提案手法は, 実現可能なサンプルの多様体上で効率的に探索できる新しい強化学習手法である。
本稿では,3つの領域にまたがる実証的検証とともに,後悔の保証を提供する理論的解析を提案する。
論文 参考訳(メタデータ) (2024-02-26T07:24:32Z) - Time Series Diffusion in the Frequency Domain [54.60573052311487]
周波数領域における時系列表現がスコアベース拡散モデルに有用な帰納バイアスであるか否かを解析する。
重要なニュアンスを持つ周波数領域において、二重拡散過程が生じることを示す。
周波数領域に拡散モデルを実装するために,デノナイジングスコアマッチング手法を適用する方法を示す。
論文 参考訳(メタデータ) (2024-02-08T18:59:05Z) - Probabilistic and Semantic Descriptions of Image Manifolds and Their
Applications [28.554065677506966]
画像は高次元空間の低次元多様体上にあると言うのが一般的である。
画像は多様体上に不均一に分布し、この分布を確率分布としてモデル化する方法を考案する。
多様体上の点を記述するために意味論的解釈がどのように用いられるかを示す。
論文 参考訳(メタデータ) (2023-07-06T09:36:45Z) - Eliminating Lipschitz Singularities in Diffusion Models [51.806899946775076]
拡散モデルは、時間ステップの零点付近で無限のリプシッツをしばしば表すことを示す。
これは、積分演算に依存する拡散過程の安定性と精度に脅威をもたらす。
我々はE-TSDMと呼ばれる新しい手法を提案し、これは0に近い拡散モデルのリプシッツを除去する。
論文 参考訳(メタデータ) (2023-06-20T03:05:28Z) - Blackout Diffusion: Generative Diffusion Models in Discrete-State Spaces [0.0]
前方拡散過程における任意の離散状態マルコフ過程の理論的定式化を開発する。
例えばBlackout Diffusion'は、ノイズからではなく、空のイメージからサンプルを生成することを学習する。
論文 参考訳(メタデータ) (2023-05-18T16:24:12Z) - Bi-Noising Diffusion: Towards Conditional Diffusion Models with
Generative Restoration Priors [64.24948495708337]
本研究では,事前訓練した非条件拡散モデルを用いて,予測サンプルをトレーニングデータ多様体に導入する手法を提案する。
我々は,超解像,着色,乱流除去,画像劣化作業におけるアプローチの有効性を実証するための総合的な実験を行った。
論文 参考訳(メタデータ) (2022-12-14T17:26:35Z) - A Variational Perspective on Diffusion-Based Generative Models and Score
Matching [8.93483643820767]
連続時間生成拡散の確率推定のための変分フレームワークを導出する。
本研究は,プラグイン逆SDEの可能性の低い境界を最大化することと,スコアマッチング損失の最小化が等価であることを示す。
論文 参考訳(メタデータ) (2021-06-05T05:50:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。