論文の概要: Critical windows: non-asymptotic theory for feature emergence in diffusion models
- arxiv url: http://arxiv.org/abs/2403.01633v2
- Date: Fri, 24 May 2024 20:35:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 06:45:59.934091
- Title: Critical windows: non-asymptotic theory for feature emergence in diffusion models
- Title（参考訳）: 臨界窓-拡散モデルにおける特徴出現のための非漸近理論
- Authors: Marvin Li, Sitan Chen,
- Abstract要約: 我々は,重要なウィンドウと呼ぶ画像生成のための拡散モデルの興味深い性質を理解するための理論を開発する。
本稿では,これらのウィンドウを解析するための公式な枠組みを提案し,強対数凹凸密度の混合から得られるデータに対して,これらのウィンドウを証明可能な有界化が可能であることを示す。
安定拡散に関する予備実験は、クリティカルウィンドウが現実世界の拡散モデルにおける公正さとプライバシー侵害を診断するための有用なツールとして役立つことを示唆している。
- 参考スコア（独自算出の注目度）: 9.275532709125242
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We develop theory to understand an intriguing property of diffusion models for image generation that we term critical windows. Empirically, it has been observed that there are narrow time intervals in sampling during which particular features of the final image emerge, e.g. the image class or background color (Ho et al., 2020b; Meng et al., 2022; Choi et al., 2022; Raya & Ambrogioni, 2023; Georgiev et al., 2023; Sclocchi et al., 2024; Biroli et al., 2024). While this is advantageous for interpretability as it implies one can localize properties of the generation to a small segment of the trajectory, it seems at odds with the continuous nature of the diffusion. We propose a formal framework for studying these windows and show that for data coming from a mixture of strongly log-concave densities, these windows can be provably bounded in terms of certain measures of inter- and intra-group separation. We also instantiate these bounds for concrete examples like well-conditioned Gaussian mixtures. Finally, we use our bounds to give a rigorous interpretation of diffusion models as hierarchical samplers that progressively "decide" output features over a discrete sequence of times. We validate our bounds with synthetic experiments. Additionally, preliminary experiments on Stable Diffusion suggest critical windows may serve as a useful tool for diagnosing fairness and privacy violations in real-world diffusion models.
- Abstract（参考訳）: 我々は,重要なウィンドウと呼ぶ画像生成のための拡散モデルの興味深い性質を理解するための理論を開発する。
実験的に、最終像の特定の特徴、例えば画像クラスまたは背景色(Ho et al , 2020b; Meng et al , 2022; Choi et al , 2022; Raya & Ambrogioni, 2023; Georgiev et al , 2023; Sclocchi et al , 2024; Biroli et al , 2024)が出現する時間間隔が狭いことが観察されている。
これは、生成物の性質を軌道の小さな部分へ局所化できることを意味するため、解釈可能性に有利であるが、拡散の連続的な性質に反するように見える。
本稿では,これらのウィンドウを解析するための公式な枠組みを提案し,強対数凹凸密度の混合から得られるデータに対して,グループ間およびグループ間分離の特定の尺度によって,これらのウィンドウを証明可能な有界化が可能であることを示す。
また、よく条件付けられたガウス混合のような具体的な例としてこれらの境界をインスタンス化する。
最後に、我々の境界を用いて拡散モデルの厳密な解釈を階層的なサンプルとして与え、段階的に離散的に出力特徴を「デシド」する。
我々は合成実験で限界を検証した。
さらに、安定拡散に関する予備実験では、クリティカルウィンドウが現実世界の拡散モデルにおける公正性とプライバシ違反の診断に有用なツールである可能性が示唆されている。
関連論文リスト
- Blink of an eye: a simple theory for feature localization in generative models [8.252989129324988]
大型言語モデル(LLM)は、目の瞬きにおいて望ましくない、予期しない振る舞いを示す。
この現象は自己回帰モデルに特有のものではなく、拡散モデルでは、最終的な出力の重要な特徴は生成過程の狭いクリティカルウィンドウ'で決定される。
生成プロセスがモデル化した分布のサブポピュレーションにローカライズされると、一般化して現れることを示す。
論文 参考訳（メタデータ） (2025-02-02T21:19:53Z) - Merging and Splitting Diffusion Paths for Semantically Coherent Panoramas [33.334956022229846]
本稿では,Merge-Attend-Diffuse演算子を提案する。
具体的には、拡散経路をマージし、自己および横断的意図をプログラムし、集約された潜在空間で操作する。
提案手法は,生成した画像の入力プロンプトと視覚的品質との整合性を維持しつつ,セマンティック・コヒーレンスを増大させる。
論文 参考訳（メタデータ） (2024-08-28T09:22:32Z) - Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。
経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。
本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
論文 参考訳（メタデータ） (2024-03-18T17:08:24Z) - Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian
Mixture Models [59.331993845831946]
拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。
本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
論文 参考訳（メタデータ） (2024-03-03T23:15:48Z) - Feedback Efficient Online Fine-Tuning of Diffusion Models [52.170384048274364]
提案手法は, 実現可能なサンプルの多様体上で効率的に探索できる新しい強化学習手法である。
本稿では,3つの領域にまたがる実証的検証とともに,後悔の保証を提供する理論的解析を提案する。
論文 参考訳（メタデータ） (2024-02-26T07:24:32Z) - Time Series Diffusion in the Frequency Domain [54.60573052311487]
周波数領域における時系列表現がスコアベース拡散モデルに有用な帰納バイアスであるか否かを解析する。
重要なニュアンスを持つ周波数領域において、二重拡散過程が生じることを示す。
周波数領域に拡散モデルを実装するために,デノナイジングスコアマッチング手法を適用する方法を示す。
論文 参考訳（メタデータ） (2024-02-08T18:59:05Z) - Probabilistic and Semantic Descriptions of Image Manifolds and Their
Applications [28.554065677506966]
画像は高次元空間の低次元多様体上にあると言うのが一般的である。
画像は多様体上に不均一に分布し、この分布を確率分布としてモデル化する方法を考案する。
多様体上の点を記述するために意味論的解釈がどのように用いられるかを示す。
論文 参考訳（メタデータ） (2023-07-06T09:36:45Z) - Blackout Diffusion: Generative Diffusion Models in Discrete-State Spaces [0.0]
前方拡散過程における任意の離散状態マルコフ過程の理論的定式化を開発する。
例えばBlackout Diffusion'は、ノイズからではなく、空のイメージからサンプルを生成することを学習する。
論文 参考訳（メタデータ） (2023-05-18T16:24:12Z) - Bi-Noising Diffusion: Towards Conditional Diffusion Models with
Generative Restoration Priors [64.24948495708337]
本研究では,事前訓練した非条件拡散モデルを用いて,予測サンプルをトレーニングデータ多様体に導入する手法を提案する。
我々は,超解像,着色,乱流除去,画像劣化作業におけるアプローチの有効性を実証するための総合的な実験を行った。
論文 参考訳（メタデータ） (2022-12-14T17:26:35Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳（メタデータ） (2022-11-30T05:33:29Z) - A Variational Perspective on Diffusion-Based Generative Models and Score
Matching [8.93483643820767]
連続時間生成拡散の確率推定のための変分フレームワークを導出する。
本研究は,プラグイン逆SDEの可能性の低い境界を最大化することと,スコアマッチング損失の最小化が等価であることを示す。
論文 参考訳（メタデータ） (2021-06-05T05:50:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。