論文の概要: Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models

• arxiv url: http://arxiv.org/abs/2403.01639v1
• Date: Sun, 3 Mar 2024 23:15:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 20:24:18.642664
• Title: Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models
• Title（参考訳）: 拡散指導のための理論的洞察--ガウス混合モデルのケーススタディ
• Authors: Yuchen Wu, Minshuo Chen, Zihao Li, Mengdi Wang, Yuting Wei
• Abstract要約: 拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
• 参考スコア（独自算出の注目度）: 59.331993845831946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models benefit from instillation of task-specific information into the score function to steer the sample generation towards desired properties. Such information is coined as guidance. For example, in text-to-image synthesis, text input is encoded as guidance to generate semantically aligned images. Proper guidance inputs are closely tied to the performance of diffusion models. A common observation is that strong guidance promotes a tight alignment to the task-specific information, while reducing the diversity of the generated samples. In this paper, we provide the first theoretical study towards understanding the influence of guidance on diffusion models in the context of Gaussian mixture models. Under mild conditions, we prove that incorporating diffusion guidance not only boosts classification confidence but also diminishes distribution diversity, leading to a reduction in the differential entropy of the output distribution. Our analysis covers the widely adopted sampling schemes including DDPM and DDIM, and leverages comparison inequalities for differential equations as well as the Fokker-Planck equation that characterizes the evolution of probability density function, which may be of independent theoretical interest.
• Abstract（参考訳）: 拡散モデルでは、スコア関数にタスク固有の情報を注入することで、サンプル生成を望ましい特性に向ける。 そのような情報は指導として表される。 例えば、テキストから画像への合成では、テキスト入力は意味的に整合した画像を生成するためのガイダンスとしてエンコードされる。 適切なガイダンス入力は拡散モデルの性能と密接に関連している。 一般的な観察では、強いガイダンスは、生成されたサンプルの多様性を減らしながら、タスク固有の情報との密接な整合を促進する。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する指導の影響を理解するための最初の理論的研究を行う。 軽度条件下では,拡散誘導を取り入れることで分類信頼性が向上するだけでなく,分布の多様性も低下し,出力分布の微分エントロピーが低下することを示す。 本分析では, DDPM や DDIM など広く採用されているサンプリング手法を取り上げ, 微分方程式の比較不等式と, 独立な理論的関心を持つ確率密度関数の進化を特徴付けるFokker-Planck 方程式を利用する。

関連論文リスト

• Diffusion Attribution Score: Evaluating Training Data Influence in Diffusion Model [22.39558434131574]
  拡散モデルに対する既存のデータ帰属法は、典型的にはトレーニングサンプルの寄与を定量化する。 拡散損失の直接的利用は,拡散損失の計算により,そのような貢献を正確に表すことはできない。 本研究の目的は, 予測分布と属性スコアとの直接比較を計測し, トレーニングサンプルの重要性を分析することである。
  論文  参考訳（メタデータ） (2024-10-24T10:58:17Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
  条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。 経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。 本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
  論文  参考訳（メタデータ） (2024-03-18T17:08:24Z)
• Fair Sampling in Diffusion Models through Switching Mechanism [5.560136885815622]
  本研究では,拡散モデルに対するテクスタトリビュートスイッチング機構という,公平性を考慮したサンプリング手法を提案する。 提案手法の有効性を2つの重要な側面から数学的に証明し,実験的に実証する。
  論文  参考訳（メタデータ） (2024-01-06T06:55:26Z)
• Diff-Instruct: A Universal Approach for Transferring Knowledge From Pre-trained Diffusion Models [77.83923746319498]
  本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。 Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。 GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
  論文  参考訳（メタデータ） (2023-05-29T04:22:57Z)
• Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
  拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。 実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-03T11:31:55Z)
• Information-Theoretic Diffusion [18.356162596599436]
  拡散モデルのデノイングは密度モデリングや画像生成において大きな進歩をもたらした。 情報理論における古典的な結果にインスパイアされた拡散モデルのための新しい数学的基礎を導入する。
  論文  参考訳（メタデータ） (2023-02-07T23:03:07Z)
• An optimal control perspective on diffusion-based generative modeling [9.806130366152194]
  微分方程式(SDE)に基づく最適制御と生成モデルとの接続を確立する。 特にハミルトン・ヤコビ・ベルマン方程式を導出し、基礎となるSDE限界の対数密度の進化を制御している。 非正規化密度から抽出する新しい拡散法を開発した。
  論文  参考訳（メタデータ） (2022-11-02T17:59:09Z)
• Flexible Amortized Variational Inference in qBOLD MRI [56.4324135502282]
  データから酸素抽出率(OEF)と脱酸素血液量(DBV)をより明瞭に決定する。 既存の推論手法では、DBVを過大評価しながら非常にノイズの多い、過小評価されたEFマップが得られる傾向にある。 本研究は, OEFとDBVの可算分布を推定できる確率論的機械学習手法について述べる。
  論文  参考訳（メタデータ） (2022-03-11T10:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。