論文の概要: Information-Theoretic Proofs for Diffusion Sampling

• arxiv url: http://arxiv.org/abs/2502.02305v1
• Date: Tue, 04 Feb 2025 13:19:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:01:55.392889
• Title: Information-Theoretic Proofs for Diffusion Sampling
• Title（参考訳）: 拡散サンプリングのための情報理論証明
• Authors: Galen Reeves, Henry D. Pfister,
• Abstract要約: 本稿では, 拡散法に基づくジェネレーティブ・モデリング手法の基本的, 自己完結型分析法を提案する。 拡散ステップサイズが十分に小さい場合、サンプリング分布はターゲット分布に確実に近いことを示す。 また,各ステップに追加のランダム性を導入して,比較過程における高次モーメントに一致させることにより,収束を促進させる方法についての透過的なビューを提供する。
• 参考スコア（独自算出の注目度）: 13.095978794717007
• License:
• Abstract: This paper provides an elementary, self-contained analysis of diffusion-based sampling methods for generative modeling. In contrast to existing approaches that rely on continuous-time processes and then discretize, our treatment works directly with discrete-time stochastic processes and yields precise non-asymptotic convergence guarantees under broad assumptions. The key insight is to couple the sampling process of interest with an idealized comparison process that has an explicit Gaussian-convolution structure. We then leverage simple identities from information theory, including the I-MMSE relationship, to bound the discrepancy (in terms of the Kullback-Leibler divergence) between these two discrete-time processes. In particular, we show that, if the diffusion step sizes are chosen sufficiently small and one can approximate certain conditional mean estimators well, then the sampling distribution is provably close to the target distribution. Our results also provide a transparent view on how to accelerate convergence by introducing additional randomness in each step to match higher order moments in the comparison process.
• Abstract（参考訳）: 本稿では, 拡散法に基づくジェネレーティブ・モデリング手法の基本的, 自己完結型分析法を提案する。 連続時間プロセスに依存して離散化する既存のアプローチとは対照的に、我々の処理は離散時間確率過程と直接作用し、広い仮定の下で正確な非漸近収束を保証する。 鍵となる洞察は、関心のサンプリングプロセスと、明示的なガウス-畳み込み構造を持つ理想的な比較プロセスとを結合することである。 次に、I-MMSE関係を含む情報理論からの単純なアイデンティティを利用して、これらの2つの離散時間プロセス間の(Kulback-Leibler分散の観点から)相違点をバインドする。 特に、拡散ステップサイズが十分に小さく、ある条件付き平均推定器をうまく近似できる場合、サンプリング分布が目標分布に確実に近いことを示す。 また,各ステップに追加のランダム性を導入して,比較過程における高次モーメントに一致させることにより,収束を促進させる方法についての透過的なビューを提供する。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Inferring biological processes with intrinsic noise from cross-sectional data [0.8192907805418583]
  データから動的モデルを推定することは、計算生物学における重要な課題である。 確率フロー推論(PFI)は,ODE推論のアルゴリズム的容易性を維持しつつ,本質性から力を引き離すことを示す。 実例では,PFIは高次元反応ネットワークにおける正確なパラメータと力の推定を可能にし,分子ノイズによる細胞分化動態の推測を可能にする。
  論文  参考訳（メタデータ） (2024-10-10T00:33:25Z)
• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Space-Time Diffusion Bridge [0.4527270266697462]
  実確率分布から独立かつ同一に分布する新しい合成サンプルを生成する方法を提案する。 時空間次元にまたがる時空間混合戦略を用いる。 数値実験による時空拡散法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-02-13T23:26:11Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Fast Sampling via Discrete Non-Markov Diffusion Models with Predetermined Transition Time [49.598085130313514]
  離散非マルコフ拡散モデル(DNDM)を提案する。 これにより、トレーニング不要なサンプリングアルゴリズムにより、関数評価の数を大幅に削減できる。 有限ステップサンプリングから無限ステップサンプリングへの移行について検討し、離散プロセスと連続プロセスのギャップを埋めるための新たな洞察を提供する。
  論文  参考訳（メタデータ） (2023-12-14T18:14:11Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Blackout Diffusion: Generative Diffusion Models in Discrete-State Spaces [0.0]
  前方拡散過程における任意の離散状態マルコフ過程の理論的定式化を開発する。 例えばBlackout Diffusion'は、ノイズからではなく、空のイメージからサンプルを生成することを学習する。
  論文  参考訳（メタデータ） (2023-05-18T16:24:12Z)
• DensePure: Understanding Diffusion Models towards Adversarial Robustness [110.84015494617528]
  拡散モデルの特性を解析し,それらが証明された堅牢性を高める条件を確立する。 事前訓練されたモデル(すなわち分類器)の信頼性向上を目的とした新しいDensePure法を提案する。 このロバストな領域は多重凸集合の和であり、以前の研究で特定されたロバストな領域よりもはるかに大きい可能性が示されている。
  論文  参考訳（メタデータ） (2022-11-01T08:18:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。