論文の概要: Capturing Conditional Dependence via Auto-regressive Diffusion Models

• arxiv url: http://arxiv.org/abs/2504.21314v1
• Date: Wed, 30 Apr 2025 04:57:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 22:27:33.574216
• Title: Capturing Conditional Dependence via Auto-regressive Diffusion Models
• Title（参考訳）: 自己回帰拡散モデルによる条件依存性の捕捉
• Authors: Xunpeng Huang, Yujin Han, Difan Zou, Yian Ma, Tong Zhang,
• Abstract要約: 本研究では, 自己回帰(AR)拡散モデルの有効性について検討した。 理論的な結果は, 典型的な拡散モデルと比較して, データ条件分布の近似において, 差が小さく, サンプルを生成できることを示唆している。 また、データに条件依存構造が明確な場合、AR拡散モデルがそのような構造を捕捉するのに対し、バニラDDPMはそれを行うことができないことを示す実験結果も提供する。
• 参考スコア（独自算出の注目度）: 24.26847446193959
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have demonstrated appealing performance in both image and video generation. However, many works discover that they struggle to capture important, high-level relationships that are present in the real world. For example, they fail to learn physical laws from data, and even fail to understand that the objects in the world exist in a stable fashion. This is due to the fact that important conditional dependence structures are not adequately captured in the vanilla diffusion models. In this work, we initiate an in-depth study on strengthening the diffusion model to capture the conditional dependence structures in the data. In particular, we examine the efficacy of the auto-regressive (AR) diffusion models for such purpose and develop the first theoretical results on the sampling error of AR diffusion models under (possibly) the mildest data assumption. Our theoretical findings indicate that, compared with typical diffusion models, the AR variant produces samples with a reduced gap in approximating the data conditional distribution. On the other hand, the overall inference time of the AR-diffusion models is only moderately larger than that for the vanilla diffusion models, making them still practical for large scale applications. We also provide empirical results showing that when there is clear conditional dependence structure in the data, the AR diffusion models captures such structure, whereas vanilla DDPM fails to do so. On the other hand, when there is no obvious conditional dependence across patches of the data, AR diffusion does not outperform DDPM.
• Abstract（参考訳）: 拡散モデルは画像生成と映像生成の両方において魅力的な性能を示した。 しかし、現実世界に存在する重要なハイレベルな関係をつかむのに苦労していることが、多くの研究で判明している。 例えば、彼らはデータから物理法則を学ばず、また世界の物体が安定した方法で存在することさえ理解できない。 これは、バニラ拡散モデルにおいて重要な条件依存構造が適切に捕捉されないためである。 本研究では,データ中の条件依存構造を捉えるために拡散モデルを強化するための詳細な研究を開始する。 特に, 自己回帰(AR)拡散モデルの有効性について検討し, 最も穏やかなデータ仮定の下でのAR拡散モデルのサンプリング誤差に関する最初の理論的結果を開発した。 理論的な結果は, 典型的な拡散モデルと比較して, データ条件分布の近似において, 差が小さく, サンプルを生成できることを示唆している。 一方,AR拡散モデル全体の推定時間は,バニラ拡散モデルよりもわずかに大きく,大規模アプリケーションでは依然として実用的である。 また、データに条件依存構造が明確な場合、AR拡散モデルがそのような構造を捕捉するのに対し、バニラDDPMはそれを行うことができないことを示す実験結果も提供する。 一方、データのパッチに明確な条件依存がない場合、AR拡散はDDPMを上回っない。

関連論文リスト

• Continuous Diffusion Model for Language Modeling [57.396578974401734]
  離散データに対する既存の連続拡散モデルは、離散的アプローチと比較して性能が限られている。 本稿では,下層の分類分布の幾何学を組み込んだ言語モデリングのための連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2025-02-17T08:54:29Z)
• Diffusion Attribution Score: Evaluating Training Data Influence in Diffusion Models [22.39558434131574]
  拡散モデルに対する既存のデータ帰属法は、典型的にはトレーニングサンプルの寄与を定量化する。 拡散損失の直接的利用は,拡散損失の計算により,そのような貢献を正確に表すことはできない。 本研究では,予測分布と属性スコアとの直接比較を行うために拡散属性スコア(textitDAS)を提案する。
  論文  参考訳（メタデータ） (2024-10-24T10:58:17Z)
• Convergence of Diffusion Models Under the Manifold Hypothesis in High-Dimensions [6.9408143976091745]
  Denoising Diffusion Probabilistic Models (DDPM)は、高次元データ分布から合成データを生成するために使用される強力な最先端手法である。 多様体仮説の下でDDPMを解析し、スコアラーニングの観点で周囲次元に依存しないレートを達成することを証明した。 サンプリング複雑性の観点では、周囲次元 w.r.t, Kullback-Leibler 発散率 w.r.t, $O(sqrtD)$ w.r.t. ワッサーシュタイン距離を求める。
  論文  参考訳（メタデータ） (2024-09-27T14:57:18Z)
• An Overview of Diffusion Models: Applications, Guided Generation, Statistical Rates and Optimization [59.63880337156392]
  拡散モデルはコンピュータビジョン、オーディオ、強化学習、計算生物学において大きな成功を収めた。 経験的成功にもかかわらず、拡散モデルの理論は非常に限定的である。 本稿では,前向きな理論や拡散モデルの手法を刺激する理論的露光について述べる。
  論文  参考訳（メタデータ） (2024-04-11T14:07:25Z)
• Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
  ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。 本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-14T11:19:11Z)
• The Emergence of Reproducibility and Generalizability in Diffusion Models [10.188731323681575]
  同じスタートノイズ入力と決定論的サンプリングが与えられた場合、異なる拡散モデルはしばしば驚くほど類似した出力が得られる。 拡散モデルはトレーニングデータサイズの影響を受けやすい分布を学習していることを示す。 この価値ある性質は、条件付き使用、逆問題解決、モデル微調整など、拡散モデルの多くの変種に一般化される。
  論文  参考訳（メタデータ） (2023-10-08T19:02:46Z)
• Soft Mixture Denoising: Beyond the Expressive Bottleneck of Diffusion Models [76.46246743508651]
  我々は,現在の拡散モデルが後方認知において表現力のあるボトルネックを持っていることを示した。 本稿では,後方復調のための表現的かつ効率的なモデルであるソフトミキシング・デノナイジング(SMD)を導入する。
  論文  参考訳（メタデータ） (2023-09-25T12:03:32Z)
• On Error Propagation of Diffusion Models [77.91480554418048]
  DMのアーキテクチャにおける誤り伝播を数学的に定式化するための理論的枠組みを開発する。 累積誤差を正規化項として適用して誤差伝搬を低減する。 提案した正規化はエラーの伝播を低減し,バニラDMを大幅に改善し,以前のベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2023-08-09T15:31:17Z)
• Exploring the Optimal Choice for Generative Processes in Diffusion Models: Ordinary vs Stochastic Differential Equations [6.2284442126065525]
  ゼロ拡散(ODE)の場合と大きな拡散の場合の2つの制限シナリオについて数学的に検討する。 その結果, 生成過程の終端に摂動が発生すると, ODEモデルは大きな拡散係数でSDEモデルより優れることがわかった。
  論文  参考訳（メタデータ） (2023-06-03T09:27:15Z)
• Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
  拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。 実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-03T11:31:55Z)
• Unifying Diffusion Models' Latent Space, with Applications to CycleDiffusion and Guidance [95.12230117950232]
  関係領域で独立に訓練された2つの拡散モデルから共通潜時空間が現れることを示す。 テキスト・画像拡散モデルにCycleDiffusionを適用することで、大規模なテキスト・画像拡散モデルがゼロショット画像・画像拡散エディタとして使用できることを示す。
  論文  参考訳（メタデータ） (2022-10-11T15:53:52Z)
• Non-Uniform Diffusion Models [0.8602553195689513]
  非一様拡散は、マルチスケール正規化フローと似た構造を持つマルチスケール拡散モデルをもたらすことを示す。 実験により, 同一あるいは少ないトレーニング時間において, マルチスケール拡散モデルでは, 標準均一拡散モデルよりも優れたFIDスコアが得られることがわかった。 また, 非一様拡散は, 条件付きスコア関数に対して, 最先端の条件付きデノナイジング推定器と同等の性能を達成するための新しい推定器となることを示す。
  論文  参考訳（メタデータ） (2022-07-20T09:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。