論文の概要: Adapting to Unknown Low-Dimensional Structures in Score-Based Diffusion Models

• arxiv url: http://arxiv.org/abs/2405.14861v1
• Date: Thu, 23 May 2024 17:59:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 13:17:34.791115
• Title: Adapting to Unknown Low-Dimensional Structures in Score-Based Diffusion Models
• Title（参考訳）: スコアベース拡散モデルにおける未知の低次元構造への適応
• Authors: Gen Li, Yuling Yan,
• Abstract要約: 周囲の次元が$d$である場合、各デノイングステップ内で発生する誤差の依存性は、一般的には避けられない。 これはDDPMサンプリング器がターゲット分布の未知の低次元構造に適応できるという最初の理論実証である。
• 参考スコア（独自算出の注目度）: 6.76974373198208
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates score-based diffusion models when the underlying target distribution is concentrated on or near low-dimensional manifolds within the higher-dimensional space in which they formally reside, a common characteristic of natural image distributions. Despite previous efforts to understand the data generation process of diffusion models, existing theoretical support remains highly suboptimal in the presence of low-dimensional structure, which we strengthen in this paper. For the popular Denoising Diffusion Probabilistic Model (DDPM), we find that the dependency of the error incurred within each denoising step on the ambient dimension $d$ is in general unavoidable. We further identify a unique design of coefficients that yields a converges rate at the order of $O(k^{2}/\sqrt{T})$ (up to log factors), where $k$ is the intrinsic dimension of the target distribution and $T$ is the number of steps. This represents the first theoretical demonstration that the DDPM sampler can adapt to unknown low-dimensional structures in the target distribution, highlighting the critical importance of coefficient design. All of this is achieved by a novel set of analysis tools that characterize the algorithmic dynamics in a more deterministic manner.
• Abstract（参考訳）: 本稿では, 対象分布が正規に存在する高次元空間内の低次元多様体あるいは近辺に集中している場合, 自然像分布の共通特性として, スコアベース拡散モデルについて検討する。 従来の拡散モデルのデータ生成過程の理解の試みにもかかわらず,本論文では低次元構造の存在下では,既存の理論的支援が極めて最適である。 一般的な Denoising Diffusion Probabilistic Model (DDPM) では、環境次元$d$における各 Denoising ステップ内で発生する誤差の依存性は、一般的には避けられない。 さらに、$O(k^{2}/\sqrt{T})$(ログファクタまで)の順序で収束率をもたらす係数のユニークな設計を特定し、$k$は対象分布の内在次元であり、$T$はステップ数である。 これはDDPMサンプリング器がターゲット分布における未知の低次元構造に適応できるという最初の理論実証であり、係数設計の重要な重要性を強調している。 これら全ては、より決定論的にアルゴリズム力学を特徴づける新しい分析ツールによって達成される。

関連論文リスト

• Inflationary Flows: Calibrated Bayesian Inference with Diffusion-Based Models [0.0]
  本稿では,拡散モデルを用いてベイズ推定を行う方法を示す。 本稿では,新しいノイズスケジュールを用いて,標準的なDBMトレーニングを通じてそのようなマップを学習する方法を示す。 その結果は、低次元の潜在空間上で一意に定義される非常に表現性の高い生成モデルのクラスである。
  論文  参考訳（メタデータ） (2024-07-11T19:58:19Z)
• On the Statistical Properties of Generative Adversarial Models for Low Intrinsic Data Dimension [38.964624328622]
  我々は、データと潜伏空間の内在次元の観点から、推定密度に関する統計的保証を導出する。 我々は,非滑らかな分布においても,GANが最小値の最適値を効果的に達成できることを実証した。
  論文  参考訳（メタデータ） (2024-01-28T23:18:10Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
  拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。 実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-03T11:31:55Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)
• Super-model ecosystem: A domain-adaptation perspective [101.76769818069072]
  本稿では,ドメイン適応による新たなスーパーモデルパラダイムの理論的基礎を確立することを試みる。 スーパーモデルパラダイムは、計算とデータコストと二酸化炭素排出量を減らすのに役立つ。
  論文  参考訳（メタデータ） (2022-08-30T09:09:43Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• A likelihood approach to nonparametric estimation of a singular distribution using deep generative models [4.329951775163721]
  深部生成モデルを用いた特異分布の非パラメトリック推定の可能性について検討する。 我々は、インスタンスノイズでデータを摂動することで、新しい効果的な解が存在することを証明した。 また、より深い生成モデルにより効率的に推定できる分布のクラスを特徴付ける。
  論文  参考訳（メタデータ） (2021-05-09T23:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。