論文の概要: Adapting to Unknown Low-Dimensional Structures in Score-Based Diffusion Models

• arxiv url: http://arxiv.org/abs/2405.14861v1
• Date: Thu, 23 May 2024 17:59:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 13:17:34.791115
• Title: Adapting to Unknown Low-Dimensional Structures in Score-Based Diffusion Models
• Title（参考訳）: スコアベース拡散モデルにおける未知の低次元構造への適応
• Authors: Gen Li, Yuling Yan,
• Abstract要約: 周囲の次元が$d$である場合、各デノイングステップ内で発生する誤差の依存性は、一般的には避けられない。 これはDDPMサンプリング器がターゲット分布の未知の低次元構造に適応できるという最初の理論実証である。
• 参考スコア（独自算出の注目度）: 6.76974373198208
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates score-based diffusion models when the underlying target distribution is concentrated on or near low-dimensional manifolds within the higher-dimensional space in which they formally reside, a common characteristic of natural image distributions. Despite previous efforts to understand the data generation process of diffusion models, existing theoretical support remains highly suboptimal in the presence of low-dimensional structure, which we strengthen in this paper. For the popular Denoising Diffusion Probabilistic Model (DDPM), we find that the dependency of the error incurred within each denoising step on the ambient dimension $d$ is in general unavoidable. We further identify a unique design of coefficients that yields a converges rate at the order of $O(k^{2}/\sqrt{T})$ (up to log factors), where $k$ is the intrinsic dimension of the target distribution and $T$ is the number of steps. This represents the first theoretical demonstration that the DDPM sampler can adapt to unknown low-dimensional structures in the target distribution, highlighting the critical importance of coefficient design. All of this is achieved by a novel set of analysis tools that characterize the algorithmic dynamics in a more deterministic manner.
• Abstract（参考訳）: 本稿では, 対象分布が正規に存在する高次元空間内の低次元多様体あるいは近辺に集中している場合, 自然像分布の共通特性として, スコアベース拡散モデルについて検討する。 従来の拡散モデルのデータ生成過程の理解の試みにもかかわらず,本論文では低次元構造の存在下では,既存の理論的支援が極めて最適である。 一般的な Denoising Diffusion Probabilistic Model (DDPM) では、環境次元$d$における各 Denoising ステップ内で発生する誤差の依存性は、一般的には避けられない。 さらに、$O(k^{2}/\sqrt{T})$(ログファクタまで)の順序で収束率をもたらす係数のユニークな設計を特定し、$k$は対象分布の内在次元であり、$T$はステップ数である。 これはDDPMサンプリング器がターゲット分布における未知の低次元構造に適応できるという最初の理論実証であり、係数設計の重要な重要性を強調している。 これら全ては、より決定論的にアルゴリズム力学を特徴づける新しい分析ツールによって達成される。

関連論文リスト

• Low-dimensional adaptation of diffusion models: Convergence in total variation [13.218641525691195]
  拡散生成モデルが(未知の)低次元構造をどのように活用してサンプリングを高速化するかを検討する。 本研究はDDIM型試料試料の未知の低次元構造への適応性を示す最初の厳密な証拠である。
  論文  参考訳（メタデータ） (2025-01-22T16:12:33Z)
• Nonparametric estimation of a factorizable density using diffusion models [3.5773675235837974]
  本稿では,非パラメトリック密度推定に対する暗黙的なアプローチとして拡散モデルについて検討する。 拡散モデルから構成した暗黙密度推定器は、分解構造に適応し、最小値の最適速度を達成することを示す。 推定器を構築する際には、疎ウェイトシェアリングニューラルネットワークアーキテクチャを設計する。
  論文  参考訳（メタデータ） (2025-01-03T12:32:19Z)
• O(d/T) Convergence Theory for Diffusion Probabilistic Models under Minimal Assumptions [6.76974373198208]
  最小の仮定の下で,拡散確率モデル(DDPM)の高速収束理論を確立する。 収束率は$O(k/T)$に改善され、$k$は対象データ分布の内在次元であることを示す。 これはDDPMが未知の低次元構造に自動的に適応する能力を強調している。
  論文  参考訳（メタデータ） (2024-09-27T17:59:10Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
  拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。 実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-03T11:31:55Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)
• Super-model ecosystem: A domain-adaptation perspective [101.76769818069072]
  本稿では,ドメイン適応による新たなスーパーモデルパラダイムの理論的基礎を確立することを試みる。 スーパーモデルパラダイムは、計算とデータコストと二酸化炭素排出量を減らすのに役立つ。
  論文  参考訳（メタデータ） (2022-08-30T09:09:43Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• A likelihood approach to nonparametric estimation of a singular distribution using deep generative models [4.329951775163721]
  深部生成モデルを用いた特異分布の非パラメトリック推定の可能性について検討する。 我々は、インスタンスノイズでデータを摂動することで、新しい効果的な解が存在することを証明した。 また、より深い生成モデルにより効率的に推定できる分布のクラスを特徴付ける。
  論文  参考訳（メタデータ） (2021-05-09T23:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。