論文の概要: Denoising diffusion probabilistic models are optimally adaptive to unknown low dimensionality

• arxiv url: http://arxiv.org/abs/2410.18784v1
• Date: Thu, 24 Oct 2024 14:36:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:50:30.009781
• Title: Denoising diffusion probabilistic models are optimally adaptive to unknown low dimensionality
• Title（参考訳）: 拡散確率モデルは未知の低次元に最適適応する
• Authors: Zhihan Huang, Yuting Wei, Yuxin Chen,
• Abstract要約: DDPMは,本質的な低次元データの自動利用により,サンプリングスピードアップを実現することができるかを検討する。 DDPMの繰り返し複雑性は$k$とほぼ線形にスケールすることが証明され、KL分散を用いて分布の相違を測定するのに最適である。
• 参考スコア（独自算出の注目度）: 21.10158431913811
• License:
• Abstract: The denoising diffusion probabilistic model (DDPM) has emerged as a mainstream generative model in generative AI. While sharp convergence guarantees have been established for the DDPM, the iteration complexity is, in general, proportional to the ambient data dimension, resulting in overly conservative theory that fails to explain its practical efficiency. This has motivated the recent work Li and Yan (2024a) to investigate how the DDPM can achieve sampling speed-ups through automatic exploitation of intrinsic low dimensionality of data. We strengthen this prior work by demonstrating, in some sense, optimal adaptivity to unknown low dimensionality. For a broad class of data distributions with intrinsic dimension $k$, we prove that the iteration complexity of the DDPM scales nearly linearly with $k$, which is optimal when using KL divergence to measure distributional discrepancy. Our theory is established based on a key observation: the DDPM update rule is equivalent to running a suitably parameterized SDE upon discretization, where the nonlinear component of the drift term is intrinsically low-dimensional.
• Abstract（参考訳）: 縮退拡散確率モデル(DDPM)は、生成AIの主要な生成モデルとして登場した。 DDPMに対して急激な収束保証が確立されているが、イテレーションの複雑さは概して、周囲のデータ次元に比例するものであり、結果としてその実用効率を説明できない過度に保守的な理論となる。 このことが最近の研究LiとYan(2024a)の動機となり、DDPMがデータの内在的低次元の自動利用によってサンプリングスピードアップを実現する方法が研究されている。 我々は、ある意味で、未知の低次元性に対する最適適応性を示すことによって、この先行研究を強化する。 内在次元が$k$の幅広いデータ分布のクラスについて、DDPMの反復複雑性が$k$とほぼ線形にスケールすることを証明する。 DDPM更新規則は、ドリフト項の非線形成分が本質的に低次元である離散化時に適切にパラメータ化されたSDEを実行することと等価である。

関連論文リスト

• Breaking Boundaries: Balancing Performance and Robustness in Deep Wireless Traffic Forecasting [11.029214459961114]
  正確性と堅牢性の間のトレードオフのバランスをとることは、時系列予測における長年の課題である。 本研究では,様々な摂動シナリオを考察し,実世界の通信データを用いた敵攻撃に対する防御機構を提案する。
  論文  参考訳（メタデータ） (2023-11-16T11:10:38Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
  Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。 暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。 提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-21T18:49:22Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• The probability flow ODE is provably fast [43.94655061860487]
  本稿では、スコアベース生成モデルにおける確率フローODEの実装(補正ステップを含む)について、最初の収束保証を提供する。 本分析は,SDEに基づく実装の保証を得た最近の結果を踏まえて実施した。
  論文  参考訳（メタデータ） (2023-05-19T16:33:05Z)
• Scaling up Stochastic Gradient Descent for Non-convex Optimisation [5.908471365011942]
  本稿では,共有並列計算問題に対する新しいアプローチを提案する。 2つの戦略を統一されたフレームワークに組み合わせることで、DPSGDはより良い取引計算フレームワークになります。 深層学習(DRL)問題と深層学習(DRL)問題(アドバンテージアクター - A2C)についてDPSGDにより潜在ゲインを達成できる。
  論文  参考訳（メタデータ） (2022-10-06T13:06:08Z)
• DR-DSGD: A Distributionally Robust Decentralized Learning Algorithm over Graphs [54.08445874064361]
  本稿では,分散環境下での正規化された分散ロバストな学習問題を解くことを提案する。 Kullback-Liebler正規化関数をロバストなmin-max最適化問題に追加することにより、学習問題を修正されたロバストな問題に還元することができる。 提案アルゴリズムは, 最低分布検定精度を最大10%向上できることを示す。
  論文  参考訳（メタデータ） (2022-08-29T18:01:42Z)
• Estimating the Optimal Covariance with Imperfect Mean in Diffusion Probabilistic Models [37.18522296366212]
  拡散確率モデル(DPMs)は、強力な深層生成モデル(DGMs)のクラスである。 彼らの成功にもかかわらず、フルタイムステップでの反復生成プロセスは、GANのような他のDGMよりもはるかに効率が良くない。 我々は,DPMの表現力を向上させるために,対角および全共分散を考慮する。
  論文  参考訳（メタデータ） (2022-06-15T05:42:48Z)
• Learning to Efficiently Sample from Diffusion Probabilistic Models [49.58748345998702]
  Denoising Diffusion Probabilistic Models (DDPM) は、様々な領域にわたる高忠実度サンプルと競合する対数類似度が得られる。 我々は,事前学習したDDPMに対して最適な離散時間スケジュールを求める,正確な動的プログラミングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T17:15:07Z)
• SUOD: Accelerating Large-Scale Unsupervised Heterogeneous Outlier Detection [63.253850875265115]
  外乱検出(OD)は、一般的なサンプルから異常物体を識別するための機械学習(ML)タスクである。 そこで我々は,SUODと呼ばれるモジュール型加速度システムを提案する。
  論文  参考訳（メタデータ） (2020-03-11T00:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。