論文の概要: Localized Diffusion Models for High Dimensional Distributions Generation

• arxiv url: http://arxiv.org/abs/2505.04417v1
• Date: Wed, 07 May 2025 13:51:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-08 19:07:36.097184
• Title: Localized Diffusion Models for High Dimensional Distributions Generation
• Title（参考訳）: 高次元分布生成のための局所拡散モデル
• Authors: Georg A. Gottwald, Shuigen Liu, Youssef Marzouk, Sebastian Reich, Xin T. Tong,
• Abstract要約: 対象分布における低次元構造をよりよく理解し活用することの重要性について検討する。 局所構造の下では、スコア関数は事実上低次元であり、サンプルの複雑さを著しく低減した局所ニューラルネットワークによって推定できる。 このような局所化が拡散モデルによって次元の呪い(CoD)を回避できることを実証する。
• 参考スコア（独自算出の注目度）: 1.677718351174347
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models are the state-of-the-art tools for various generative tasks. However, estimating high-dimensional score functions makes them potentially suffer from the curse of dimensionality (CoD). This underscores the importance of better understanding and exploiting low-dimensional structure in the target distribution. In this work, we consider locality structure, which describes sparse dependencies between model components. Under locality structure, the score function is effectively low-dimensional, so that it can be estimated by a localized neural network with significantly reduced sample complexity. This motivates the localized diffusion model, where a localized score matching loss is used to train the score function within a localized hypothesis space. We prove that such localization enables diffusion models to circumvent CoD, at the price of additional localization error. Under realistic sample size scaling, we show both theoretically and numerically that a moderate localization radius can balance the statistical and localization error, leading to a better overall performance. The localized structure also facilitates parallel training of diffusion models, making it potentially more efficient for large-scale applications.
• Abstract（参考訳）: 拡散モデルは様々な生成タスクのための最先端のツールである。 しかし、高次元スコア関数を推定すると、それらは次元性の呪い(CoD)に悩まされる可能性がある。 このことは、ターゲット分布における低次元構造をよりよく理解し、活用することの重要性を浮き彫りにする。 本研究では,モデルコンポーネント間の疎依存関係を記述する局所性構造について考察する。 局所構造の下では、スコア関数は事実上低次元であり、サンプルの複雑さを著しく低減した局所ニューラルネットワークによって推定できる。 このモデルでは、局所的なスコアマッチング損失を使用して、局所的な仮説空間内でスコア関数を訓練する。 このような局所化は、さらなる局所化誤差を犠牲にして、拡散モデルによってCoDを回避できることを実証する。 現実的なサンプルサイズスケーリングでは、適度な局所化半径が統計的および局所化誤差のバランスを保ち、全体的な性能が向上することを示す。 局所化構造はまた拡散モデルの並列トレーニングを促進するため、大規模アプリケーションではより効率的である可能性がある。

関連論文リスト

• Stein's method for marginals on large graphical models [1.8843687952462742]
  分布の局所性を定量化する新しい$delta$-locality条件を導入する。 これらの手法により, 局所化および並列化により, サンプルの複雑さと計算コストを大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2024-10-15T16:47:05Z)
• Adapting to Unknown Low-Dimensional Structures in Score-Based Diffusion Models [6.76974373198208]
  周囲の次元が$d$である場合、各デノイングステップ内で発生する誤差の依存性は、一般的には避けられない。 これはDDPMサンプリング器がターゲット分布の未知の低次元構造に適応できるという最初の理論実証である。
  論文  参考訳（メタデータ） (2024-05-23T17:59:10Z)
• Analyzing Neural Network-Based Generative Diffusion Models through Convex Optimization [45.72323731094864]
  本稿では,2層ニューラルネットワークを用いた拡散モデル解析のための理論的枠組みを提案する。 我々は,1つの凸プログラムを解くことで,スコア予測のための浅層ニューラルネットワークのトレーニングが可能であることを証明した。 本結果は, ニューラルネットワークに基づく拡散モデルが漸近的でない環境で何を学習するかを, 正確に評価するものである。
  論文  参考訳（メタデータ） (2024-02-03T00:20:25Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
  拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。 実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-03T11:31:55Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。