論文の概要: Localized Diffusion Models

• arxiv url: http://arxiv.org/abs/2505.04417v2
• Date: Sat, 27 Sep 2025 04:30:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 20:10:04.295039
• Title: Localized Diffusion Models
• Title（参考訳）: 局所拡散モデル
• Authors: Georg A. Gottwald, Shuigen Liu, Youssef Marzouk, Sebastian Reich, Xin T. Tong,
• Abstract要約: 対象分布の低次元構造が拡散モデルにおいてどのように活用できるかを示す。 このような局所化は拡散モデルによって次元の呪いを回避できることを証明している。
• 参考スコア（独自算出の注目度）: 2.1421977835828003
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models are state-of-the-art tools for various generative tasks. Yet training these models involves estimating high-dimensional score functions, which in principle suffers from the curse of dimensionality. It is therefore important to understand how low-dimensional structure in the target distribution can be exploited in these models. Here we consider locality structure, which describes certain sparse conditional dependencies among the target random variables. Given some locality structure, the score function is effectively low-dimensional, so that it can be estimated by a localized neural network with significantly reduced sample complexity. This observation motivates the localized diffusion model, where a localized score matching loss is used to train the score function within a localized hypothesis space. We prove that such localization enables diffusion models to circumvent the curse of dimensionality, at the price of additional localization error. Under realistic sample size scaling, we then show both theoretically and numerically that a moderate localization radius can balance the statistical and localization errors, yielding better overall performance. Localized structure also facilitates parallel training, making localized diffusion models potentially more efficient for large-scale applications.
• Abstract（参考訳）: 拡散モデルは様々な生成タスクのための最先端のツールである。 しかし、これらのモデルを訓練するには高次元スコア関数を推定する必要がある。 したがって、これらのモデルにおいて、ターゲット分布の低次元構造をどのように活用できるかを理解することが重要である。 ここでは,対象変数間のスパース条件依存性を記述した局所性構造について考察する。 局所性構造が与えられた場合、スコア関数は事実上低次元であり、サンプルの複雑さを著しく低減した局所ニューラルネットワークによって推定できる。 この観察は、局所的なスコアマッチング損失を使用して、局所化された仮説空間内のスコア関数をトレーニングする局所的な拡散モデルを動機付けている。 このような局所化は、さらなる局所化誤差を犠牲にして、拡散モデルによって次元の呪いを回避できることを証明している。 現実的なサンプルサイズスケーリングでは、適度な局所化半径が統計的および局所化誤差のバランスを保ち、全体的な性能が向上することを示す。 局所化構造はまた、並列トレーニングを促進し、局所化拡散モデルが大規模アプリケーションでより効率的になる可能性がある。

関連論文リスト

• Distributed Gradient Descent with Many Local Steps in Overparameterized Models [20.560882414631784]
  機械学習モデルの分散トレーニングでは、局所的な反復ステップによる勾配降下が一般的な方法である。 局所勾配Descent (Local-GD) における暗黙のバイアスの観点から,この優れた性能を多くの局所ステップで説明しようと試みる。
  論文  参考訳（メタデータ） (2024-12-10T23:19:40Z)
• Stein's method for marginals on large graphical models [1.8843687952462742]
  分布の局所性を定量化する新しい$delta$-locality条件を導入する。 これらの手法により, 局所化および並列化により, サンプルの複雑さと計算コストを大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2024-10-15T16:47:05Z)
• Adapting to Unknown Low-Dimensional Structures in Score-Based Diffusion Models [6.76974373198208]
  周囲の次元が$d$である場合、各デノイングステップ内で発生する誤差の依存性は、一般的には避けられない。 これはDDPMサンプリング器がターゲット分布の未知の低次元構造に適応できるという最初の理論実証である。
  論文  参考訳（メタデータ） (2024-05-23T17:59:10Z)
• Analyzing Neural Network-Based Generative Diffusion Models through Convex Optimization [45.72323731094864]
  本稿では,2層ニューラルネットワークを用いた拡散モデル解析のための理論的枠組みを提案する。 我々は,1つの凸プログラムを解くことで,スコア予測のための浅層ニューラルネットワークのトレーニングが可能であることを証明した。 本結果は, ニューラルネットワークに基づく拡散モデルが漸近的でない環境で何を学習するかを, 正確に評価するものである。
  論文  参考訳（メタデータ） (2024-02-03T00:20:25Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
  拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。 実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-03T11:31:55Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)
• Contrastive Neighborhood Alignment [81.65103777329874]
  本稿では,学習特徴のトポロジを維持するための多様体学習手法であるContrastive Neighborhood Alignment(CNA)を提案する。 対象モデルは、対照的な損失を用いて、ソース表現空間の局所構造を模倣することを目的としている。 CNAは3つのシナリオで説明される: 多様体学習、モデルが元のデータの局所的なトポロジーを次元還元された空間で維持する、モデル蒸留、小さな学生モデルがより大きな教師を模倣するために訓練される、レガシーモデル更新、より強力なモデルに置き換えられる、という3つのシナリオである。
  論文  参考訳（メタデータ） (2022-01-06T04:58:31Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• A likelihood approach to nonparametric estimation of a singular distribution using deep generative models [4.329951775163721]
  深部生成モデルを用いた特異分布の非パラメトリック推定の可能性について検討する。 我々は、インスタンスノイズでデータを摂動することで、新しい効果的な解が存在することを証明した。 また、より深い生成モデルにより効率的に推定できる分布のクラスを特徴付ける。
  論文  参考訳（メタデータ） (2021-05-09T23:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。