論文の概要: Locality in Image Diffusion Models Emerges from Data Statistics

• arxiv url: http://arxiv.org/abs/2509.09672v1
• Date: Thu, 11 Sep 2025 17:59:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-12 16:52:24.510845
• Title: Locality in Image Diffusion Models Emerges from Data Statistics
• Title（参考訳）: データ統計から得られた画像拡散モデルの局所性
• Authors: Artem Lukoianov, Chenyang Yuan, Justin Solomon, Vincent Sitzmann,
• Abstract要約: 本研究では,畳み込みニューラルネットワークの帰納バイアスのためではなく,画像データセットの統計的特性として深部拡散モデルの局所性が現れることを示す。 これらの洞察を用いて分析的なデノイザを構築し、より深い拡散モデルによって予測されるスコアを、従来の専門家による代替よりもよく一致させる。
• 参考スコア（独自算出の注目度）: 19.257597016636844
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Among generative models, diffusion models are uniquely intriguing due to the existence of a closed-form optimal minimizer of their training objective, often referred to as the optimal denoiser. However, diffusion using this optimal denoiser merely reproduces images in the training set and hence fails to capture the behavior of deep diffusion models. Recent work has attempted to characterize this gap between the optimal denoiser and deep diffusion models, proposing analytical, training-free models that can generate images that resemble those generated by a trained UNet. The best-performing method hypothesizes that shift equivariance and locality inductive biases of convolutional neural networks are the cause of the performance gap, hence incorporating these assumptions into its analytical model. In this work, we present evidence that the locality in deep diffusion models emerges as a statistical property of the image dataset, not due to the inductive bias of convolutional neural networks. Specifically, we demonstrate that an optimal parametric linear denoiser exhibits similar locality properties to the deep neural denoisers. We further show, both theoretically and experimentally, that this locality arises directly from the pixel correlations present in natural image datasets. Finally, we use these insights to craft an analytical denoiser that better matches scores predicted by a deep diffusion model than the prior expert-crafted alternative.
• Abstract（参考訳）: 生成モデルの中で、拡散モデルは、その訓練対象の閉形式最適最小化器(しばしば最適デノイザーと呼ばれる)の存在により、一意に興味深い。 しかし、この最適デノイザを用いた拡散は、トレーニングセット内の画像を単に再現するだけであり、したがって深部拡散モデルの振る舞いを捉えることができない。 最近の研究は、最適なデノイザと深層拡散モデルの間のギャップを特徴づけようと試みており、トレーニングされたUNetが生成した画像に類似した、分析的、トレーニングなしのモデルを提案している。 最良の性能法は、畳み込みニューラルネットワークのシフト等価性と局所性帰納バイアスが性能ギャップの原因であると仮定し、これらの仮定を解析モデルに組み込む。 本研究では,畳み込みニューラルネットワークの帰納バイアスのためではなく,画像データセットの統計的特性として深部拡散モデルの局所性が現れることを示す。 具体的には、最適パラメトリックリニアデノイザがディープニューラルデノイザに類似した局所性を示すことを示す。 さらに、理論的にも実験的にも、この局所性は、自然画像データセットに存在する画素相関から直接生じていることが示される。 最後に、これらの洞察を用いて分析的なデノイザを構築し、より深い拡散モデルによって予測されるスコアを、従来の専門家による代替よりもよく一致させる。

関連論文リスト

• Diffusion Models Learn Low-Dimensional Distributions via Subspace Clustering [15.326641037243006]
  拡散モデルは画像分布を効果的に学習し、新しいサンプルを生成する。 我々は、この現象に関する理論的な洞察を、重要な経験的観測を利用して提供する。 基礎となる分布を学習するのに必要となるサンプルの最小数は、本質的な次元と線形にスケールすることを示す。
  論文  参考訳（メタデータ） (2024-09-04T04:14:02Z)
• Analyzing Neural Network-Based Generative Diffusion Models through Convex Optimization [45.72323731094864]
  本稿では,2層ニューラルネットワークを用いた拡散モデル解析のための理論的枠組みを提案する。 我々は,1つの凸プログラムを解くことで,スコア予測のための浅層ニューラルネットワークのトレーニングが可能であることを証明した。 本結果は, ニューラルネットワークに基づく拡散モデルが漸近的でない環境で何を学習するかを, 正確に評価するものである。
  論文  参考訳（メタデータ） (2024-02-03T00:20:25Z)
• Soft Mixture Denoising: Beyond the Expressive Bottleneck of Diffusion Models [76.46246743508651]
  我々は,現在の拡散モデルが後方認知において表現力のあるボトルネックを持っていることを示した。 本稿では,後方復調のための表現的かつ効率的なモデルであるソフトミキシング・デノナイジング(SMD)を導入する。
  論文  参考訳（メタデータ） (2023-09-25T12:03:32Z)
• Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
  拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。 実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-03T11:31:55Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。