論文の概要: On Convolutions, Intrinsic Dimension, and Diffusion Models

• arxiv url: http://arxiv.org/abs/2506.20705v1
• Date: Wed, 25 Jun 2025 18:00:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-27 19:53:09.830021
• Title: On Convolutions, Intrinsic Dimension, and Diffusion Models
• Title（参考訳）: 畳み込み・内在次元・拡散モデルについて
• Authors: Kin Kwan Leung, Rasa Hosseinzadeh, Gabriel Loaiza-Ganem,
• Abstract要約: 多様体仮説は、画像データのような高次元の周囲空間における関心のデータは未知の低次元部分多様体上にあると主張する。 DMは低次元の支援で分布を学習できることが知られている。
• 参考スコア（独自算出の注目度）: 9.220922665765153
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: The manifold hypothesis asserts that data of interest in high-dimensional ambient spaces, such as image data, lies on unknown low-dimensional submanifolds. Diffusion models (DMs) -- which operate by convolving data with progressively larger amounts of Gaussian noise and then learning to revert this process -- have risen to prominence as the most performant generative models, and are known to be able to learn distributions with low-dimensional support. For a given datum in one of these submanifolds, we should thus intuitively expect DMs to have implicitly learned its corresponding local intrinsic dimension (LID), i.e. the dimension of the submanifold it belongs to. Kamkari et al. (2024b) recently showed that this is indeed the case by linking this LID to the rate of change of the log marginal densities of the DM with respect to the amount of added noise, resulting in an LID estimator known as FLIPD. LID estimators such as FLIPD have a plethora of uses, among others they quantify the complexity of a given datum, and can be used to detect outliers, adversarial examples and AI-generated text. FLIPD achieves state-of-the-art performance at LID estimation, yet its theoretical underpinnings are incomplete since Kamkari et al. (2024b) only proved its correctness under the highly unrealistic assumption of affine submanifolds. In this work we bridge this gap by formally proving the correctness of FLIPD under realistic assumptions. Additionally, we show that an analogous result holds when Gaussian convolutions are replaced with uniform ones, and discuss the relevance of this result.
• Abstract（参考訳）: 多様体仮説は、画像データのような高次元の周囲空間における関心のデータは未知の低次元部分多様体上にあると主張する。 拡散モデル(DM)は、ガウスノイズを徐々に多く含むデータを変換し、その過程を逆転させる学習によって動作し、最も高性能な生成モデルとして有名になり、低次元の支援で分布を学習できることが知られている。 これらの部分多様体の1つの部分多様体における与えられたダムに対して、直感的にはDMはその対応する局所固有次元(LID)、すなわちそれが属する部分多様体の次元を暗黙的に学習したと期待すべきである。 Kamkari et al (2024b) は近年、このLIDを付加雑音量に対するDMの対数境界密度の変化率にリンクすることで、FLIPDと呼ばれるLID推定器が生じることを示した。 FLIPDのようなLID推定器は、与えられたダタムの複雑さを定量化し、外れ値、逆例、AI生成テキストを検出するのに使用できるなど、多くの用途がある。 FLIPDはLID推定における最先端性能を達成するが、その理論的基盤はカムカリら (2024b) がアフィン部分多様体の非現実的な仮定の下でその正しさを証明したから不完全である。 本研究では、現実的な仮定の下でFLIPDの正しさを正式に証明することで、このギャップを埋める。 さらに、ガウスの畳み込みが一様に置き換えられるとき、類似の結果が成り立つことを示し、この結果の関連性について議論する。

関連論文リスト

• Denoising diffusion probabilistic models are optimally adaptive to unknown low dimensionality [21.10158431913811]
  DDPMは,本質的な低次元データの自動利用により,サンプリングスピードアップを実現することができるかを検討する。 DDPMの繰り返し複雑性は$k$とほぼ線形にスケールすることが証明され、KL分散を用いて分布の相違を測定するのに最適である。
  論文  参考訳（メタデータ） (2024-10-24T14:36:12Z)
• Convergence of Diffusion Models Under the Manifold Hypothesis in High-Dimensions [6.9408143976091745]
  Denoising Diffusion Probabilistic Models (DDPM)は、高次元データ分布から合成データを生成するために使用される強力な最先端手法である。 多様体仮説の下でDDPMを解析し、スコアラーニングの観点で周囲次元に依存しないレートを達成することを証明した。 サンプリング複雑性の観点では、周囲次元 w.r.t, Kullback-Leibler 発散率 w.r.t, $O(sqrtD)$ w.r.t. ワッサーシュタイン距離を求める。
  論文  参考訳（メタデータ） (2024-09-27T14:57:18Z)
• A Geometric View of Data Complexity: Efficient Local Intrinsic Dimension Estimation with Diffusion Models [12.636148533844882]
  低次元部分多様体の局所次元内在(LID)を推定することは長年の問題である。 本研究では,拡散モデルに付随するFokker-Planck方程式がLID推定器となることを示す。 FLIPDを合成LID推定ベンチマークに適用すると、完全に接続されたネットワークとして実装されたDMは、非常に効果的なLID推定器であることが分かる。
  論文  参考訳（メタデータ） (2024-06-05T18:00:02Z)
• On Error Propagation of Diffusion Models [77.91480554418048]
  DMのアーキテクチャにおける誤り伝播を数学的に定式化するための理論的枠組みを開発する。 累積誤差を正規化項として適用して誤差伝搬を低減する。 提案した正規化はエラーの伝播を低減し,バニラDMを大幅に改善し,以前のベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2023-08-09T15:31:17Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)
• Combating Mode Collapse in GANs via Manifold Entropy Estimation [70.06639443446545]
  Generative Adversarial Networks (GAN) は、様々なタスクやアプリケーションにおいて魅力的な結果を示している。 GANのモード崩壊問題に対処するための新しいトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2022-08-25T12:33:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。