論文の概要: Your diffusion model secretly knows the dimension of the data manifold
- arxiv url: http://arxiv.org/abs/2212.12611v4
- Date: Thu, 18 May 2023 21:26:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-22 19:13:21.601645
- Title: Your diffusion model secretly knows the dimension of the data manifold
- Title（参考訳）: 拡散モデルはデータ多様体の次元をひそかに知っている
- Authors: Jan Stanczuk, Georgios Batzolis, Carola-Bibiane Sch\"onlieb
- Abstract要約: 拡散モデルは、様々なレベルの汚損に対する目標分布のノイズ崩壊バージョンにおけるログ密度の勾配を近似する。
データを高次元の周囲空間に埋め込まれた多様体の周りに集中させると、腐敗のレベルが低下するにつれて、スコア関数は多様体へ向けられる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we propose a novel framework for estimating the dimension of
the data manifold using a trained diffusion model. A diffusion model
approximates the score function i.e. the gradient of the log density of a
noise-corrupted version of the target distribution for varying levels of
corruption. We prove that, if the data concentrates around a manifold embedded
in the high-dimensional ambient space, then as the level of corruption
decreases, the score function points towards the manifold, as this direction
becomes the direction of maximal likelihood increase. Therefore, for small
levels of corruption, the diffusion model provides us with access to an
approximation of the normal bundle of the data manifold. This allows us to
estimate the dimension of the tangent space, thus, the intrinsic dimension of
the data manifold. To the best of our knowledge, our method is the first
estimator of the data manifold dimension based on diffusion models and it
outperforms well established statistical estimators in controlled experiments
on both Euclidean and image data.
- Abstract（参考訳）: 本研究では,訓練された拡散モデルを用いてデータ多様体の次元を推定する新しいフレームワークを提案する。
拡散モデルは、スコア関数、すなわち、ノイズ崩壊したターゲット分布のログ密度の勾配を、様々なレベルの破損に対して近似する。
高次元の周囲空間に埋め込まれた多様体の周りにデータが集中すると、崩壊のレベルが低下するにつれて、スコア関数は多様体の方向に向けられ、この方向が最大可能性増加の方向となる。
したがって、小さなレベルの腐敗に対して、拡散モデルはデータ多様体の正規バンドルの近似へのアクセスを提供する。
これにより、接空間の次元を推定できるので、データ多様体の内在次元を推定することができる。
本手法は, 拡散モデルに基づくデータ多様体次元の最初の推定器であり, ユークリッドデータと画像データの両方の制御実験において, 確立された統計推定器よりも優れている。
関連論文リスト
- Convergence of Diffusion Models Under the Manifold Hypothesis in High-Dimensions [6.9408143976091745]
Denoising Diffusion Probabilistic Models (DDPM)は、高次元データ分布から合成データを生成するために使用される強力な最先端手法である。
我々は、多様体仮説の下でDDPMを研究し、スコアの学習の観点から、周囲次元に依存しないレートを達成することを証明した。
サンプリングの面では、周囲次元 w.r.t, Kullback-Leibler 発散率 w.r.t, $O(sqrtD)$ w.r.t. ワッサーシュタイン距離 w.r.t に依存しないレートを得る。
論文 参考訳（メタデータ） (2024-09-27T14:57:18Z) - Learning on manifolds without manifold learning [0.0]
未知分布からランダムに描画されたデータに基づく関数近似は、機械学習において重要な問題である。
本稿では,未知多様体を部分多様体の周囲超球面として投影し,超球面上に特別に設計されたカーネルを用いてワンショット近似を構築する問題について考察する。
論文 参考訳（メタデータ） (2024-02-20T03:27:53Z) - Scaling Riemannian Diffusion Models [68.52820280448991]
非自明な多様体上の高次元タスクにスケールできることを示す。
我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
論文 参考訳（メタデータ） (2023-10-30T21:27:53Z) - Generative Modeling on Manifolds Through Mixture of Riemannian Diffusion Processes [57.396578974401734]
一般多様体上に生成拡散過程を構築するための原理的枠組みを導入する。
従来の拡散モデルの認知的アプローチに従う代わりに、橋梁プロセスの混合を用いて拡散過程を構築する。
混合過程を幾何学的に理解し,データ点への接する方向の重み付け平均としてドリフトを導出する。
論文 参考訳（メタデータ） (2023-10-11T06:04:40Z) - Out-of-distribution detection using normalizing flows on the data
manifold [3.725042082196983]
本研究では,正規化フローを用いた多様体学習が分布外検出に及ぼす影響について検討した。
本研究では,正規化フローとして知られる確率ベースモデルの分布外検出能力を,多様体学習により向上させることを示す。
論文 参考訳（メタデータ） (2023-08-26T07:35:16Z) - Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。
実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
論文 参考訳（メタデータ） (2023-03-03T11:31:55Z) - Score Approximation, Estimation and Distribution Recovery of Diffusion
Models on Low-Dimensional Data [68.62134204367668]
本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。
適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。
推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
論文 参考訳（メタデータ） (2023-02-14T17:02:35Z) - ManiFlow: Implicitly Representing Manifolds with Normalizing Flows [145.9820993054072]
正規化フロー(NF)は、複雑な実世界のデータ分布を正確にモデル化することが示されているフレキシブルな明示的な生成モデルである。
摂動分布から標本を与えられた多様体上の最も可能性の高い点を復元する最適化目的を提案する。
最後に、NFsの明示的な性質、すなわち、ログのような勾配とログのような勾配から抽出された表面正規化を利用する3次元点雲に焦点を当てる。
論文 参考訳（メタデータ） (2022-08-18T16:07:59Z) - Joint Manifold Learning and Density Estimation Using Normalizing Flows [4.939777212813711]
問題に答えるために,1ピクセルあたりのペナル化と階層的トレーニングという2つのアプローチを導入する。
そこで本稿では,変換された空間をアンタングル化することで,共同多様体学習と密度推定を行う一段階法を提案する。
その結果, 共用多様体学習と密度推定において, 提案手法の優位性を検証した。
論文 参考訳（メタデータ） (2022-06-07T13:35:14Z) - Hard-label Manifolds: Unexpected Advantages of Query Efficiency for
Finding On-manifold Adversarial Examples [67.23103682776049]
画像分類モデルに対する最近のゼロオーダーのハードラベル攻撃は、ファーストオーダーのグラデーションレベルの代替品に匹敵する性能を示している。
最近、グラデーションレベルの設定では、通常の敵対的な例がデータ多様体から離れ、オンマニホールドの例が実際には一般化エラーであることが示されている。
雑音の多い多様体距離オラクルに基づく情報理論論的議論を提案し、敵の勾配推定を通じて多様体情報を漏洩させる。
論文 参考訳（メタデータ） (2021-03-04T20:53:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。