論文の概要: On gauge freedom, conservativity and intrinsic dimensionality estimation
in diffusion models
- arxiv url: http://arxiv.org/abs/2402.03845v1
- Date: Tue, 6 Feb 2024 09:41:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 15:31:20.731109
- Title: On gauge freedom, conservativity and intrinsic dimensionality estimation
in diffusion models
- Title（参考訳）: 拡散モデルにおけるゲージ自由度、保守性および固有次元推定について
- Authors: Christian Horvat and Jean-Pascal Pfister
- Abstract要約: 拡散モデル(Diffusion model)は、高次元におけるサンプリング品質と密度推定の点で、近年顕著な性能を示す生成モデルである。
拡散モデルのオリジナルの定式化において、このベクトル場はスコア関数であると仮定される。
本研究では, 正確な密度推定と正確なサンプリングが, 保守的成分が真値と正確に等しい場合に達成されることを示す。
- 参考スコア（独自算出の注目度）: 13.597551064547503
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models are generative models that have recently demonstrated
impressive performances in terms of sampling quality and density estimation in
high dimensions. They rely on a forward continuous diffusion process and a
backward continuous denoising process, which can be described by a
time-dependent vector field and is used as a generative model. In the original
formulation of the diffusion model, this vector field is assumed to be the
score function (i.e. it is the gradient of the log-probability at a given time
in the diffusion process). Curiously, on the practical side, most studies on
diffusion models implement this vector field as a neural network function and
do not constrain it be the gradient of some energy function (that is, most
studies do not constrain the vector field to be conservative). Even though some
studies investigated empirically whether such a constraint will lead to a
performance gain, they lead to contradicting results and failed to provide
analytical results. Here, we provide three analytical results regarding the
extent of the modeling freedom of this vector field. {Firstly, we propose a
novel decomposition of vector fields into a conservative component and an
orthogonal component which satisfies a given (gauge) freedom. Secondly, from
this orthogonal decomposition, we show that exact density estimation and exact
sampling is achieved when the conservative component is exactly equals to the
true score and therefore conservativity is neither necessary nor sufficient to
obtain exact density estimation and exact sampling. Finally, we show that when
it comes to inferring local information of the data manifold, constraining the
vector field to be conservative is desirable.
- Abstract（参考訳）: 拡散モデルは、最近、高次元でのサンプリング品質と密度推定の観点から印象的な性能を示す生成モデルである。
それらは、時間依存ベクトル場によって記述され、生成モデルとして使用される前方連続拡散過程と後方連続分解過程に依存している。
拡散モデルのオリジナルの定式化において、このベクトル場はスコア関数(つまり、拡散過程における所定の時間における対数確率の勾配)であると仮定される。
興味深いことに、現実的には、拡散モデルに関するほとんどの研究は、このベクトル場をニューラルネットワーク関数として実装し、あるエネルギー関数の勾配として制約しない(つまり、ほとんどの研究はベクトル場を保守的であるように制限しない)。
このような制約がパフォーマンス向上につながるかどうかを実証的に調査する研究もあるが、矛盾する結果につながり、分析結果の提供に失敗している。
本稿では,ベクトル場のモデリング自由度に関する3つの解析結果を示す。
まず、与えられた(ゲージ)自由を満たす保守的成分と直交成分にベクトル場の新たな分解を提案する。
第二に, この直交分解により, 保存成分が真のスコアと正確に等しい場合, 正確な密度推定と精密サンプリングが可能であり, 保存性は必要でも十分でもないことを示した。
最後に、データ多様体の局所的な情報を推測する際、ベクトル場が保守的であることを制約することが望ましいことを示す。
関連論文リスト
- Convergence of Diffusion Models Under the Manifold Hypothesis in High-Dimensions [6.9408143976091745]
Denoising Diffusion Probabilistic Models (DDPM)は、高次元データ分布から合成データを生成するために使用される強力な最先端手法である。
我々は、多様体仮説の下でDDPMを研究し、スコアの学習の観点から、周囲次元に依存しないレートを達成することを証明した。
サンプリングの面では、周囲次元 w.r.t, Kullback-Leibler 発散率 w.r.t, $O(sqrtD)$ w.r.t. ワッサーシュタイン距離 w.r.t に依存しないレートを得る。
論文 参考訳（メタデータ） (2024-09-27T14:57:18Z) - Latent Space Score-based Diffusion Model for Probabilistic Multivariate Time Series Imputation [6.9295879301090535]
確率的時系列計算のための遅延空間スコアベース拡散モデル(LSSDM)を提案する。
LSSDMは、計算機構のより良い説明と不確実性解析を提供しながら、優れた計算性能を実現する。
論文 参考訳（メタデータ） (2024-09-13T15:32:26Z) - Your Absorbing Discrete Diffusion Secretly Models the Conditional Distributions of Clean Data [55.54827581105283]
本研究では, 吸収拡散の具体的なスコアを, クリーンデータの条件付き確率として表すことができることを示す。
時間に依存しない条件付き確率を特徴付ける時間条件のない専用拡散モデルを提案する。
5つのゼロショット言語モデルベンチマークにおける拡散モデル間のSOTA性能を実現する。
論文 参考訳（メタデータ） (2024-06-06T04:22:11Z) - Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。
我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
論文 参考訳（メタデータ） (2024-05-31T16:18:46Z) - Statistically Optimal Generative Modeling with Maximum Deviation from the Empirical Distribution [2.1146241717926664]
本稿では, 左非可逆なプッシュフォワード写像に制約されたワッサーシュタインGANが, 複製を回避し, 経験的分布から著しく逸脱する分布を生成することを示す。
我々の最も重要な寄与は、生成分布と経験的分布の間のワッサーシュタイン-1距離の有限サンプル下界を与える。
また、生成分布と真のデータ生成との距離に有限サンプル上限を確立する。
論文 参考訳（メタデータ） (2023-07-31T06:11:57Z) - Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。
実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
論文 参考訳（メタデータ） (2023-03-03T11:31:55Z) - Score-based Diffusion Models in Function Space [140.792362459734]
拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。
本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。
データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
論文 参考訳（メタデータ） (2023-02-14T23:50:53Z) - Score Approximation, Estimation and Distribution Recovery of Diffusion
Models on Low-Dimensional Data [68.62134204367668]
本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。
適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。
推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
論文 参考訳（メタデータ） (2023-02-14T17:02:35Z) - Flexible Amortized Variational Inference in qBOLD MRI [56.4324135502282]
データから酸素抽出率(OEF)と脱酸素血液量(DBV)をより明瞭に決定する。
既存の推論手法では、DBVを過大評価しながら非常にノイズの多い、過小評価されたEFマップが得られる傾向にある。
本研究は, OEFとDBVの可算分布を推定できる確率論的機械学習手法について述べる。
論文 参考訳（メタデータ） (2022-03-11T10:47:16Z) - Improving Nonparametric Density Estimation with Tensor Decompositions [14.917420021212912]
非パラメトリック密度推定器は、しばしば低次元データに対してよく機能するが、高次元データに適用すると苦しむ。
本稿では、これらの改善が他の単純化された依存前提にまで拡張できるかどうかを考察する。
多次元ヒストグラムにおける低ランク非負のPARAFACやTucker分解に対する推定の制限は、ビン幅速度の次元指数を除去することを示す。
論文 参考訳（メタデータ） (2020-10-06T01:39:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。