論文の概要: On gauge freedom, conservativity and intrinsic dimensionality estimation
in diffusion models
- arxiv url: http://arxiv.org/abs/2402.03845v1
- Date: Tue, 6 Feb 2024 09:41:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 15:31:20.731109
- Title: On gauge freedom, conservativity and intrinsic dimensionality estimation
in diffusion models
- Title(参考訳): 拡散モデルにおけるゲージ自由度、保守性および固有次元推定について
- Authors: Christian Horvat and Jean-Pascal Pfister
- Abstract要約: 拡散モデル(Diffusion model)は、高次元におけるサンプリング品質と密度推定の点で、近年顕著な性能を示す生成モデルである。
拡散モデルのオリジナルの定式化において、このベクトル場はスコア関数であると仮定される。
本研究では, 正確な密度推定と正確なサンプリングが, 保守的成分が真値と正確に等しい場合に達成されることを示す。
- 参考スコア(独自算出の注目度): 13.597551064547503
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models are generative models that have recently demonstrated
impressive performances in terms of sampling quality and density estimation in
high dimensions. They rely on a forward continuous diffusion process and a
backward continuous denoising process, which can be described by a
time-dependent vector field and is used as a generative model. In the original
formulation of the diffusion model, this vector field is assumed to be the
score function (i.e. it is the gradient of the log-probability at a given time
in the diffusion process). Curiously, on the practical side, most studies on
diffusion models implement this vector field as a neural network function and
do not constrain it be the gradient of some energy function (that is, most
studies do not constrain the vector field to be conservative). Even though some
studies investigated empirically whether such a constraint will lead to a
performance gain, they lead to contradicting results and failed to provide
analytical results. Here, we provide three analytical results regarding the
extent of the modeling freedom of this vector field. {Firstly, we propose a
novel decomposition of vector fields into a conservative component and an
orthogonal component which satisfies a given (gauge) freedom. Secondly, from
this orthogonal decomposition, we show that exact density estimation and exact
sampling is achieved when the conservative component is exactly equals to the
true score and therefore conservativity is neither necessary nor sufficient to
obtain exact density estimation and exact sampling. Finally, we show that when
it comes to inferring local information of the data manifold, constraining the
vector field to be conservative is desirable.
- Abstract(参考訳): 拡散モデルは、最近、高次元でのサンプリング品質と密度推定の観点から印象的な性能を示す生成モデルである。
それらは、時間依存ベクトル場によって記述され、生成モデルとして使用される前方連続拡散過程と後方連続分解過程に依存している。
拡散モデルのオリジナルの定式化において、このベクトル場はスコア関数(つまり、拡散過程における所定の時間における対数確率の勾配)であると仮定される。
興味深いことに、現実的には、拡散モデルに関するほとんどの研究は、このベクトル場をニューラルネットワーク関数として実装し、あるエネルギー関数の勾配として制約しない(つまり、ほとんどの研究はベクトル場を保守的であるように制限しない)。
このような制約がパフォーマンス向上につながるかどうかを実証的に調査する研究もあるが、矛盾する結果につながり、分析結果の提供に失敗している。
本稿では,ベクトル場のモデリング自由度に関する3つの解析結果を示す。
まず、与えられた(ゲージ)自由を満たす保守的成分と直交成分にベクトル場の新たな分解を提案する。
第二に, この直交分解により, 保存成分が真のスコアと正確に等しい場合, 正確な密度推定と精密サンプリングが可能であり, 保存性は必要でも十分でもないことを示した。
最後に、データ多様体の局所的な情報を推測する際、ベクトル場が保守的であることを制約することが望ましいことを示す。
関連論文リスト
- Independent projections of diffusions: Gradient flows for variational
inference and optimal mean field approximations [0.0]
本稿では,2つの自然条件に対して最適である,独立射影(emphindependent projection)という構成を提案する。
まず、元の拡散が不変測度$rho_*$で可逆であるとき、独立射影は積測度空間に制約された相対エントロピー$H(cdot,|,rho_*)$に対するワッサーシュタイン勾配フローとして機能する。
第2に、独立な座標を持つ全てのプロセスの中で、独立射影は、元の拡散に対する経路空間エントロピーの最も遅い成長速度を示す。
論文 参考訳(メタデータ) (2023-09-23T10:33:59Z) - Adversarial Likelihood Estimation With One-Way Flows [44.684952377918904]
GAN(Generative Adversarial Networks)は、高品質なサンプルを生成することができるが、サンプル周辺の確率密度を見積もることはできない。
提案手法は, より高速に収束し, 類似したアーキテクチャでGANに匹敵するサンプル品質を生成し, 一般的に使用されるデータセットの過度な適合を回避し, トレーニングデータのスムーズな低次元潜在表現を生成する。
論文 参考訳(メタデータ) (2023-07-19T10:26:29Z) - Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。
実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
論文 参考訳(メタデータ) (2023-03-03T11:31:55Z) - Score-based Diffusion Models in Function Space [140.792362459734]
拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。
本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。
データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
論文 参考訳(メタデータ) (2023-02-14T23:50:53Z) - Score Approximation, Estimation and Distribution Recovery of Diffusion
Models on Low-Dimensional Data [68.62134204367668]
本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。
適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。
推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
論文 参考訳(メタデータ) (2023-02-14T17:02:35Z) - DensePure: Understanding Diffusion Models towards Adversarial Robustness [110.84015494617528]
拡散モデルの特性を解析し,それらが証明された堅牢性を高める条件を確立する。
事前訓練されたモデル(すなわち分類器)の信頼性向上を目的とした新しいDensePure法を提案する。
このロバストな領域は多重凸集合の和であり、以前の研究で特定されたロバストな領域よりもはるかに大きい可能性が示されている。
論文 参考訳(メタデータ) (2022-11-01T08:18:07Z) - How Much is Enough? A Study on Diffusion Times in Score-based Generative
Models [76.76860707897413]
現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。
本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
論文 参考訳(メタデータ) (2022-06-10T15:09:46Z) - Flexible Amortized Variational Inference in qBOLD MRI [56.4324135502282]
データから酸素抽出率(OEF)と脱酸素血液量(DBV)をより明瞭に決定する。
既存の推論手法では、DBVを過大評価しながら非常にノイズの多い、過小評価されたEFマップが得られる傾向にある。
本研究は, OEFとDBVの可算分布を推定できる確率論的機械学習手法について述べる。
論文 参考訳(メタデータ) (2022-03-11T10:47:16Z) - Binary Independent Component Analysis via Non-stationarity [7.283533791778359]
本稿では,バイナリデータの独立成分分析について考察する。
まず,線形混合モデルを連続値の潜在空間に仮定し,次に2値の観測モデルを仮定する。
連続値の場合とは対照的に、観測変数が少ないモデルの非識別性を証明する。
論文 参考訳(メタデータ) (2021-11-30T14:23:53Z) - Improving Nonparametric Density Estimation with Tensor Decompositions [14.917420021212912]
非パラメトリック密度推定器は、しばしば低次元データに対してよく機能するが、高次元データに適用すると苦しむ。
本稿では、これらの改善が他の単純化された依存前提にまで拡張できるかどうかを考察する。
多次元ヒストグラムにおける低ランク非負のPARAFACやTucker分解に対する推定の制限は、ビン幅速度の次元指数を除去することを示す。
論文 参考訳(メタデータ) (2020-10-06T01:39:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。