論文の概要: Score-Based Generative Models Detect Manifolds
- arxiv url: http://arxiv.org/abs/2206.01018v1
- Date: Thu, 2 Jun 2022 12:29:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-03 14:03:32.733715
- Title: Score-Based Generative Models Detect Manifolds
- Title（参考訳）: スコアベース生成モデルによるマニフォールドの検出
- Authors: Jakiw Pidstrigach
- Abstract要約: スコアベース生成モデル(SGM)は、中間分布のスコア$nabla log p_t$と前処理の最終分布$p_T$を近似する必要がある。
SGMが基礎となる(低次元)データ多様体からサンプルを生成できる正確な条件を見つける。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Score-based generative models (SGMs) need to approximate the scores $\nabla
\log p_t$ of the intermediate distributions as well as the final distribution
$p_T$ of the forward process. The theoretical underpinnings of the effects of
these approximations are still lacking. We find precise conditions under which
SGMs are able to produce samples from an underlying (low-dimensional) data
manifold $\mathcal{M}$. This assures us that SGMs are able to generate the
"right kind of samples". For example, taking $\mathcal{M}$ to be the subset of
images of faces, we find conditions under which the SGM robustly produces an
image of a face, even though the relative frequencies of these images might not
accurately represent the true data generating distribution. Moreover, this
analysis is a first step towards understanding the generalization properties of
SGMs: Taking $\mathcal{M}$ to be the set of all training samples, our results
provide a precise description of when the SGM memorizes its training data.
- Abstract（参考訳）: スコアベース生成モデル(SGM)は、中間分布のスコア$\nabla \log p_t$と前処理の最終分布$p_T$を近似する必要がある。
これらの近似の効果の理論的基盤はまだ不足している。
我々は、sgm が基礎となる(低次元)データ多様体 $\mathcal{m}$ からサンプルを生成できる正確な条件を見つける。
これにより、SGMが“正しい種類のサンプル”を生成できることが保証されます。
例えば、$\mathcal{m}$ を顔の画像のサブセットとすると、sgm が堅牢に顔の画像を生成する条件が見つかる。
さらに、この分析は、SGMの一般化特性を理解するための最初のステップである:$\mathcal{M}$をすべてのトレーニングサンプルの集合とすると、SGMがそのトレーニングデータをいつ記憶するかを正確に記述する。
関連論文リスト
- Going beyond Compositions, DDPMs Can Produce Zero-Shot Interpolations [54.95457207525101]
Denoising Diffusion Probabilistic Models (DDPM) は画像生成において顕著な能力を示す。
本研究では,データ分布の厳密な部分集合を学習したDDPMについて検討した。
本研究では,そのようなモデルにより,探索されていない中間領域の画像を効果的に生成できることを示す。
論文 参考訳（メタデータ） (2024-05-29T15:41:53Z) - A Good Score Does not Lead to A Good Generative Model [14.752242187781107]
スコアベース生成モデル(SGM)は、生成モデリングにおける主要な手法の一つである。
基礎となるスコア関数が十分に学習された場合,SGMは基底構造に近い分布からサンプルを生成することができることを示す。
論文 参考訳（メタデータ） (2024-01-10T00:17:36Z) - Preconditioned Score-based Generative Models [49.88840603798831]
直感的な加速度法はサンプリングの繰り返しを減らし、しかしながら重大な性能劣化を引き起こす。
本稿では,行列プレコンディショニングを利用したモデル非依存型bfem事前条件拡散サンプリング(PDS)手法を提案する。
PDSは、バニラSGMのサンプリングプロセスを限界余剰計算コストで変更し、モデルの再訓練を行わない。
論文 参考訳（メタデータ） (2023-02-13T16:30:53Z) - Provably Reliable Large-Scale Sampling from Gaussian Processes [3.6417668958891793]
近似ガウス過程(GP)モデルからサイズ(n)サンプルを生成する方法を示す。
高い確率で、試料が所望のGPのサンプルと区別できないことを保証します。
論文 参考訳（メタデータ） (2022-11-15T10:36:21Z) - Convergence for score-based generative modeling with polynomial
complexity [9.953088581242845]
我々は、Scoreベースの生成モデルの背後にあるコアメカニックに対する最初の収束保証を証明した。
以前の作品と比較すると、時間的に指数関数的に増加するエラーや、次元の呪いに苦しむエラーは発生しない。
予測器・相関器はどちらの部分のみを使用するよりも収束性が高いことを示す。
論文 参考訳（メタデータ） (2022-06-13T14:57:35Z) - Riemannian Score-Based Generative Modeling [56.20669989459281]
経験的性能を示すスコアベース生成モデル(SGM)を紹介する。
現在のSGMは、そのデータが平坦な幾何学を持つユークリッド多様体上で支えられているという前提を定めている。
これにより、ロボット工学、地球科学、タンパク質モデリングの応用にこれらのモデルを使用することができない。
論文 参考訳（メタデータ） (2022-02-06T11:57:39Z) - Reversible Gromov-Monge Sampler for Simulation-Based Inference [3.725559762520257]
本稿では,多次元確率分布のモデル化とサンプル化のためのシミュレーションに基づく新しい推論手法を提案する。
M'emoli (2011) と Sturm (2012) の距離と計量測度空間の間の同型性に関する研究に動機付けられ、可逆グロモフ・モンジュ距離 (Reversible Gromov-Monge distance) と呼ばれる新しい概念を提案する。
論文 参考訳（メタデータ） (2021-09-28T23:09:24Z) - Score-based Generative Modeling in Latent Space [93.8985523558869]
スコアベース生成モデル(SGM)は,最近,サンプル品質と分布範囲の両面で顕著な結果を示した。
本稿では,Latent Score-based Generative Model (LSGM)を提案する。
データから潜在空間への移動により、より表現力のある生成モデルをトレーニングし、非連続データにSGMを適用し、よりスムーズなSGMをより小さな空間で学習することができる。
論文 参考訳（メタデータ） (2021-06-10T17:26:35Z) - Continual Learning with Fully Probabilistic Models [70.3497683558609]
機械学習の完全確率的(または生成的)モデルに基づく継続的学習のアプローチを提案する。
生成器と分類器の両方に対してガウス混合モデル(GMM)インスタンスを用いた擬似リハーサル手法を提案する。
我々は,GMRが,クラス増分学習問題に対して,非常に競合的な時間とメモリの複雑さで,最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2021-04-19T12:26:26Z) - Adversarially-learned Inference via an Ensemble of Discrete Undirected
Graphical Models [3.04585143845864]
我々は、無限大のグラフィカルモデル(AGM)のアンサンブルを生成する推論非依存の敵対的トレーニングフレームワークを提案する。
AGMは、GibsNetやVAEACといったディープニューラルネットワークと同様に、EGMと比較して、目に見えない推論タスクに対して、はるかに優れた一般化を示している。
論文 参考訳（メタデータ） (2020-07-09T19:13:36Z) - Breaking the Sample Size Barrier in Model-Based Reinforcement Learning
with a Generative Model [50.38446482252857]
本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。
最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。
対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
論文 参考訳（メタデータ） (2020-05-26T17:53:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。