論文の概要: Universal Smoothed Score Functions for Generative Modeling
- arxiv url: http://arxiv.org/abs/2303.11669v1
- Date: Tue, 21 Mar 2023 08:23:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-22 16:02:36.837796
- Title: Universal Smoothed Score Functions for Generative Modeling
- Title（参考訳）: 生成モデルのための普遍平滑スコア関数
- Authors: Saeed Saremi, Rupesh Kumar Srivastava, Francis Bach
- Abstract要約: 我々は、$mathbbRd$における未知の関心密度の平滑化に基づく生成モデルの問題を考える。
M-density (M-density) と呼ばれる$mathbbRMd$の滑らかな密度を学習する際の時間的複雑さを特徴付ける。
本稿では,CIFAR-10データセットを用いた生成モデルのサンプル品質について述べる。
- 参考スコア（独自算出の注目度）: 3.626727150596421
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider the problem of generative modeling based on smoothing an unknown
density of interest in $\mathbb{R}^d$ using factorial kernels with $M$
independent Gaussian channels with equal noise levels introduced by Saremi and
Srivastava (2022). First, we fully characterize the time complexity of learning
the resulting smoothed density in $\mathbb{R}^{Md}$, called M-density, by
deriving a universal form for its parametrization in which the score function
is by construction permutation equivariant. Next, we study the time complexity
of sampling an M-density by analyzing its condition number for Gaussian
distributions. This spectral analysis gives a geometric insight on the "shape"
of M-densities as one increases $M$. Finally, we present results on the sample
quality in this class of generative models on the CIFAR-10 dataset where we
report Fr\'echet inception distances (14.15), notably obtained with a single
noise level on long-run fast-mixing MCMC chains.
- Abstract（参考訳）: 我々は、Saremi と Srivastava (2022) が導入した同値ノイズレベルを持つ独立ガウスチャネルを持つ因子核を用いて、$\mathbb{R}^d$ の未知の関心密度を滑らか化することに基づく生成モデルの問題を考える。
まず、スコア関数が構成置換同変であるパラメトリゼーションの普遍形式を導出することにより、M-密度と呼ばれる$\mathbb{R}^{Md}$の滑らかな密度を学習する時間の複雑さを完全に特徴づける。
次に、ガウス分布の条件数を解析し、m密度をサンプリングする時間複雑性について検討する。
このスペクトル分析は、M-密度の「形」に関する幾何学的な洞察を与える。
最後に、cifar-10データセットにおけるこのタイプの生成モデルのサンプル品質について、fr\'echetインセプション距離(14.15)を報告する。
関連論文リスト
- Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。
本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。
我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
論文 参考訳（メタデータ） (2024-10-03T09:07:13Z) - Weighted Riesz Particles [0.0]
対象分布を、パラメータの無限次元空間が多くの決定論的部分多様体からなる写像と考える。
我々は、Rieszと呼ばれる点の性質を研究し、それをシーケンシャルMCMCに埋め込む。
低い評価で高い受け入れ率が得られることが分かりました。
論文 参考訳（メタデータ） (2023-12-01T14:36:46Z) - Simplex Random Features [53.97976744884616]
ソフトマックスおよびガウスカーネルの非バイアス近似のための新しいランダム特徴(RF)機構であるSimplex Random Features (SimRFs)を提案する。
我々は,これらのカーネルの非バイアス推定値に対して,SimRFが最小平均二乗誤差(MSE)を提供することを示す。
ポイントワイドカーネル推定,非パラメトリック分類,スケーラブルトランスフォーマーなどの設定において,SimRFによる一貫したゲインを示す。
論文 参考訳（メタデータ） (2023-01-31T18:53:39Z) - Wavelet Score-Based Generative Modeling [4.243926243206826]
本稿では、ウェーブレットスコアに基づく生成モデル(WSGM)が、全てのスケールで同じ時間ステップでウェーブレット係数を合成することを示す。
これはガウス分布上で数値的に証明され、相転移と自然画像データセットにおける物理過程上で示される。
論文 参考訳（メタデータ） (2022-08-09T19:13:34Z) - Reconstructing the Universe with Variational self-Boosted Sampling [7.922637707393503]
ハミルトニアン・モンテカルロ (HMC) のような伝統的なアルゴリズムは、相関サンプルを生成するために計算的に非効率である。
本稿では,両アルゴリズムの欠点を軽減するために,変分自己ブーストサンプリング(VBS)と呼ばれるハイブリッド方式を開発する。
VBSは、単純なVIアプローチよりも優れた品質のサンプルを生成し、HMCのみを用いてサンプリングフェーズの相関長を10～50倍に削減する。
論文 参考訳（メタデータ） (2022-06-28T21:30:32Z) - Convergence for score-based generative modeling with polynomial
complexity [9.953088581242845]
我々は、Scoreベースの生成モデルの背後にあるコアメカニックに対する最初の収束保証を証明した。
以前の作品と比較すると、時間的に指数関数的に増加するエラーや、次元の呪いに苦しむエラーは発生しない。
予測器・相関器はどちらの部分のみを使用するよりも収束性が高いことを示す。
論文 参考訳（メタデータ） (2022-06-13T14:57:35Z) - Sampling Approximately Low-Rank Ising Models: MCMC meets Variational
Methods [35.24886589614034]
一般相互作用が$J$である超キューブ上の二次定値イジングモデルを考える。
我々の一般的な結果は、低ランクのIsingモデルに対する最初のサンプリングアルゴリズムを示唆している。
論文 参考訳（メタデータ） (2022-02-17T21:43:50Z) - A Robust and Flexible EM Algorithm for Mixtures of Elliptical
Distributions with Missing Data [71.9573352891936]
本稿では、ノイズや非ガウス的なデータに対するデータ計算の欠如に対処する。
楕円分布と潜在的な欠落データを扱う特性を混合した新しいEMアルゴリズムについて検討した。
合成データの実験的結果は,提案アルゴリズムが外れ値に対して頑健であり,非ガウスデータで使用可能であることを示す。
論文 参考訳（メタデータ） (2022-01-28T10:01:37Z) - Continual Learning with Fully Probabilistic Models [70.3497683558609]
機械学習の完全確率的(または生成的)モデルに基づく継続的学習のアプローチを提案する。
生成器と分類器の両方に対してガウス混合モデル(GMM)インスタンスを用いた擬似リハーサル手法を提案する。
我々は,GMRが,クラス増分学習問題に対して,非常に競合的な時間とメモリの複雑さで,最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2021-04-19T12:26:26Z) - Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。
本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。
本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
論文 参考訳（メタデータ） (2021-02-04T02:21:08Z) - Revisiting the Sample Complexity of Sparse Spectrum Approximation of
Gaussian Processes [60.479499225746295]
本稿では,ガウス過程に対して,パラメータ空間全体に対して同時に保持可能な保証付きスケーラブルな近似を導入する。
我々の近似は、スパーススペクトルガウス過程(SSGP)のための改良されたサンプル複雑性解析から得られる。
論文 参考訳（メタデータ） (2020-11-17T05:41:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。