論文の概要: Learning Mixtures of Gaussians Using Diffusion Models

• arxiv url: http://arxiv.org/abs/2404.18869v1
• Date: Mon, 29 Apr 2024 17:00:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 12:48:52.970702
• Title: Learning Mixtures of Gaussians Using Diffusion Models
• Title（参考訳）: 拡散モデルを用いたガウスの混合学習
• Authors: Khashayar Gatmiry, Jonathan Kelner, Holden Lee,
• Abstract要約: テレビエラーに対して$k$ Gaussiansの混合を学習するための新しいアルゴリズムを提案する。 我々のアプローチは解析的であり、拡散モデルの枠組みに依存している。
• 参考スコア（独自算出の注目度）: 9.118706387430883
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We give a new algorithm for learning mixtures of $k$ Gaussians (with identity covariance in $\mathbb{R}^n$) to TV error $\varepsilon$, with quasi-polynomial ($O(n^{\text{poly log}\left(\frac{n+k}{\varepsilon}\right)})$) time and sample complexity, under a minimum weight assumption. Unlike previous approaches, most of which are algebraic in nature, our approach is analytic and relies on the framework of diffusion models. Diffusion models are a modern paradigm for generative modeling, which typically rely on learning the score function (gradient log-pdf) along a process transforming a pure noise distribution, in our case a Gaussian, to the data distribution. Despite their dazzling performance in tasks such as image generation, there are few end-to-end theoretical guarantees that they can efficiently learn nontrivial families of distributions; we give some of the first such guarantees. We proceed by deriving higher-order Gaussian noise sensitivity bounds for the score functions for a Gaussian mixture to show that that they can be inductively learned using piecewise polynomial regression (up to poly-logarithmic degree), and combine this with known convergence results for diffusion models. Our results extend to continuous mixtures of Gaussians where the mixing distribution is supported on a union of $k$ balls of constant radius. In particular, this applies to the case of Gaussian convolutions of distributions on low-dimensional manifolds, or more generally sets with small covering number.
• Abstract（参考訳）: 我々は、$k$ Gaussians ($\mathbb{R}^n$)から$\varepsilon$, with quasi-polynomial ($O(n^{\text{poly log}\left(\frac{n+k}{\varepsilon}\right)}) 時間とサンプルの複雑さを最小の重みの仮定で学習する新しいアルゴリズムを提供する。 従来のアプローチとは異なり、ほとんどのアプローチは本質的に代数的であるが、我々のアプローチは解析的であり、拡散モデルの枠組みに依存している。 拡散モデル(diffusion model)は、生成モデリングの現代的なパラダイムであり、通常、純粋なノイズ分布をガウス的(Gaussian)からデータ分布に変換するプロセスに沿ってスコア関数(gradient log-pdf)を学ぶことに依存する。 画像生成などのタスクにおけるダッズ性能にもかかわらず、非自明な分布の族を効率的に学習できるというエンドツーエンドの理論的保証はほとんどない。 ガウス混合のスコア関数に対する高次ガウス雑音感度境界を導出し、各成分が分数次多項式回帰(最大多対数次数)を用いて帰納的に学習できることを示し、これを拡散モデルに対する既知の収束結果と組み合わせる。 我々の結果は、混合分布が一定半径の$k$の球の和で支えられるガウスの連続混合にまで拡張される。 特に、これは低次元多様体上の分布のガウス的畳み込みの場合に当てはまる。

関連論文リスト

• Learning general Gaussian mixtures with efficient score matching [16.06356123715737]
  我々は、$d$次元で$k$ガウシアンの混合を学習する問題を研究する。 我々は、下層の混合成分について分離を前提としない。 我々は、ターゲット混合物から$dmathrmpoly(k/varepsilon)$サンプルを抽出し、サンプル-ポリノミカル時間で実行し、サンプリング器を構築するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-29T17:30:36Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Dimensionality Reduction for General KDE Mode Finding [12.779486428760373]
  高次元確率分布のモードを$D$で見つけることは、統計学とデータ解析の基本的な問題である。 我々は、$mathitP = MathitNP$ でない限り、カーネル密度推定のモードを見つけるための時間アルゴリズムがないことを示す。
  論文  参考訳（メタデータ） (2023-05-30T05:39:59Z)
• Convergence for score-based generative modeling with polynomial complexity [9.953088581242845]
  我々は、Scoreベースの生成モデルの背後にあるコアメカニックに対する最初の収束保証を証明した。 以前の作品と比較すると、時間的に指数関数的に増加するエラーや、次元の呪いに苦しむエラーは発生しない。 予測器・相関器はどちらの部分のみを使用するよりも収束性が高いことを示す。
  論文  参考訳（メタデータ） (2022-06-13T14:57:35Z)
• The Schr\"odinger Bridge between Gaussian Measures has a Closed Form [101.79851806388699]
  我々は OT の動的定式化(Schr"odinger bridge (SB) 問題)に焦点を当てる。 本稿では,ガウス測度間のSBに対する閉形式表現について述べる。
  論文  参考訳（メタデータ） (2022-02-11T15:59:01Z)
• A Robust and Flexible EM Algorithm for Mixtures of Elliptical Distributions with Missing Data [71.9573352891936]
  本稿では、ノイズや非ガウス的なデータに対するデータ計算の欠如に対処する。 楕円分布と潜在的な欠落データを扱う特性を混合した新しいEMアルゴリズムについて検討した。 合成データの実験的結果は,提案アルゴリズムが外れ値に対して頑健であり,非ガウスデータで使用可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-28T10:01:37Z)
• Robustly Learning Mixtures of $k$ Arbitrary Gaussians [47.40835932474677]
  任意の固定された$k$に対して$k$任意のガウスの混合を$mathbbRd$で頑健に推定する問題に対して、一定数の任意の汚職が存在する場合の時間アルゴリズムを与える。 本研究の主なツールは,2乗法に依拠する効率的な分節クラスタリングアルゴリズムと,Frobeniusノルムおよび低ランク項の誤りを許容する新しいテンソル分解アルゴリズムである。
  論文  参考訳（メタデータ） (2020-12-03T17:54:03Z)
• Robustly Learning any Clusterable Mixture of Gaussians [55.41573600814391]
  本研究では,高次元ガウス混合系の対向ロバスト条件下での効率的な学習性について検討する。 理論的に最適に近い誤り証明である$tildeO(epsilon)$の情報を、$epsilon$-corrupted $k$-mixtureで学習するアルゴリズムを提供する。 我々の主な技術的貢献は、ガウス混合系からの新しい頑健な識別可能性証明クラスターであり、これは正方形の定度証明システムによって捉えることができる。
  論文  参考訳（メタデータ） (2020-05-13T16:44:12Z)
• Gaussianization Flows [113.79542218282282]
  そこで本研究では,サンプル生成における効率のよい繰り返しと効率のよい逆変換を両立できる新しい型正規化フローモデルを提案する。 この保証された表現性のため、サンプル生成の効率を損なうことなく、マルチモーダルなターゲット分布をキャプチャできる。
  論文  参考訳（メタデータ） (2020-03-04T08:15:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。