論文の概要: Score-based generative models break the curse of dimensionality in learning a family of sub-Gaussian probability distributions

• arxiv url: http://arxiv.org/abs/2402.08082v2
• Date: Wed, 14 Feb 2024 17:53:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-15 11:53:34.870405
• Title: Score-based generative models break the curse of dimensionality in learning a family of sub-Gaussian probability distributions
• Title（参考訳）: スコアベース生成モデルによる部分ガウス確率分布の族学習における次元の呪いを破る
• Authors: Frank Cole, Yulong Lu
• Abstract要約: 標準ガウス測度に対する相対密度の観点から確率分布の複雑性の概念を導入する。 パラメータが適切に有界なニューラルネットワークで対数相対密度を局所的に近似できるなら、経験的スコアマッチングによって生成された分布はターゲット分布を近似する。 本証明の重要な要素は,前処理に付随する真のスコア関数に対する次元自由深部ニューラルネットワーク近似率を導出することである。
• 参考スコア（独自算出の注目度）: 5.801621787540268
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While score-based generative models (SGMs) have achieved remarkable success in enormous image generation tasks, their mathematical foundations are still limited. In this paper, we analyze the approximation and generalization of SGMs in learning a family of sub-Gaussian probability distributions. We introduce a notion of complexity for probability distributions in terms of their relative density with respect to the standard Gaussian measure. We prove that if the log-relative density can be locally approximated by a neural network whose parameters can be suitably bounded, then the distribution generated by empirical score matching approximates the target distribution in total variation with a dimension-independent rate. We illustrate our theory through examples, which include certain mixtures of Gaussians. An essential ingredient of our proof is to derive a dimension-free deep neural network approximation rate for the true score function associated with the forward process, which is interesting in its own right.
• Abstract（参考訳）: スコアベース生成モデル(SGM)は膨大な画像生成タスクにおいて大きな成功を収めてきたが、その数学的基礎はまだ限られている。 本稿では,sgmの近似と一般化を,サブガウジアン確率分布の族を学習するために解析する。 標準ガウス測度に対する相対密度の観点から、確率分布の複雑性の概念を導入する。 パラメータが適切に有界なニューラルネットワークによって対数相対密度を局所的に近似できるなら、経験的スコアマッチングによって生成された分布は、全分布を次元非依存の速度で近似する。 ガウスのある種の混合を含む例を通して、我々の理論を説明する。 本証明の必須成分は、フォワード過程に関連する真のスコア関数に対する次元自由深層ニューラルネットワーク近似率を導出することであり、それ自体は興味深い。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• A Heavy-Tailed Algebra for Probabilistic Programming [53.32246823168763]
  本稿では,確率変数の尾を解析するための体系的アプローチを提案する。 本稿では,確率型プログラミング言語コンパイラの静的解析(サンプル作成前)において,この手法をどのように利用できるかを示す。 実験結果から,重み付き代数を利用する推論アルゴリズムは,多数の密度モデリングおよび変分推論タスクにおいて優れた性能が得られることを確認した。
  論文  参考訳（メタデータ） (2023-06-15T16:37:36Z)
• Squared Neural Families: A New Class of Tractable Density Models [23.337256081314518]
  正方形ニューラルネットワークファミリー(SNEFY)と呼ばれる新しい確率分布のクラスを開発し,検討する。 SNEFYsは、多くの興味のある場合において閉形式正規化定数を認め、フレキシブルで完全にトラクタブルな密度モデルをもたらすことを示す。 それらのユーティリティは、データタスクの欠如による様々な密度推定、条件付き密度推定、および密度推定について説明される。
  論文  参考訳（メタデータ） (2023-05-22T23:56:11Z)
• Learning Distributions by Generative Adversarial Networks: Approximation and Generalization [0.6768558752130311]
  本研究では,これらのモデルの収束速度を解析することにより,有限サンプルから生成逆数ネットワークがいかによく学習するかを考察する。 我々の分析は、GANの推定誤差を判別器とジェネレータの近似誤差に分解する新しい不等式オラクルに基づいている。 生成元近似誤差に対して、ニューラルネットワークは、およそ低次元のソース分布を高次元のターゲット分布に変換することができることを示す。
  論文  参考訳（メタデータ） (2022-05-25T09:26:17Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• Density Ratio Estimation via Infinitesimal Classification [85.08255198145304]
  そこで我々は, DRE-inftyを提案する。 DRE-inftyは, 密度比推定(DRE)を, より簡単なサブプロブレムに還元する手法である。 モンテカルロ法にインスパイアされ、中間ブリッジ分布の無限連続体を介して2つの分布の間を滑らかに補間する。 提案手法は,複雑な高次元データセット上での相互情報推定やエネルギーベースモデリングなどの下流タスクにおいて良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-11-22T06:26:29Z)
• An error analysis of generative adversarial networks for learning distributions [11.842861158282265]
  GAN(Generative Adversarial Network)は、有限サンプルから確率分布を学習する。 GANは、低次元構造を持つデータ分布を適応的に学習したり、H"古い密度を持つことができる。 本分析は,推定誤差をジェネレータと判別器の近似誤差と統計的誤差に分解する新しいオラクル不等式に基づく。
  論文  参考訳（メタデータ） (2021-05-27T08:55:19Z)
• Continual Learning with Fully Probabilistic Models [70.3497683558609]
  機械学習の完全確率的(または生成的)モデルに基づく継続的学習のアプローチを提案する。 生成器と分類器の両方に対してガウス混合モデル(GMM)インスタンスを用いた擬似リハーサル手法を提案する。 我々は,GMRが,クラス増分学習問題に対して,非常に競合的な時間とメモリの複雑さで,最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2021-04-19T12:26:26Z)
• GENs: Generative Encoding Networks [4.269725092203672]
  本稿では,未知のデータ分布と未知のターゲット分布を一致させるために,Jensen-Shannon分散を推定するための非パラメトリック密度法を提案し,解析する。 この分析法には、サンプル量のトレーニングが低いときのより良い振舞い、証明可能な収束特性、比較的少ないパラメータ、分析的に導出できるパラメータなど、いくつかの利点がある。
  論文  参考訳（メタデータ） (2020-10-28T23:40:03Z)
• Block-Approximated Exponential Random Graphs [77.4792558024487]
  指数乱グラフ(ERG)の分野における重要な課題は、大きなグラフ上の非自明なERGの適合である。 本稿では,非自明なERGに対する近似フレームワークを提案する。 我々の手法は、数百万のノードからなるスパースグラフにスケーラブルである。
  論文  参考訳（メタデータ） (2020-02-14T11:42:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。