論文の概要: On diffusion-based generative models and their error bounds: The log-concave case with full convergence estimates

• arxiv url: http://arxiv.org/abs/2311.13584v4
• Date: Wed, 09 Oct 2024 11:38:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-10 14:29:07.416693
• Title: On diffusion-based generative models and their error bounds: The log-concave case with full convergence estimates
• Title（参考訳）: 拡散に基づく生成モデルとその誤差境界について:完全収束推定をもつ対数凹の場合
• Authors: Stefano Bruno, Ying Zhang, Dong-Young Lim, Ömer Deniz Akyildiz, Sotirios Sabanis,
• Abstract要約: 我々は,強い対数対数データの下での拡散に基づく生成モデルの収束挙動を理論的に保証する。 スコア推定に使用される関数のクラスは、スコア関数上のリプシッツネスの仮定を避けるために、リプシッツ連続関数からなる。 この手法はサンプリングアルゴリズムにおいて最もよく知られた収束率をもたらす。
• 参考スコア（独自算出の注目度）: 5.13323375365494
• License:
• Abstract: We provide full theoretical guarantees for the convergence behaviour of diffusion-based generative models under the assumption of strongly log-concave data distributions while our approximating class of functions used for score estimation is made of Lipschitz continuous functions avoiding any Lipschitzness assumption on the score function. We demonstrate via a motivating example, sampling from a Gaussian distribution with unknown mean, the powerfulness of our approach. In this case, explicit estimates are provided for the associated optimization problem, i.e. score approximation, while these are combined with the corresponding sampling estimates. As a result, we obtain the best known upper bound estimates in terms of key quantities of interest, such as the dimension and rates of convergence, for the Wasserstein-2 distance between the data distribution (Gaussian with unknown mean) and our sampling algorithm. Beyond the motivating example and in order to allow for the use of a diverse range of stochastic optimizers, we present our results using an $L^2$-accurate score estimation assumption, which crucially is formed under an expectation with respect to the stochastic optimizer and our novel auxiliary process that uses only known information. This approach yields the best known convergence rate for our sampling algorithm.
• Abstract（参考訳）: スコア推定に使用される関数の近似クラスは、スコア関数上のリプシッツ性仮定を避けるためにリプシッツ連続関数からなる。 我々は、モチベーションの例を通して、未知の平均を持つガウス分布からサンプリングし、我々のアプローチの強力さを実証する。 この場合、関連する最適化問題、すなわちスコア近似に対して明示的な推定値が与えられ、これらは対応する推定値と組み合わせられる。 その結果、データ分布(ガウス平均)とサンプリングアルゴリズムの間のワッサーシュタイン-2距離について、興味の量や収束率などの重要な値から、最もよく知られた上限推定値を得ることができた。 モチベーションの他に,様々な確率オプティマイザの使用を可能にするために,確率オプティマイザと,既知の情報のみを利用する新たな補助プロセスに対して,重要な期待のもとに形成される,$L^2$-精度のスコア推定仮定を用いて結果を示す。 この手法はサンプリングアルゴリズムにおいて最もよく知られた収束率をもたらす。

関連論文リスト

• Optimal convex $M$-estimation via score matching [6.115859302936817]
  実験的リスク最小化が回帰係数の下流推定における最適分散をもたらすデータ駆動凸損失関数を構築した。 半パラメトリック手法は、雑音分布の対数密度の導関数の導関数の最も少ない近似を目標とする。
  論文  参考訳（メタデータ） (2024-03-25T12:23:19Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
  本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。 これらの結果はサンプル状態と有限状態の両方で定式化する。
  論文  参考訳（メタデータ） (2022-10-03T06:09:01Z)
• Convergence for score-based generative modeling with polynomial complexity [9.953088581242845]
  我々は、Scoreベースの生成モデルの背後にあるコアメカニックに対する最初の収束保証を証明した。 以前の作品と比較すると、時間的に指数関数的に増加するエラーや、次元の呪いに苦しむエラーは発生しない。 予測器・相関器はどちらの部分のみを使用するよりも収束性が高いことを示す。
  論文  参考訳（メタデータ） (2022-06-13T14:57:35Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• How Good are Low-Rank Approximations in Gaussian Process Regression? [28.392890577684657]
  2つの共通低ランクカーネル近似による近似ガウス過程(GP)回帰の保証を提供する。 理論境界の有効性を評価するため,シミュレーションデータと標準ベンチマークの両方について実験を行った。
  論文  参考訳（メタデータ） (2021-12-13T04:04:08Z)
• A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
  均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。 提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:51:10Z)
• Mean-Field Approximation to Gaussian-Softmax Integral with Application to Uncertainty Estimation [23.38076756988258]
  ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。 平均場近似式を用いて解析的に難解な積分を計算する。 実験的に,提案手法は最先端の手法と比較して競合的に機能する。
  論文  参考訳（メタデータ） (2020-06-13T07:32:38Z)
• Nonparametric Score Estimators [49.42469547970041]
  未知分布によって生成されたサンプルの集合からスコアを推定することは確率モデルの推論と学習における基本的なタスクである。 正規化非パラメトリック回帰の枠組みの下で、これらの推定器の統一的なビューを提供する。 カールフリーカーネルと高速収束による計算効果を享受する反復正規化に基づくスコア推定器を提案する。
  論文  参考訳（メタデータ） (2020-05-20T15:01:03Z)
• How Good are Low-Rank Approximations in Gaussian Process Regression? [24.09582049403961]
  2つの共通低ランクカーネル近似による近似ガウス過程(GP)回帰の保証を提供する。 理論境界の有効性を評価するため,シミュレーションデータと標準ベンチマークの両方について実験を行った。
  論文  参考訳（メタデータ） (2020-04-03T14:15:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。