Fugu-MT 論文翻訳(概要): From optimal score matching to optimal sampling

論文の概要: From optimal score matching to optimal sampling

arxiv url: http://arxiv.org/abs/2409.07032v1
Date: Wed, 11 Sep 2024 06:02:47 GMT
ステータス: 処理完了
システム内更新日: 2024-09-12 15:36:35.525842
Title: From optimal score matching to optimal sampling
Title（参考訳）: 最適スコアマッチングから最適サンプリングへ
Authors: Zehao Dou, Subhodh Kotekal, Zhehao Xu, Harrison H. Zhou,
Abstract要約: 重要な実装ステップは、トレーニングデータから前方拡散過程のスコア関数を推定するスコアマッチングである。スコアベース拡散モデルの普及にもかかわらず、スコア推定のための正確な最適統計率に関する基本的な理論的問題とその密度推定への応用は未解決のままである。差分分布のスコア関数(f * MathcalN(0, t))をスコアマッチング損失に対して推定する最小値が(frac1nt2wedge frac1)であることが証明される。
参考スコア（独自算出の注目度）: 0.2812395851874055
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The recent, impressive advances in algorithmic generation of high-fidelity image, audio, and video are largely due to great successes in score-based diffusion models. A key implementing step is score matching, that is, the estimation of the score function of the forward diffusion process from training data. As shown in earlier literature, the total variation distance between the law of a sample generated from the trained diffusion model and the ground truth distribution can be controlled by the score matching risk. Despite the widespread use of score-based diffusion models, basic theoretical questions concerning exact optimal statistical rates for score estimation and its application to density estimation remain open. We establish the sharp minimax rate of score estimation for smooth, compactly supported densities. Formally, given $n$ i.i.d. samples from an unknown $\alpha$-H\"{o}lder density $f$ supported on $[-1, 1]$, we prove the minimax rate of estimating the score function of the diffused distribution $f * \mathcal{N}(0, t)$ with respect to the score matching loss is $\frac{1}{nt^2} \wedge \frac{1}{nt^{3/2}} \wedge (t^{\alpha-1} + n^{-2(\alpha-1)/(2\alpha+1)})$ for all $\alpha > 0$ and $t \ge 0$. As a consequence, it is shown the law $\hat{f}$ of a sample generated from the diffusion model achieves the sharp minimax rate $\bE(\dTV(\hat{f}, f)^2) \lesssim n^{-2\alpha/(2\alpha+1)}$ for all $\alpha > 0$ without any extraneous logarithmic terms which are prevalent in the literature, and without the need for early stopping which has been required for all existing procedures to the best of our knowledge.
Abstract（参考訳）: 近年の高忠実度画像、オーディオ、ビデオのアルゴリズム生成における顕著な進歩は、スコアベースの拡散モデルにおいて大きな成功を収めているためである。重要な実装ステップは、トレーニングデータから前方拡散過程のスコア関数を推定するスコアマッチングである。前述したように、トレーニング拡散モデルから生成されたサンプルの法則と基底真理分布との総変動距離は、スコアマッチングリスクによって制御できる。スコアベース拡散モデルの普及にもかかわらず、スコア推定のための正確な最適統計率に関する基本的な理論的問題とその密度推定への応用は未解決のままである。我々は,滑らかでコンパクトに支持された密度に対して,スコア推定の急激な最小値速度を確立する。正式には、ある未知の $\alpha$-H\"{o}lder density $f$ が $[-1, 1]$ 上で支持された場合、微分分布 $f * \mathcal{N}(0, t)$ のスコアマッチング損失に対するスコア関数を推定する最小値が、すべての $\alpha > 0$ と $t\ge 0$ に対して $\frac{1}{nt^2} \wedge \frac{1}{nt^{3/2}} \wedge (t^{\alpha-1} + n^{-2(\alpha-1)/(2\alpha+1)} であることを示す。その結果、拡散モデルから生成されたサンプルの法則 \(\hat{f}$ は、すべての $\alpha > 0$ に対するシャープなミニマックスレート $\bE(\dTV(\hat{f}, f)^2) \lesssim n^{-2\alpha/(2\alpha+1)}$ を達成する。

関連論文リスト

Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
論文参考訳（メタデータ） (2024-10-17T16:42:12Z)
Minimax Optimality of Score-based Diffusion Models: Beyond the Density Lower Bound Assumptions [11.222970035173372]
カーネルベースのスコア推定器は$widetildeOleft(n-1 t-fracd+22(tfracd2 vee 1)rightの最適平均二乗誤差を達成する核を用いたスコア推定器は,拡散モデルで生成した試料の分布の総変動誤差に対して,極小ガウスの下での最大平均2乗誤差を$widetildeOleft(n-1/2 t-fracd4right)$上界で達成することを示す。
論文参考訳（メタデータ） (2024-02-23T20:51:31Z)
Optimal score estimation via empirical Bayes smoothing [13.685846094715364]
未知確率分布$rho*$のスコア関数を$n$独立分布および$d$次元における同一分布観測から推定する問題について検討する。ガウスカーネルに基づく正規化スコア推定器は、一致するミニマックス下界によって最適に示され、この値が得られることを示す。
論文参考訳（メタデータ） (2024-02-12T16:17:40Z)
On diffusion-based generative models and their error bounds: The log-concave case with full convergence estimates [5.13323375365494]
我々は,強い対数対数データの下での拡散に基づく生成モデルの収束挙動を理論的に保証する。スコア推定に使用される関数のクラスは、スコア関数上のリプシッツネスの仮定を避けるために、リプシッツ連続関数からなる。この手法はサンプリングアルゴリズムにおいて最もよく知られた収束率をもたらす。
論文参考訳（メタデータ） (2023-11-22T18:40:45Z)
Sobolev Space Regularised Pre Density Models [51.558848491038916]
本研究では,ソボレフ法則の正則化に基づく非パラメトリック密度推定法を提案する。この方法は統計的に一貫したものであり、帰納的検証モデルを明確かつ一貫したものにしている。
論文参考訳（メタデータ） (2023-07-25T18:47:53Z)
Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文参考訳（メタデータ） (2023-06-15T16:30:08Z)
Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文参考訳（メタデータ） (2023-06-13T01:18:16Z)
Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文参考訳（メタデータ） (2022-11-30T05:33:29Z)
Improved Analysis of Score-based Generative Modeling: User-Friendly Bounds under Minimal Smoothness Assumptions [9.953088581242845]
2次モーメントを持つ任意のデータ分布に対して,コンバージェンス保証と複雑性を提供する。我々の結果は、対数共空性や機能的不等式を前提としない。我々の理論解析は、異なる離散近似の比較を提供し、実際の離散化点の選択を導くかもしれない。
論文参考訳（メタデータ） (2022-11-03T15:51:00Z)
Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。これらの結果はサンプル状態と有限状態の両方で定式化する。
論文参考訳（メタデータ） (2022-10-03T06:09:01Z)
Convergence for score-based generative modeling with polynomial complexity [9.953088581242845]
我々は、Scoreベースの生成モデルの背後にあるコアメカニックに対する最初の収束保証を証明した。以前の作品と比較すると、時間的に指数関数的に増加するエラーや、次元の呪いに苦しむエラーは発生しない。予測器・相関器はどちらの部分のみを使用するよりも収束性が高いことを示す。
論文参考訳（メタデータ） (2022-06-13T14:57:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。