論文の概要: An analysis of the noise schedule for score-based generative models
- arxiv url: http://arxiv.org/abs/2402.04650v1
- Date: Wed, 7 Feb 2024 08:24:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 16:30:26.041915
- Title: An analysis of the noise schedule for score-based generative models
- Title（参考訳）: スコアベース生成モデルにおけるノイズスケジュールの解析
- Authors: Stanislas Strasman (SU, LPSM (UMR\_8001)), Antonio Ocello (CMAP),
Claire Boyer (LPSM (UMR\_8001), IUF), Sylvain Le Corff (LPSM (UMR\_8001),
SU), Vincent Lemaire (LPSM (UMR\_8001))
- Abstract要約: 提案手法は,提案した上限値を用いて自動的にノイズスケジュールを調整するアルゴリズムである。
本稿では,文献の標準選択と比較して,ノイズスケジュール最適化の性能を実証的に説明する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Score-based generative models (SGMs) aim at estimating a target data
distribution by learning score functions using only noise-perturbed samples
from the target. Recent literature has focused extensively on assessing the
error between the target and estimated distributions, gauging the generative
quality through the Kullback-Leibler (KL) divergence and Wasserstein distances.
All existing results have been obtained so far for time-homogeneous speed of
the noise schedule. Under mild assumptions on the data distribution, we
establish an upper bound for the KL divergence between the target and the
estimated distributions, explicitly depending on any time-dependent noise
schedule. Assuming that the score is Lipschitz continuous, we provide an
improved error bound in Wasserstein distance, taking advantage of favourable
underlying contraction mechanisms. We also propose an algorithm to
automatically tune the noise schedule using the proposed upper bound. We
illustrate empirically the performance of the noise schedule optimization in
comparison to standard choices in the literature.
- Abstract（参考訳）: スコアベース生成モデル(SGM)は、目標からのノイズ摂動サンプルのみを用いてスコア関数を学習することにより、目標データ分布を推定することを目的としている。
近年の文献では、ターゲットと推定分布の誤差を評価し、KL(Kulback-Leibler)の発散とワッサーシュタイン距離を通じて生成品質を計測している。
既存の結果はすべて、ノイズスケジュールの時間均等な速度で得られている。
データ分布に関する穏やかな仮定の下では、目標と推定分布との間のklの分岐の上限を、時間に依存したノイズスケジュールによって明示的に設定する。
スコアがリプシッツ連続であると仮定すると、より有利な収縮機構を生かして、wasserstein距離に縛られた誤差を改善する。
また,提案する上限値を用いて雑音スケジュールを自動的に調整するアルゴリズムを提案する。
文献における標準選択と比較して,ノイズスケジュール最適化の性能を実証的に説明する。
関連論文リスト
- Dimension-free Score Matching and Time Bootstrapping for Diffusion Models [11.743167854433306]
拡散モデルは、様々な雑音レベルにおける対象分布のスコア関数を推定してサンプルを生成する。
本研究では,これらのスコア関数を学習するために,次元自由なサンプル境界の複雑性を初めて(ほぼ)確立する。
我々の分析の重要な側面は、ノイズレベル間でのスコアを共同で推定する単一関数近似器を使用することである。
論文 参考訳（メタデータ） (2025-02-14T18:32:22Z) - Beyond Log-Concavity and Score Regularity: Improved Convergence Bounds for Score-Based Generative Models in W2-distance [0.0]
スコアベース生成モデル(SGM)における収束解析のための新しい枠組みを提案する。
データ分布の弱い対数共振器は時間とともに対数共振器へと進化することを示す。
本手法は, スコア関数とその正則性に対する厳密な正則性条件の必要性を回避するものである。
論文 参考訳（メタデータ） (2025-01-04T14:33:27Z) - Semiparametric conformal prediction [79.6147286161434]
リスクに敏感なアプリケーションは、複数の、潜在的に相関したターゲット変数に対して、よく校正された予測セットを必要とする。
スコアをランダムなベクトルとして扱い、それらの連接関係構造を考慮した予測セットを構築することを目的とする。
実世界のレグレッション問題に対して,所望のカバレッジと競争効率について報告する。
論文 参考訳（メタデータ） (2024-11-04T14:29:02Z) - Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。
その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。
この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
論文 参考訳（メタデータ） (2024-10-17T16:42:12Z) - On diffusion-based generative models and their error bounds: The log-concave case with full convergence estimates [5.13323375365494]
我々は,強い対数対数データの下での拡散に基づく生成モデルの収束挙動を理論的に保証する。
スコア推定に使用される関数のクラスは、スコア関数上のリプシッツネスの仮定を避けるために、リプシッツ連続関数からなる。
この手法はサンプリングアルゴリズムにおいて最もよく知られた収束率をもたらす。
論文 参考訳（メタデータ） (2023-11-22T18:40:45Z) - KL Convergence Guarantees for Score diffusion models under minimal data assumptions [9.618473763561418]
注目すべき課題は、包括的な定量的結果の欠如という形で続いている。
この記事では、Ornstein-Uhlenbeck半群とその運動論的対応から生じる一定のステップサイズを持つスコア拡散モデルに焦点を当てる。
論文 参考訳（メタデータ） (2023-08-23T16:31:08Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - Concrete Score Matching: Generalized Score Matching for Discrete Data [109.12439278055213]
コンクレトスコア(Concrete score)とは、個別の設定のためのスコア(ステイン)の一般化である。
コンクレトスコアマッチング(Concrete Score Matching)は、サンプルからこのようなスコアを学習するフレームワークである。
論文 参考訳（メタデータ） (2022-11-02T00:41:37Z) - FP-Diffusion: Improving Score-based Diffusion Models by Enforcing the
Underlying Score Fokker-Planck Equation [72.19198763459448]
雑音が増大する傾向にあるデータ密度に対応する雑音条件スコア関数の族を学習する。
これらの摂動データ密度は、密度の時空間進化を管理する偏微分方程式(PDE)であるフォッカー・プランク方程式(Fokker-Planck equation, FPE)によって結合される。
我々は、摂動データ密度の雑音条件スコアを特徴付けるスコアFPEと呼ばれる対応する方程式を導出する。
論文 参考訳（メタデータ） (2022-10-09T16:27:25Z) - SIXO: Smoothing Inference with Twisted Objectives [8.049531918823758]
SIXOは平滑な分布を近似する対象を学習する手法である。
次に、これらの学習対象とSMCを用いて、モデル学習と提案学習の変動目標を定義する。
論文 参考訳（メタデータ） (2022-06-13T07:46:35Z) - Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。
次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
論文 参考訳（メタデータ） (2020-01-31T23:50:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。