論文の概要: Convergence in KL Divergence of the Inexact Langevin Algorithm with
Application to Score-based Generative Models
- arxiv url: http://arxiv.org/abs/2211.01512v1
- Date: Wed, 2 Nov 2022 23:12:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-04 14:39:20.721201
- Title: Convergence in KL Divergence of the Inexact Langevin Algorithm with
Application to Score-based Generative Models
- Title（参考訳）: inexact langevinアルゴリズムのkl発散における収束とスコアベース生成モデルへの応用
- Authors: Andre Wibisono, Kaylee Yingxi Yang
- Abstract要約: ターゲット分布が対数ソボレフ不等式(LSI)を満たす場合、推定スコア関数を用いたサンプリングのための非接触ランゲヴィンアルゴリズム(ILA)について検討する。
我々は、スコア推定器の誤差が有界モーメント生成関数(MGF)を持つという十分な仮定の下で、KL(Kullback-Leibler)の長期収束を証明した。
次に、カーネル密度推定に基づく推定器を用いて、LSIターゲット分布の有界MGF仮定を満たす精度の高いスコア推定器を得る方法について検討する。
- 参考スコア（独自算出の注目度）: 4.974890682815778
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the Inexact Langevin Algorithm (ILA) for sampling using estimated
score function when the target distribution satisfies log-Sobolev inequality
(LSI), motivated by Score-based Generative Modeling (SGM). We prove a long-term
convergence in Kullback-Leibler (KL) divergence under a sufficient assumption
that the error of the score estimator has a bounded Moment Generating Function
(MGF). Our assumption is weaker than $L^\infty$ (which is too strong to hold in
practice) and stronger than $L^2$ error assumption, which we show not
sufficient to guarantee convergence in general. Under the $L^\infty$ error
assumption, we additionally prove convergence in R\'enyi divergence, which is
stronger than KL divergence. We then study how to get a provably accurate score
estimator which satisfies bounded MGF assumption for LSI target distributions,
by using an estimator based on kernel density estimation. Together with the
convergence results, we yield the first end-to-end convergence guarantee for
ILA in the population level. Last, we generalize our convergence analysis to
SGM and derive a complexity guarantee in KL divergence for data satisfying LSI
under MGF-accurate score estimator.
- Abstract（参考訳）: 目標分布がlog-sobolev不等式 (lsi) を満たす場合, 推定スコア関数を用いたサンプリングのための不等式langevinアルゴリズム (ila) について検討した。
スコア推定器の誤差が有界モーメント生成関数(mgf)を持つという十分な仮定の下で,kullback-leibler (kl) 分岐の長期収束を証明する。
我々の仮定は$l^\infty$(実際には保持するには強すぎる)よりも弱く、$l^2$エラー仮定より強い。
L^\infty$ の誤差仮定の下では、KL の発散よりも強い R'enyi の発散の収束も証明する。
次に、カーネル密度推定に基づく推定器を用いて、LSIターゲット分布の有界MGF仮定を満たす精度の高いスコア推定器を得る方法について検討する。
コンバージェンスの結果とともに、ILAの集団レベルでの最初のエンドツーエンドコンバージェンス保証を得る。
最後に、収束解析をSGMに一般化し、MGF精度スコア推定器の下でLSIを満たすデータに対するKL分散の複雑性保証を導出する。
関連論文リスト
- Straightness of Rectified Flow: A Theoretical Insight into Wasserstein Convergence [54.580605276017096]
拡散モデルは画像生成とデノナイズのための強力なツールとして登場した。
最近、Liuらは新しい代替生成モデル Rectified Flow (RF) を設計した。
RFは,一連の凸最適化問題を用いて,ノイズからデータへの直流軌跡の学習を目的としている。
論文 参考訳（メタデータ） (2024-10-19T02:36:11Z) - Score-based generative models are provably robust: an uncertainty quantification perspective [4.396860522241307]
本研究では,スコアベース生成モデル (SGM) が実運用において複数の誤差源に対して確実に堅牢であることを示す。
我々の主要なツールは、ワッサーシュタイン不確実性伝播(WUP)定理である。
a) 有限サンプル近似による誤差, (b) 早期停止, (c) スコアマッチング対象選択, (d) スコア関数パラメトリゼーション, (e) 基準分布選択が生成モデルの品質に与える影響を示す。
論文 参考訳（メタデータ） (2024-05-24T17:50:17Z) - Multi-hypothesis 3D human pose estimation metrics favor miscalibrated
distributions [3.8575800313102806]
よく校正された分布は曖昧さを明確にし、下流のタスクの不確実性を維持することができる。
誤校正は、minMPJPEなどのサンプルベースメトリクスの使用によるものである。
この問題を軽減するために,条件付きグラフ正規化フロー (CGNF) と呼ばれる,精度よく校正されたモデルを提案する。
論文 参考訳（メタデータ） (2022-10-20T11:47:07Z) - Sampling is as easy as learning the score: theory for diffusion models
with minimal data assumptions [45.04514545004051]
スコアベース生成モデル(SGM)に対する収束保証を提供する。
また、臨界減衰ランゲヴィン拡散(CLD)に基づくSGMについても検討する。
論文 参考訳（メタデータ） (2022-09-22T17:55:01Z) - Utilising the CLT Structure in Stochastic Gradient based Sampling :
Improved Analysis and Faster Algorithms [14.174806471635403]
粒子ダイナミック(IPD)に対するグラディエント・ランゲヴィン・ダイナミクス(SGLD)やランダムバッチ法(RBM)などのサンプリングアルゴリズムの近似を考察する。
近似によって生じる雑音は中央極限定理(CLT)によりほぼガウス的であるが、ブラウン運動はまさにガウス的である。
この構造を利用して拡散過程内の近似誤差を吸収し、これらのアルゴリズムの収束保証を改善する。
論文 参考訳（メタデータ） (2022-06-08T10:17:40Z) - Robust Estimation for Nonparametric Families via Generative Adversarial
Networks [92.64483100338724]
我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。
我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。
技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
論文 参考訳（メタデータ） (2022-02-02T20:11:33Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳（メタデータ） (2021-09-24T14:48:20Z) - On the Practicality of Differential Privacy in Federated Learning by
Tuning Iteration Times [51.61278695776151]
フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。
最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。
ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
論文 参考訳（メタデータ） (2021-01-11T19:43:12Z) - Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。
次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
論文 参考訳（メタデータ） (2020-01-31T23:50:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。