論文の概要: Convergence of the Inexact Langevin Algorithm and Score-based Generative Models in KL Divergence

• arxiv url: http://arxiv.org/abs/2211.01512v2
• Date: Fri, 2 Jun 2023 14:57:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 20:36:51.210486
• Title: Convergence of the Inexact Langevin Algorithm and Score-based Generative Models in KL Divergence
• Title（参考訳）: KLディバージェンスにおける不コンパクトランゲヴィンアルゴリズムとスコアベース生成モデルの収束性
• Authors: Kaylee Yingxi Yang, Andre Wibisono
• Abstract要約: Inexact Langevin Dynamics (ILD), Inexact Langevin Algorithm (ILA), and Score-based Generative Modeling (SGM) について検討を行った。
• 参考スコア（独自算出の注目度）: 4.974890682815778
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the Inexact Langevin Dynamics (ILD), Inexact Langevin Algorithm (ILA), and Score-based Generative Modeling (SGM) when utilizing estimated score functions for sampling. Our focus lies in establishing stable biased convergence guarantees in terms of the Kullback-Leibler (KL) divergence. To achieve these guarantees, we impose two key assumptions: 1) the target distribution satisfies the log-Sobolev inequality (LSI), and 2) the score estimator exhibits a bounded Moment Generating Function (MGF) error. Notably, the MGF error assumption we adopt is more lenient compared to the $L^\infty$ error assumption used in existing literature. However, it is stronger than the $L^2$ error assumption utilized in recent works, which often leads to unstable bounds. We explore the question of how to obtain a provably accurate score estimator that satisfies the MGF error assumption. Specifically, we demonstrate that a simple estimator based on kernel density estimation fulfills the MGF error assumption for sub-Gaussian target distribution, at the population level.
• Abstract（参考訳）: 推定スコア関数をサンプリングに利用した場合,ild (inexact langevin dynamics) とila (inexact langevin algorithm) とsgm (sgm) について検討を行った。 我々の焦点は、KL(Kulback-Leibler)の発散の観点から、安定したバイアス収束を保証することにある。 これらの保証を達成するために、私たちは2つの重要な仮定を課します。 1)ターゲット分布は対数ソボレフ不等式(LSI)を満たす。 2)スコア推定器は、有界モーメント生成関数(MGF)誤差を示す。 特に、我々が採用しているMGF誤差仮定は、既存の文献で用いられる$L^\infty$エラー仮定よりも寛大である。 しかし、最近の研究で使われている$L^2$の誤差仮定よりも強く、しばしば不安定な境界につながる。 本研究では,mgf誤差の仮定を満足する正確なスコア推定器を得る方法について検討する。 具体的には,核密度推定に基づく単純な推定器が,個体群レベルでのサブガウシアンターゲット分布のmgf誤差仮定を満たしていることを示す。

関連論文リスト

• Straightness of Rectified Flow: A Theoretical Insight into Wasserstein Convergence [54.580605276017096]
  拡散モデルは画像生成とデノナイズのための強力なツールとして登場した。 最近、Liuらは新しい代替生成モデル Rectified Flow (RF) を設計した。 RFは,一連の凸最適化問題を用いて,ノイズからデータへの直流軌跡の学習を目的としている。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• Score-based generative models are provably robust: an uncertainty quantification perspective [4.396860522241307]
  本研究では,スコアベース生成モデル (SGM) が実運用において複数の誤差源に対して確実に堅牢であることを示す。 我々の主要なツールは、ワッサーシュタイン不確実性伝播(WUP)定理である。 a) 有限サンプル近似による誤差, (b) 早期停止, (c) スコアマッチング対象選択, (d) スコア関数パラメトリゼーション, (e) 基準分布選択が生成モデルの品質に与える影響を示す。
  論文  参考訳（メタデータ） (2024-05-24T17:50:17Z)
• Multi-hypothesis 3D human pose estimation metrics favor miscalibrated distributions [3.8575800313102806]
  よく校正された分布は曖昧さを明確にし、下流のタスクの不確実性を維持することができる。 誤校正は、minMPJPEなどのサンプルベースメトリクスの使用によるものである。 この問題を軽減するために,条件付きグラフ正規化フロー (CGNF) と呼ばれる,精度よく校正されたモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-20T11:47:07Z)
• Sampling is as easy as learning the score: theory for diffusion models with minimal data assumptions [45.04514545004051]
  スコアベース生成モデル(SGM)に対する収束保証を提供する。 また、臨界減衰ランゲヴィン拡散(CLD)に基づくSGMについても検討する。
  論文  参考訳（メタデータ） (2022-09-22T17:55:01Z)
• Utilising the CLT Structure in Stochastic Gradient based Sampling : Improved Analysis and Faster Algorithms [14.174806471635403]
  粒子ダイナミック(IPD)に対するグラディエント・ランゲヴィン・ダイナミクス(SGLD)やランダムバッチ法(RBM)などのサンプリングアルゴリズムの近似を考察する。 近似によって生じる雑音は中央極限定理(CLT)によりほぼガウス的であるが、ブラウン運動はまさにガウス的である。 この構造を利用して拡散過程内の近似誤差を吸収し、これらのアルゴリズムの収束保証を改善する。
  論文  参考訳（メタデータ） (2022-06-08T10:17:40Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
  フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。 最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。 ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
  論文  参考訳（メタデータ） (2021-01-11T19:43:12Z)
• Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
  DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。 次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
  論文  参考訳（メタデータ） (2020-01-31T23:50:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。