論文の概要: Global Well-posedness and Convergence Analysis of Score-based Generative Models via Sharp Lipschitz Estimates

• arxiv url: http://arxiv.org/abs/2405.16104v1
• Date: Sat, 25 May 2024 07:31:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 01:00:23.556304
• Title: Global Well-posedness and Convergence Analysis of Score-based Generative Models via Sharp Lipschitz Estimates
• Title（参考訳）: シャープリプシッツ推定によるスコアベース生成モデルの大域的ウェルポッドネスと収束解析
• Authors: Connor Mooney, Zhongjian Wang, Jack Xin, Yifeng Yu,
• Abstract要約: スコアベース生成モデル(SGM)のグローバルな適合性と収束性を確立する。 スムーズな場合、最適時間長のスコア関数のリプシッツ境界から始める。 最適性は、スコアのリプシッツ定数が初期で有界であるが有限時間で爆発する例によって検証される。
• 参考スコア（独自算出の注目度）: 1.3124513975412255
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We establish global well-posedness and convergence of the score-based generative models (SGM) under minimal general assumptions of initial data for score estimation. For the smooth case, we start from a Lipschitz bound of the score function with optimal time length. The optimality is validated by an example whose Lipschitz constant of scores is bounded at initial but blows up in finite time. This necessitates the separation of time scales in conventional bounds for non-log-concave distributions. In contrast, our follow up analysis only relies on a local Lipschitz condition and is valid globally in time. This leads to the convergence of numerical scheme without time separation. For the non-smooth case, we show that the optimal Lipschitz bound is O(1/t) in the point-wise sense for distributions supported on a compact, smooth and low-dimensional manifold with boundary.
• Abstract（参考訳）: 我々は,スコア推定のための初期データの最小限の仮定の下で,スコアベース生成モデル(SGM)のグローバルな適合性と収束性を確立する。 スムーズな場合、最適時間長のスコア関数のリプシッツ境界から始める。 最適性は、スコアのリプシッツ定数が初期で有界であるが有限時間で爆発する例によって検証される。 これは、非対数分布に対する従来の境界における時間スケールの分離を必要とする。 対照的に、フォローアップ解析は局所的なリプシッツ条件にのみ依存しており、時間的にグローバルに有効である。 これは時間分離のない数値スキームの収束につながる。 非滑らかな場合、最適リプシッツ境界は、境界を持つコンパクトで滑らかで低次元多様体上で支えられる分布に対して点ワイズな意味で O(1/t) であることが示される。

関連論文リスト

• Private Stochastic Convex Optimization with Heavy Tails: Near-Optimality from Simple Reductions [19.008521454738425]
  重み付き勾配を持つ差分プライベート凸最適化(DP-SCO)の問題を考察し、一様境界ではなく、サンプル関数のリプシッツ定数上の$ktextth$-momentを仮定する。 Gcdot frac 1 sqrt n + G_k cdot (fracsqrt dnepsilon) 1 の誤差を達成し、重み付け設定における第1次最適率(対数係数まで)を得るための新しい還元ベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2024-06-04T21:26:29Z)
• Optimal score estimation via empirical Bayes smoothing [13.685846094715364]
  未知確率分布$rho*$のスコア関数を$n$独立分布および$d$次元における同一分布観測から推定する問題について検討する。 ガウスカーネルに基づく正規化スコア推定器は、一致するミニマックス下界によって最適に示され、この値が得られることを示す。
  論文  参考訳（メタデータ） (2024-02-12T16:17:40Z)
• Stochastic Weakly Convex Optimization Beyond Lipschitz Continuity [5.866816093792934]
  次数法を含む幅広い連続性アルゴリズムが, 一定の故障率で$mathO収束率を保っていることを示す。 リプシッツパラメータは、$|x|$の一般的な成長関数によって境界付けられたり、独立したランダムサンプルを通して局所的に推定されたりする。
  論文  参考訳（メタデータ） (2024-01-25T06:06:31Z)
• KL Convergence Guarantees for Score diffusion models under minimal data assumptions [9.618473763561418]
  注目すべき課題は、包括的な定量的結果の欠如という形で続いている。 この記事では、Ornstein-Uhlenbeck半群とその運動論的対応から生じる一定のステップサイズを持つスコア拡散モデルに焦点を当てる。
  論文  参考訳（メタデータ） (2023-08-23T16:31:08Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Min-Max Optimization Made Simple: Approximating the Proximal Point Method via Contraction Maps [77.8999425439444]
  本稿では,凸/凹凸 min-max 問題に対して,ほぼ最適収束率を許容する一階法を提案する。 我々の研究は、近点法の更新規則を精度良く近似できるという事実に基づいている。
  論文  参考訳（メタデータ） (2023-01-10T12:18:47Z)
• Beyond Uniform Lipschitz Condition in Differentially Private Optimization [28.04430869054056]
  微分プライベート勾配降下(DP-SGD)に関するほとんどの先行結果は、一様リプシッツ性(英語版)という単純な仮定の下で導出される。 我々は、サンプルごとのリプシッツ定数が有界であるとき、一般バージョンのリプシッツネスのノルム依存度を選択する原理的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2022-06-21T20:11:30Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
  シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。 ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。 我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
  論文  参考訳（メタデータ） (2021-10-20T02:25:25Z)
• SGD with shuffling: optimal rates without component convexity and large epoch requirements [60.65928290219793]
  我々はRandomShuffle(各エポックの開始時のシャッフル)とSingleShuffle(1回だけシャッフル)を考える。 我々はこれらのアルゴリズムの最小収束速度をポリログ係数ギャップまで確立する。 我々は、すべての先行芸術に共通する欠点を取り除くことにより、RandomShuffleの厳密な収束結果をさらに強化する。
  論文  参考訳（メタデータ） (2020-06-12T05:00:44Z)
• Exactly Computing the Local Lipschitz Constant of ReLU Networks [98.43114280459271]
  ニューラルネットワークの局所リプシッツ定数は、堅牢性、一般化、公正性評価に有用な指標である。 ReLUネットワークのリプシッツ定数を推定するために, 強い不適合性を示す。 このアルゴリズムを用いて、競合するリプシッツ推定器の密度と正規化トレーニングがリプシッツ定数に与える影響を評価する。
  論文  参考訳（メタデータ） (2020-03-02T22:15:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。