論文の概要: Wasserstein Convergence Guarantees for a General Class of Score-Based Generative Models

• arxiv url: http://arxiv.org/abs/2311.11003v1
• Date: Sat, 18 Nov 2023 07:53:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 12:53:35.465062
• Title: Wasserstein Convergence Guarantees for a General Class of Score-Based Generative Models
• Title（参考訳）: スコアベース生成モデルの一般クラスに対するワッサーシュタイン収束保証
• Authors: Xuefeng Gao, Hoang M. Nguyen, Lingjiong Zhu
• Abstract要約: スコアベース生成モデル(SGMs)は、多くの応用において最先端の性能を持つ、近年の深層生成モデルである。 2-ワッサーシュタイン距離におけるSGMの一般クラスに対する収束保証を確立し、正確なスコア推定と円滑な対数凹データ分布を仮定する。 本稿では,CIFAR-10上での非条件画像生成のために,異なる前方プロセスを用いたSGM実験を行った。
• 参考スコア（独自算出の注目度）: 9.47767039367222
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Score-based generative models (SGMs) is a recent class of deep generative models with state-of-the-art performance in many applications. In this paper, we establish convergence guarantees for a general class of SGMs in 2-Wasserstein distance, assuming accurate score estimates and smooth log-concave data distribution. We specialize our result to several concrete SGMs with specific choices of forward processes modelled by stochastic differential equations, and obtain an upper bound on the iteration complexity for each model, which demonstrates the impacts of different choices of the forward processes. We also provide a lower bound when the data distribution is Gaussian. Numerically, we experiment SGMs with different forward processes, some of which are newly proposed in this paper, for unconditional image generation on CIFAR-10. We find that the experimental results are in good agreement with our theoretical predictions on the iteration complexity, and the models with our newly proposed forward processes can outperform existing models.
• Abstract（参考訳）: スコアベース生成モデル(SGMs)は、多くの応用において最先端の性能を持つ、近年の深層生成モデルである。 本稿では,2-wasserstein距離におけるsgmの一般クラスに対する収束保証を確立し,正確なスコア推定と滑らかなログコンケーブデータ分布を仮定する。 我々は,確率微分方程式でモデル化した前方プロセスの選択を具体化したいくつかの具体的なSGMを専門とし,各モデルに対する反復複雑性の上限を求め,前方プロセスの異なる選択の影響を実証する。 データ分布がガウス的である場合にも、低い境界を提供する。 本稿では,CIFAR-10上での非条件画像生成のために,異なる前方プロセスを用いたSGM実験を行った。 実験の結果は, 反復複雑性に関する理論的予測とよく一致し, 新たに提案する前進過程のモデルが既存モデルに勝ることがわかった。

関連論文リスト

• Fusion of Gaussian Processes Predictions with Monte Carlo Sampling [61.31380086717422]
  科学と工学において、私たちはしばしば興味のある変数の正確な予測のために設計されたモデルで作業します。 これらのモデルが現実の近似であることを認識し、複数のモデルを同じデータに適用し、結果を統合することが望ましい。
  論文  参考訳（メタデータ） (2024-03-03T04:21:21Z)
• Mixtures of Gaussian process experts based on kernel stick-breaking processes [0.6396288020763143]
  本稿では,カーネルスティックブレーキングプロセスに基づくガウスプロセスエキスパートの混合モデルを提案する。 我々のモデルは直感的な魅力を維持しつつ、既存のモデルの性能を改善している。 モデル挙動と予測性能の改善は、6つのデータセットを用いた実験で実証された。
  論文  参考訳（メタデータ） (2023-04-26T21:23:01Z)
• A Complete Recipe for Diffusion Generative Models [18.891215475887314]
  生成モデル(SGM)における前進過程の定式化のための完全なレシピを提案する。 補助変数に富んだ拡張空間内のスコアベースモデリングに依存する位相空間ランゲヴィン拡散(PSLD)を導入する。
  論文  参考訳（メタデータ） (2023-03-03T07:20:58Z)
• Model ensemble instead of prompt fusion: a sample-specific knowledge transfer method for few-shot prompt tuning [85.55727213502402]
  我々は、ソースタスクのソフトプロンプトから知識を伝達することで、プロンプトチューニングにおける数ショットのパフォーマンスを改善することに集中する。 我々はソースモデル(SESoM)のサンプル固有アンサンブルを提案する。 SESoMは、ソースモデルが出力されるときに、ターゲットの各サンプルに対するソースモデルのコントリビューションを個別に調整することを学ぶ。
  論文  参考訳（メタデータ） (2022-10-23T01:33:16Z)
• Deep Generative Modeling on Limited Data with Regularization by Nontransferable Pre-trained Models [32.52492468276371]
  本稿では,限られたデータを用いた生成モデルの分散を低減するために,正規化深層生成モデル(Reg-DGM)を提案する。 Reg-DGMは、ある発散の重み付け和とエネルギー関数の期待を最適化するために、事前訓練されたモデルを使用する。 実験的に、様々な事前訓練された特徴抽出器とデータ依存エネルギー関数により、Reg-DGMはデータ制限のある強力なDGMの生成性能を一貫して改善する。
  論文  参考訳（メタデータ） (2022-08-30T10:28:50Z)
• Convergence for score-based generative modeling with polynomial complexity [9.953088581242845]
  我々は、Scoreベースの生成モデルの背後にあるコアメカニックに対する最初の収束保証を証明した。 以前の作品と比較すると、時間的に指数関数的に増加するエラーや、次元の呪いに苦しむエラーは発生しない。 予測器・相関器はどちらの部分のみを使用するよりも収束性が高いことを示す。
  論文  参考訳（メタデータ） (2022-06-13T14:57:35Z)
• Riemannian Score-Based Generative Modeling [56.20669989459281]
  経験的性能を示すスコアベース生成モデル(SGM)を紹介する。 現在のSGMは、そのデータが平坦な幾何学を持つユークリッド多様体上で支えられているという前提を定めている。 これにより、ロボット工学、地球科学、タンパク質モデリングの応用にこれらのモデルを使用することができない。
  論文  参考訳（メタデータ） (2022-02-06T11:57:39Z)
• Score-based Generative Modeling in Latent Space [93.8985523558869]
  スコアベース生成モデル(SGM)は,最近,サンプル品質と分布範囲の両面で顕著な結果を示した。 本稿では,Latent Score-based Generative Model (LSGM)を提案する。 データから潜在空間への移動により、より表現力のある生成モデルをトレーニングし、非連続データにSGMを適用し、よりスムーズなSGMをより小さな空間で学習することができる。
  論文  参考訳（メタデータ） (2021-06-10T17:26:35Z)
• Continual Learning with Fully Probabilistic Models [70.3497683558609]
  機械学習の完全確率的(または生成的)モデルに基づく継続的学習のアプローチを提案する。 生成器と分類器の両方に対してガウス混合モデル(GMM)インスタンスを用いた擬似リハーサル手法を提案する。 我々は,GMRが,クラス増分学習問題に対して,非常に競合的な時間とメモリの複雑さで,最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2021-04-19T12:26:26Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• Gaussian Process Regression with Local Explanation [28.90948136731314]
  本稿では,各サンプルの予測に寄与する特徴を明らかにするため,局所的な説明を伴うGPRを提案する。 提案モデルでは,各サンプルの予測と説明を,容易に解釈可能な局所線形モデルを用いて行う。 新しい試験サンプルでは, 対象変数と重みベクトルの値と不確かさを予測できる。
  論文  参考訳（メタデータ） (2020-07-03T13:22:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。