論文の概要: A Good Score Does not Lead to A Good Generative Model

• arxiv url: http://arxiv.org/abs/2401.04856v1
• Date: Wed, 10 Jan 2024 00:17:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-11 15:55:42.568630
• Title: A Good Score Does not Lead to A Good Generative Model
• Title（参考訳）: 良いスコアは良い生成モデルにつながりません
• Authors: Sixu Li, Shi Chen, Qin Li
• Abstract要約: スコアベース生成モデル(SGM)は、生成モデリングにおける主要な手法の一つである。 基礎となるスコア関数が十分に学習された場合,SGMは基底構造に近い分布からサンプルを生成することができることを示す。
• 参考スコア（独自算出の注目度）: 14.752242187781107
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Score-based Generative Models (SGMs) is one leading method in generative modeling, renowned for their ability to generate high-quality samples from complex, high-dimensional data distributions. The method enjoys empirical success and is supported by rigorous theoretical convergence properties. In particular, it has been shown that SGMs can generate samples from a distribution that is close to the ground-truth if the underlying score function is learned well, suggesting the success of SGM as a generative model. We provide a counter-example in this paper. Through the sample complexity argument, we provide one specific setting where the score function is learned well. Yet, SGMs in this setting can only output samples that are Gaussian blurring of training data points, mimicking the effects of kernel density estimation. The finding resonates a series of recent finding that reveal that SGMs can demonstrate strong memorization effect and fail to generate.
• Abstract（参考訳）: スコアベース生成モデル(sgms)は、複雑で高次元のデータ分布から高品質なサンプルを生成する能力で有名である。 この手法は経験的成功を享受し、厳密な理論収束特性によって支持されている。 特に,sgmが基底スコア関数をよく学習すれば,接地部に近い分布からサンプルを生成できることが示されており,sgmが生成モデルとしての成功を示唆している。 本論文では反例を挙げる。 サンプル複雑性の議論を通じて、スコア関数をうまく学習する特定の設定を提供する。 しかし、この設定のSGMは、カーネル密度推定の効果を模倣して、訓練データポイントのガウス的ぼかしであるサンプルしか出力できない。 この発見は、sgmが強い記憶効果を示し、生成しないことを示す一連の最近の発見を共鳴させる。

関連論文リスト

• Wasserstein Convergence Guarantees for a General Class of Score-Based Generative Models [9.47767039367222]
  スコアベース生成モデル(SGMs)は、多くの応用において最先端の性能を持つ、近年の深層生成モデルである。 2-ワッサーシュタイン距離におけるSGMの一般クラスに対する収束保証を確立し、正確なスコア推定と円滑な対数凹データ分布を仮定する。 本稿では,CIFAR-10上での非条件画像生成のために,異なる前方プロセスを用いたSGM実験を行った。
  論文  参考訳（メタデータ） (2023-11-18T07:53:22Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• Accurate generation of stochastic dynamics based on multi-model Generative Adversarial Networks [0.0]
  GAN(Generative Adversarial Networks)は、テキストや画像生成などの分野において大きな可能性を秘めている。 ここでは、格子上の原型過程に適用することにより、このアプローチを定量的に検証する。 重要なことに、ノイズにもかかわらずモデルの離散性は維持される。
  論文  参考訳（メタデータ） (2023-05-25T10:41:02Z)
• Convergence for score-based generative modeling with polynomial complexity [9.953088581242845]
  我々は、Scoreベースの生成モデルの背後にあるコアメカニックに対する最初の収束保証を証明した。 以前の作品と比較すると、時間的に指数関数的に増加するエラーや、次元の呪いに苦しむエラーは発生しない。 予測器・相関器はどちらの部分のみを使用するよりも収束性が高いことを示す。
  論文  参考訳（メタデータ） (2022-06-13T14:57:35Z)
• Score-Based Generative Models Detect Manifolds [0.0]
  スコアベース生成モデル(SGM)は、中間分布のスコア$nabla log p_t$と前処理の最終分布$p_T$を近似する必要がある。 SGMが基礎となる(低次元)データ多様体からサンプルを生成できる正確な条件を見つける。
  論文  参考訳（メタデータ） (2022-06-02T12:29:10Z)
• Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
  まず確率分布をモデル化し,そのモデルからサンプリングする。 これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
  論文  参考訳（メタデータ） (2021-10-20T12:25:22Z)
• Score-based Generative Modeling in Latent Space [93.8985523558869]
  スコアベース生成モデル(SGM)は,最近,サンプル品質と分布範囲の両面で顕著な結果を示した。 本稿では,Latent Score-based Generative Model (LSGM)を提案する。 データから潜在空間への移動により、より表現力のある生成モデルをトレーニングし、非連続データにSGMを適用し、よりスムーズなSGMをより小さな空間で学習することができる。
  論文  参考訳（メタデータ） (2021-06-10T17:26:35Z)
• Continual Learning with Fully Probabilistic Models [70.3497683558609]
  機械学習の完全確率的(または生成的)モデルに基づく継続的学習のアプローチを提案する。 生成器と分類器の両方に対してガウス混合モデル(GMM)インスタンスを用いた擬似リハーサル手法を提案する。 我々は,GMRが,クラス増分学習問題に対して,非常に競合的な時間とメモリの複雑さで,最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2021-04-19T12:26:26Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)
• Efficiently Sampling Functions from Gaussian Process Posteriors [76.94808614373609]
  高速後部サンプリングのための簡易かつ汎用的なアプローチを提案する。 分離されたサンプルパスがガウス過程の後部を通常のコストのごく一部で正確に表現する方法を実証する。
  論文  参考訳（メタデータ） (2020-02-21T14:03:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。