論文の概要: Score-based Generative Modeling in Latent Space
- arxiv url: http://arxiv.org/abs/2106.05931v1
- Date: Thu, 10 Jun 2021 17:26:35 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-11 14:34:02.277127
- Title: Score-based Generative Modeling in Latent Space
- Title（参考訳）: 潜在空間におけるスコアベース生成モデル
- Authors: Arash Vahdat, Karsten Kreis, Jan Kautz
- Abstract要約: スコアベース生成モデル(SGM)は,最近,サンプル品質と分布範囲の両面で顕著な結果を示した。
本稿では,Latent Score-based Generative Model (LSGM)を提案する。
データから潜在空間への移動により、より表現力のある生成モデルをトレーニングし、非連続データにSGMを適用し、よりスムーズなSGMをより小さな空間で学習することができる。
- 参考スコア（独自算出の注目度）: 93.8985523558869
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Score-based generative models (SGMs) have recently demonstrated impressive
results in terms of both sample quality and distribution coverage. However,
they are usually applied directly in data space and often require thousands of
network evaluations for sampling. Here, we propose the Latent Score-based
Generative Model (LSGM), a novel approach that trains SGMs in a latent space,
relying on the variational autoencoder framework. Moving from data to latent
space allows us to train more expressive generative models, apply SGMs to
non-continuous data, and learn smoother SGMs in a smaller space, resulting in
fewer network evaluations and faster sampling. To enable training LSGMs
end-to-end in a scalable and stable manner, we (i) introduce a new
score-matching objective suitable to the LSGM setting, (ii) propose a novel
parameterization of the score function that allows SGM to focus on the mismatch
of the target distribution with respect to a simple Normal one, and (iii)
analytically derive multiple techniques for variance reduction of the training
objective. LSGM obtains a state-of-the-art FID score of 2.10 on CIFAR-10,
outperforming all existing generative results on this dataset. On
CelebA-HQ-256, LSGM is on a par with previous SGMs in sample quality while
outperforming them in sampling time by two orders of magnitude. In modeling
binary images, LSGM achieves state-of-the-art likelihood on the binarized
OMNIGLOT dataset.
- Abstract（参考訳）: スコアベース生成モデル(SGM)は,最近,サンプル品質と分布範囲の両面で顕著な結果を示した。
しかし、通常はデータ空間に直接適用され、サンプリングには数千のネットワーク評価が必要となる。
本稿では,可変オートエンコーダフレームワークに依拠して,潜在空間でsgmを訓練する新しい手法である潜在スコア型生成モデル(lsgm)を提案する。
データから潜在空間への移動により、より表現力のある生成モデルをトレーニングし、非連続データにSGMを適用し、よりスムーズなSGMをより小さな空間で学習し、ネットワーク評価を減らし、より高速なサンプリングを行うことができる。
LSGMのエンド・ツー・エンドをスケーラブルで安定した方法でトレーニングできるようにするため、(i)LSGM設定に適した新たなスコアマッチング目標を導入し、(ii)SGMが目標分布のミスマッチに集中できるようにスコア関数のパラメータ化を提案し、(iii)訓練対象の分散低減のための複数のテクニックを解析的に導出する。
LSGMはCIFAR-10で2.10の最先端のFIDスコアを取得し、このデータセットで既存のすべての生成結果を上回っている。
CelebA-HQ-256では、LSGMはサンプル品質の以前のSGMと同等であり、サンプリング時間では2桁の精度で性能を向上している。
二項画像のモデリングにおいて、LSGMは二項化OMNIGLOTデータセット上で最先端の可能性を達成する。
関連論文リスト
- Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。
従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。
これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
論文 参考訳（メタデータ） (2024-07-16T06:38:49Z) - sc-OTGM: Single-Cell Perturbation Modeling by Solving Optimal Mass Transport on the Manifold of Gaussian Mixtures [0.9674145073701153]
sc-OTGMは、scRNAseqデータが生成される誘導バイアスに基づく教師なしモデルである。
sc-OTGMは細胞状態の分類、異なる遺伝子発現の解析、標的同定のための遺伝子ランキングに有効である。
また、下流遺伝子制御に対する単一遺伝子の摂動の影響を予測し、特定の細胞状態に条件付けられた合成scRNA-seqデータを生成する。
論文 参考訳（メタデータ） (2024-05-06T06:46:11Z) - A Good Score Does not Lead to A Good Generative Model [14.752242187781107]
スコアベース生成モデル(SGM)は、生成モデリングにおける主要な手法の一つである。
基礎となるスコア関数が十分に学習された場合,SGMは基底構造に近い分布からサンプルを生成することができることを示す。
論文 参考訳（メタデータ） (2024-01-10T00:17:36Z) - Wasserstein Convergence Guarantees for a General Class of Score-Based
Generative Models [9.47767039367222]
スコアベース生成モデル(SGMs)は、多くの応用において最先端の性能を持つ、近年の深層生成モデルである。
2-ワッサーシュタイン距離におけるSGMの一般クラスに対する収束保証を確立し、正確なスコア推定と円滑な対数凹データ分布を仮定する。
本稿では,CIFAR-10上での非条件画像生成のために,異なる前方プロセスを用いたSGM実験を行った。
論文 参考訳（メタデータ） (2023-11-18T07:53:22Z) - LD-GAN: Low-Dimensional Generative Adversarial Network for Spectral
Image Generation with Variance Regularization [72.4394510913927]
ディープラーニング法はスペクトル画像(SI)計算タスクの最先端技術である。
GANは、データ分散から学習およびサンプリングすることで、多様な拡張を可能にする。
この種のデータの高次元性は、GANトレーニングの収束を妨げるため、GANベースのSI生成は困難である。
本稿では, オートエンコーダ訓練における低次元表現分散を制御し, GANで生成されたサンプルの多様性を高めるための統計正則化を提案する。
論文 参考訳（メタデータ） (2023-04-29T00:25:02Z) - A Complete Recipe for Diffusion Generative Models [18.891215475887314]
生成モデル(SGM)における前進過程の定式化のための完全なレシピを提案する。
補助変数に富んだ拡張空間内のスコアベースモデリングに依存する位相空間ランゲヴィン拡散(PSLD)を導入する。
論文 参考訳（メタデータ） (2023-03-03T07:20:58Z) - Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。
本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
論文 参考訳（メタデータ） (2022-08-28T17:50:19Z) - Towards Automated Imbalanced Learning with Deep Hierarchical
Reinforcement Learning [57.163525407022966]
不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。
オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。
我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
論文 参考訳（メタデータ） (2022-08-26T04:28:01Z) - Score-Based Generative Modeling with Critically-Damped Langevin
Diffusion [18.82116696636531]
現在のスコアベース生成モデル(SGM)は、データを徐々にトラクタブルな分布へとゆがめる拡散過程に依存している。
我々は、現在のSGMが過度に単純化された拡散を導入し、不要に複雑な分極過程をもたらすことを論じる。
そこで我々は,CLDに基づくSGMが優れた性能を発揮することを示すために,CLD(Critical-damped Langevin diffusion)を提案する。
論文 参考訳（メタデータ） (2021-12-14T00:01:34Z) - Continual Learning with Fully Probabilistic Models [70.3497683558609]
機械学習の完全確率的(または生成的)モデルに基づく継続的学習のアプローチを提案する。
生成器と分類器の両方に対してガウス混合モデル(GMM)インスタンスを用いた擬似リハーサル手法を提案する。
我々は,GMRが,クラス増分学習問題に対して,非常に競合的な時間とメモリの複雑さで,最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2021-04-19T12:26:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。