論文の概要: Stable generative modeling using diffusion maps
- arxiv url: http://arxiv.org/abs/2401.04372v1
- Date: Tue, 9 Jan 2024 06:15:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-10 16:41:22.954725
- Title: Stable generative modeling using diffusion maps
- Title(参考訳): 拡散写像を用いた安定生成モデリング
- Authors: Georg Gottwald, Fengyi Li, Youssef Marzouk, Sebastian Reich
- Abstract要約: 拡散写像とランゲヴィン力学を組み合わせた生成モデルを提案する。
拡散マップは、利用可能なトレーニングサンプルからのドリフト項を近似するために使用される。
トレーニングサンプルの凸部内に生成したサンプルが残ることを保証し, 新たな分割ステップ方式を導入する。
- 参考スコア(独自算出の注目度): 0.24578723416255752
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the problem of sampling from an unknown distribution for which
only a sufficiently large number of training samples are available. Such
settings have recently drawn considerable interest in the context of generative
modelling. In this paper, we propose a generative model combining diffusion
maps and Langevin dynamics. Diffusion maps are used to approximate the drift
term from the available training samples, which is then implemented in a
discrete-time Langevin sampler to generate new samples. By setting the kernel
bandwidth to match the time step size used in the unadjusted Langevin
algorithm, our method effectively circumvents any stability issues typically
associated with time-stepping stiff stochastic differential equations. More
precisely, we introduce a novel split-step scheme, ensuring that the generated
samples remain within the convex hull of the training samples. Our framework
can be naturally extended to generate conditional samples. We demonstrate the
performance of our proposed scheme through experiments on synthetic datasets
with increasing dimensions and on a stochastic subgrid-scale parametrization
conditional sampling problem.
- Abstract(参考訳): 十分な数のトレーニングサンプルしか入手できない未知の分布からのサンプリングの問題を考える。
このような設定は、最近生成モデリングの文脈にかなりの関心を寄せている。
本稿では,拡散写像とランゲヴィンダイナミクスを組み合わせた生成モデルを提案する。
拡散マップは、利用可能なトレーニングサンプルからドリフト項を近似するために使用され、新しいサンプルを生成するために離散時間ランゲヴィンサンプリング器で実装される。
カーネル帯域幅を未調整のランゲヴィンアルゴリズムで使用する時間ステップサイズに合わせることで、時間ステッピングの剛性確率微分方程式に典型的な安定性問題を効果的に回避する。
より正確には、新しい分割ステップスキームを導入し、生成されたサンプルがトレーニングサンプルの凸包内に留まることを保証する。
我々のフレームワークは自然に拡張して条件付きサンプルを生成することができる。
提案手法は,次元の増大を伴う合成データセットと,確率的サブグリッドスケールパラメトリゼーション条件付きサンプリング問題を用いて提案手法の性能を示す。
関連論文リスト
- Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [111.90150190668555]
反復Denoising Energy Matching (iDEM)
iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。
提案手法は,全測定値の最先端性能を達成し,2~5倍の速さでトレーニングを行う。
論文 参考訳(メタデータ) (2024-02-09T01:11:23Z) - Fast Sampling via De-randomization for Discrete Diffusion Models [52.554915711265856]
本稿では, 離散拡散モデルの高速化に繋がる非ランダム化拡散過程を提案する。
提案手法は, ニューラルネットワークに対する関数評価の回数を大幅に削減し, サンプリング処理を高速化する。
自然言語生成および機械翻訳タスクの実験は,本手法の優れた性能を示す。
論文 参考訳(メタデータ) (2023-12-14T18:14:11Z) - DiffuSeq-v2: Bridging Discrete and Continuous Text Spaces for
Accelerated Seq2Seq Diffusion Models [58.450152413700586]
ガウス空間に基づく離散突然変異を再構成する学習において拡散モデルを容易にする軟吸収状態を導入する。
我々は、サンプリングプロセスの高速化のために、連続空間内で最先端のODEソルバを用いている。
提案手法は, トレーニング収束率を4倍に向上させ, 類似品質のサンプルを800倍高速に生成する。
論文 参考訳(メタデータ) (2023-10-09T15:29:10Z) - Generative modeling for time series via Schr{\"o}dinger bridge [0.0]
本稿では,SB (Schr'dinger Bridge) に基づく時系列生成モデルを提案する。
これは、経路空間上の基準確率測度と、時系列の合同データ分布と整合した目標測度との間の最適輸送によるエントロピックから構成される。
論文 参考訳(メタデータ) (2023-04-11T09:45:06Z) - Denoising Diffusion Samplers [41.796349001299156]
拡散モデルの認知は、多くの領域で最先端の結果を提供する生成モデルの一般的なクラスである。
我々は、非正規化確率密度関数から大まかにサンプリングし、それらの正規化定数を推定する類似のアイデアを探求する。
この文脈ではスコアマッチングは適用できないが、モンテカルロサンプリングのために生成的モデリングで導入された多くのアイデアを利用することができる。
論文 参考訳(メタデータ) (2023-02-27T14:37:16Z) - Example-Based Sampling with Diffusion Models [7.943023838493658]
画像生成のための拡散モデルは、例から点集合を生成する方法を学ぶのに適している。
拡散モデルを用いて既存のサンプルを模した2次元点集合を観測点集合から生成する方法を提案する。
我々は、我々のアプローチの微分可能性を用いて、特性を強制する点集合を最適化する方法を実証する。
論文 参考訳(メタデータ) (2023-02-10T08:35:17Z) - Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。
シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。
本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
論文 参考訳(メタデータ) (2022-11-24T07:30:27Z) - Selectively increasing the diversity of GAN-generated samples [8.980453507536017]
本稿では,GAN生成サンプルの多様性を選択的に向上する手法を提案する。
本研究では,CERN における ALICE 実験のZero Degree Calorimeter から得られたデータをシミュレーションする実生活シナリオとともに,本手法の優位性を示す。
論文 参考訳(メタデータ) (2022-07-04T16:27:06Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳(メタデータ) (2021-10-20T12:25:22Z) - Autoregressive Denoising Diffusion Models for Multivariate Probabilistic
Time Series Forecasting [4.1573460459258245]
拡散確率モデル(拡散確率モデル)は、スコアマッチングやエネルギーベースの手法と密接に結びついている潜在変数モデルのクラスである。
我々のモデルは、データ可能性の変動境界を最適化して勾配を学習し、推論時にホワイトノイズを関心の分布のサンプルに変換する。
論文 参考訳(メタデータ) (2021-01-28T15:46:10Z) - Efficiently Sampling Functions from Gaussian Process Posteriors [76.94808614373609]
高速後部サンプリングのための簡易かつ汎用的なアプローチを提案する。
分離されたサンプルパスがガウス過程の後部を通常のコストのごく一部で正確に表現する方法を実証する。
論文 参考訳(メタデータ) (2020-02-21T14:03:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。