論文の概要: Improved sampling via learned diffusions
- arxiv url: http://arxiv.org/abs/2307.01198v1
- Date: Mon, 3 Jul 2023 17:58:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-05 12:02:29.280154
- Title: Improved sampling via learned diffusions
- Title(参考訳): 学習拡散によるサンプリングの改善
- Authors: Lorenz Richter, Julius Berner, Guan-Horng Liu
- Abstract要約: 近年,非正規化対象密度からの深層学習に基づくアプローチが提案されている。
本研究では,これらの手法をシュリンガー橋問題(Schr"odinger bridge problem)の特別な場合とみなす。
我々は、時間反転拡散過程の経路空間測度間のばらつきに基づく変分定式化を導入することにより、この枠組みを一般化する。
- 参考スコア(独自算出の注目度): 9.518010235273783
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, a series of papers proposed deep learning-based approaches to
sample from unnormalized target densities using controlled diffusion processes.
In this work, we identify these approaches as special cases of the
Schr\"odinger bridge problem, seeking the most likely stochastic evolution
between a given prior distribution and the specified target. We further
generalize this framework by introducing a variational formulation based on
divergences between path space measures of time-reversed diffusion processes.
This abstract perspective leads to practical losses that can be optimized by
gradient-based algorithms and includes previous objectives as special cases. At
the same time, it allows us to consider divergences other than the reverse
Kullback-Leibler divergence that is known to suffer from mode collapse. In
particular, we propose the so-called log-variance loss, which exhibits
favorable numerical properties and leads to significantly improved performance
across all considered approaches.
- Abstract(参考訳): 近年,制御拡散過程を用いた非正規化対象密度からの深層学習アプローチが提案されている。
そこで本研究では,これらの手法をSchr\"odinger bridge problemの特別な場合として,所定の事前分布と指定された対象との確率的発展を求める。
我々は、時間反転拡散過程の経路空間測度間のばらつきに基づく変分定式化を導入することにより、この枠組みをさらに一般化する。
この抽象的な視点は、勾配に基づくアルゴリズムによって最適化され、特別なケースとして以前の目的を含む実用的な損失をもたらす。
同時に、モード崩壊に苦しむことが知られている逆のkullback-leiblerダイバージェンス以外のダイバージェンスも検討できる。
特に,良質な数値特性を示し,すべての検討手法で性能が著しく向上するいわゆる対数分散損失を提案する。
関連論文リスト
- On diffusion models for amortized inference: Benchmarking and improving
stochastic control and sampling [96.7808454149545]
本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。
シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。
我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
論文 参考訳(メタデータ) (2024-02-07T18:51:49Z) - Improving Diffusion Models for Inverse Problems Using Optimal Posterior
Covariance [54.70569748637465]
最近の拡散モデルは、ノイズのある線形逆問題に対する有望なゼロショット解を提供する。
既存のゼロショット法に対する最初の統一的解釈を提案する。
近年の手法は, 等方性ガウス近似を導出可能な後部分布に置き換えることと等価であることを示す。
論文 参考訳(メタデータ) (2024-02-03T13:35:39Z) - Denoising Diffusion Variational Inference: Diffusion Models as
Expressive Variational Posteriors [12.380863420871071]
DDVIは、フレキシブルな変動後部として拡散モデルに依存する潜在変数モデルの近似推論アルゴリズムである。
DDVIは、ヒトゲノムから潜伏する祖先を推定する生物学のモチベーションタスクで使われており、数千のゲノムデータセットの強いベースラインを上回ります。
論文 参考訳(メタデータ) (2024-01-05T10:27:44Z) - Observation-Guided Diffusion Probabilistic Models [45.60819186624553]
観測誘導拡散確率モデル(OGDM)と呼ばれる新しい拡散モデルを提案する。
本手法は,観測プロセスの指導をマルコフ連鎖と統合することにより,トレーニング目標を再構築する。
本研究では,強い拡散モデルベースラインに対する多種多様な推論手法を用いた学習アルゴリズムの有効性を示す。
論文 参考訳(メタデータ) (2023-10-06T06:29:06Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳(メタデータ) (2023-06-27T08:15:28Z) - A Variational Perspective on Solving Inverse Problems with Diffusion
Models [101.831766524264]
逆タスクは、データ上の後続分布を推測するものとして定式化することができる。
しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。
そこで我々は,真の後続分布を近似する設計手法を提案する。
論文 参考訳(メタデータ) (2023-05-07T23:00:47Z) - Deep Injective Prior for Inverse Scattering [16.36016615416872]
電磁的逆散乱において、目的は散乱波を用いて物体の誘電率を再構成することである。
ディープラーニングはイテレーティブな問題解決の代替手段としての可能性を示してきた。
深部生成モデルに基づく逆散乱のためのデータ駆動型フレームワークを提案する。
論文 参考訳(メタデータ) (2023-01-08T19:05:51Z) - Improving Diffusion Models for Inverse Problems using Manifold
Constraints [35.50393732825064]
我々は,現在の解法がデータ多様体からサンプルパスを逸脱し,エラーが蓄積することを示す。
この問題に対処するため、多様体の制約に着想を得た追加の補正項を提案する。
本手法は理論上も経験上も従来の方法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-06-02T09:06:10Z) - Deblurring via Stochastic Refinement [85.42730934561101]
条件付き拡散モデルに基づくブラインドデブロアリングのための代替フレームワークを提案する。
提案手法は,PSNRなどの歪み指標の点で競合する。
論文 参考訳(メタデータ) (2021-12-05T04:36:09Z) - Moment-Based Variational Inference for Stochastic Differential Equations [31.494103873662343]
我々は,前処理の制御バージョンとして変分過程を構築する。
我々は、モーメント関数のセットによって後部を近似する。
モーメント閉包と組み合わせて、平滑化問題は決定論的最適制御問題に還元される。
論文 参考訳(メタデータ) (2021-03-01T13:20:38Z) - Pathwise Conditioning of Gaussian Processes [72.61885354624604]
ガウス過程後部をシミュレーションするための従来のアプローチでは、有限個の入力位置のプロセス値の限界分布からサンプルを抽出する。
この分布中心の特徴づけは、所望のランダムベクトルのサイズで3次スケールする生成戦略をもたらす。
条件付けのこのパスワイズ解釈が、ガウス過程の後部を効率的にサンプリングするのに役立てる近似の一般族をいかに生み出すかを示す。
論文 参考訳(メタデータ) (2020-11-08T17:09:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。