論文の概要: Metropolis Sampling for Constrained Diffusion Models
- arxiv url: http://arxiv.org/abs/2307.05439v1
- Date: Tue, 11 Jul 2023 17:05:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-12 13:55:36.705945
- Title: Metropolis Sampling for Constrained Diffusion Models
- Title(参考訳): 制限拡散モデルのためのメトロポリスサンプリング
- Authors: Nic Fishman, Leo Klarner, Emile Mathieu, Michael Hutchinson, Valentin
de Bortoli
- Abstract要約: 拡散モデルの認知化は、最近、生成的モデリングの主要なパラダイムとして現れている。
本稿では,Metropolisサンプリングをベースとした,計算効率と経験的性能の大幅な向上を図った,簡易な表記法を提案する。
- 参考スコア(独自算出の注目度): 9.615893905985379
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Denoising diffusion models have recently emerged as the predominant paradigm
for generative modelling. Their extension to Riemannian manifolds has
facilitated their application to an array of problems in the natural sciences.
Yet, in many practical settings, such manifolds are defined by a set of
constraints and are not covered by the existing (Riemannian) diffusion model
methodology. Recent work has attempted to address this issue by employing novel
noising processes based on logarithmic barrier methods or reflected Brownian
motions. However, the associated samplers are computationally burdensome as the
complexity of the constraints increases. In this paper, we introduce an
alternative simple noising scheme based on Metropolis sampling that affords
substantial gains in computational efficiency and empirical performance
compared to the earlier samplers. Of independent interest, we prove that this
new process corresponds to a valid discretisation of the reflected Brownian
motion. We demonstrate the scalability and flexibility of our approach on a
range of problem settings with convex and non-convex constraints, including
applications from geospatial modelling, robotics and protein design.
- Abstract(参考訳): 拡散モデルは、最近、生成的モデリングの主要なパラダイムとして現れている。
リーマン多様体へのそれらの拡張は、自然科学における一連の問題への応用を促進した。
しかし、多くの実践的な設定において、そのような多様体は制約の集合によって定義され、既存の(リーマン)拡散モデル方法論ではカバーされない。
最近の研究は、対数障壁法や反射ブラウン運動に基づく新しいノーミングプロセスを用いることでこの問題に対処しようと試みている。
しかし、制約の複雑さが増大するにつれて、関連するサンプルは計算的に重荷となる。
本稿では,メトロポリスのサンプリングをベースとした,従来のサンプリング手法と比較して計算効率と経験的性能を大幅に向上させる手法を提案する。
独立利害関係において、この新しい過程は反射ブラウン運動の正当な離散化に対応することが証明される。
我々は,空間モデリング,ロボット工学,タンパク質設計などの応用を含む,凸制約や非凸制約を伴う様々な問題設定に対するアプローチのスケーラビリティと柔軟性を実証する。
関連論文リスト
- On diffusion models for amortized inference: Benchmarking and improving
stochastic control and sampling [96.7808454149545]
本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。
シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。
我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
論文 参考訳(メタデータ) (2024-02-07T18:51:49Z) - Projected Generative Diffusion Models for Constraint Satisfaction [51.957984732779245]
生成拡散モデルは、逐次過程を通じて生ノイズからコヒーレントな内容の合成に優れる。
本稿では,従来の拡散サンプリングを制約最適化経路に再キャストすることで,これらの課題を克服することを目的とする。
論文 参考訳(メタデータ) (2024-02-05T22:18:16Z) - Reflected Schr\"odinger Bridge for Constrained Generative Modeling [16.72888494254555]
反射拡散モデルは、現実の応用における大規模生成モデルのゴートメソッドとなっている。
本稿では,様々な領域内でデータを生成するために最適化されたエントロピー規則化された最適輸送手法であるReflectioned Schrodinger Bridgeアルゴリズムを紹介する。
提案アルゴリズムは,多様な領域におけるロバストな生成モデリングを実現し,そのスケーラビリティは,標準画像ベンチマークによる実世界の制約付き生成モデリングにおいて実証される。
論文 参考訳(メタデータ) (2024-01-06T14:39:58Z) - Generative Modeling on Manifolds Through Mixture of Riemannian Diffusion
Processes [67.80645464187688]
多様体上に生成過程を構築するための原理的枠組みを導入する。
混合プロセスは、最も可能性の高いエンドポイントに向かって漂流誘導することを特徴とする。
混合過程を学習するための簡易かつ効率的な学習目標を提案する。
論文 参考訳(メタデータ) (2023-10-11T06:04:40Z) - Multi-Response Heteroscedastic Gaussian Process Models and Their
Inference [1.52292571922932]
本稿ではヘテロセダスティック共分散関数のモデリングのための新しいフレームワークを提案する。
後部モデルに近似し, 後部予測モデルを容易にするために, 変分推論を用いる。
提案するフレームワークは,幅広いアプリケーションに対して,堅牢で汎用的なツールを提供する。
論文 参考訳(メタデータ) (2023-08-29T15:06:47Z) - Geometric Neural Diffusion Processes [55.891428654434634]
拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。
これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
論文 参考訳(メタデータ) (2023-07-11T16:51:38Z) - A Variational Perspective on Solving Inverse Problems with Diffusion
Models [101.831766524264]
逆タスクは、データ上の後続分布を推測するものとして定式化することができる。
しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。
そこで我々は,真の後続分布を近似する設計手法を提案する。
論文 参考訳(メタデータ) (2023-05-07T23:00:47Z) - Diffusion Models for Constrained Domains [11.488860260925504]
我々は, (i) 対数障壁距離と (ii) 制約によって誘導されるブラウン運動に基づく2つの異なる雑音化過程を示す。
次に、ロボット工学やタンパク質設計の応用を含む、多くの合成および実世界のタスクにおいて、我々の手法の実用性を実証する。
論文 参考訳(メタデータ) (2023-04-11T17:19:45Z) - Riemannian Diffusion Models [11.306081315276089]
拡散モデルは画像生成と推定のための最新の最先端手法である。
本研究では、連続時間拡散モデルを任意のリーマン多様体に一般化する。
提案手法は,全てのベンチマークにおいて新しい最先端の可能性を実現する。
論文 参考訳(メタデータ) (2022-08-16T21:18:31Z) - Riemannian Score-Based Generative Modeling [56.20669989459281]
経験的性能を示すスコアベース生成モデル(SGM)を紹介する。
現在のSGMは、そのデータが平坦な幾何学を持つユークリッド多様体上で支えられているという前提を定めている。
これにより、ロボット工学、地球科学、タンパク質モデリングの応用にこれらのモデルを使用することができない。
論文 参考訳(メタデータ) (2022-02-06T11:57:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。