論文の概要: On diffusion models for amortized inference: Benchmarking and improving
stochastic control and sampling
- arxiv url: http://arxiv.org/abs/2402.05098v2
- Date: Tue, 13 Feb 2024 16:32:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-14 18:04:50.635080
- Title: On diffusion models for amortized inference: Benchmarking and improving
stochastic control and sampling
- Title(参考訳): 償却推論の拡散モデルについて:確率制御とサンプリングのベンチマークと改善
- Authors: Marcin Sendera, Minsu Kim, Sarthak Mittal, Pablo Lemos, Luca Scimeca,
Jarrid Rector-Brooks, Alexandre Adam, Yoshua Bengio, Nikolay Malkin
- Abstract要約: 本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。
シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。
我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
- 参考スコア(独自算出の注目度): 96.7808454149545
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the problem of training diffusion models to sample from a
distribution with a given unnormalized density or energy function. We benchmark
several diffusion-structured inference methods, including simulation-based
variational approaches and off-policy methods (continuous generative flow
networks). Our results shed light on the relative advantages of existing
algorithms while bringing into question some claims from past work. We also
propose a novel exploration strategy for off-policy methods, based on local
search in the target space with the use of a replay buffer, and show that it
improves the quality of samples on a variety of target distributions. Our code
for the sampling methods and benchmarks studied is made public at
https://github.com/GFNOrg/gfn-diffusion as a base for future work on diffusion
models for amortized inference.
- Abstract(参考訳): 与えられた非正規化密度やエネルギー関数を持つ分布からサンプルへの拡散モデルをトレーニングする問題について検討する。
シミュレーションに基づく変分法や非政治的手法(連続生成フローネットワーク)など,拡散構造推論手法のベンチマークを行った。
我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
また,リプレイバッファを用いて,ターゲット空間における局所探索に基づくオフポリシー法の新しい探索戦略を提案し,様々なターゲット分布におけるサンプルの質を向上させることを示す。
調査したサンプリングメソッドとベンチマークのコードは、https://github.com/gfnorg/gfn-diffusionで公開されています。
関連論文リスト
- Enhancing Score-Based Sampling Methods with Ensembles [0.0]
生成拡散モデルと以前に導入されたF"ollmer sampler"との関係を強調する。
我々は,低次元から中次元のサンプリング問題を含む様々な例を通して,アンサンブル戦略の有効性を実証する。
本研究は,勾配が不可能な状況において,複雑な確率分布をモデル化するためのアンサンブル戦略の可能性を明らかにするものである。
論文 参考訳(メタデータ) (2024-01-31T01:51:29Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳(メタデータ) (2024-01-29T02:08:40Z) - Observation-Guided Diffusion Probabilistic Models [45.60819186624553]
観測誘導拡散確率モデル(OGDM)と呼ばれる新しい拡散モデルを提案する。
本手法は,観測プロセスの指導をマルコフ連鎖と統合することにより,トレーニング目標を再構築する。
本研究では,強い拡散モデルベースラインに対する多種多様な推論手法を用いた学習アルゴリズムの有効性を示す。
論文 参考訳(メタデータ) (2023-10-06T06:29:06Z) - Score-based Source Separation with Applications to Digital Communication
Signals [72.6570125649502]
拡散モデルを用いた重畳音源の分離手法を提案する。
高周波(RF)システムへの応用によって、我々は、基礎となる離散的な性質を持つ情報源に興味を持っている。
提案手法は,最近提案されたスコア蒸留サンプリング方式のマルチソース拡張と見なすことができる。
論文 参考訳(メタデータ) (2023-06-26T04:12:40Z) - A Geometric Perspective on Diffusion Models [60.69328526215776]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングを検証し,そのサンプリングダイナミクスの興味深い構造を明らかにした。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳(メタデータ) (2023-05-31T15:33:16Z) - CamoDiffusion: Camouflaged Object Detection via Conditional Diffusion
Models [72.93652777646233]
カモフラーゲ型物体検出(COD)は、カモフラーゲ型物体とその周囲の類似性が高いため、コンピュータビジョンにおいて難しい課題である。
本研究では,CODを拡散モデルを利用した条件付きマスク生成タスクとして扱う新しいパラダイムを提案する。
カモ拡散(CamoDiffusion)と呼ばれる本手法では,拡散モデルのデノナイズプロセスを用いてマスクの雑音を反復的に低減する。
論文 参考訳(メタデータ) (2023-05-29T07:49:44Z) - Towards Controllable Diffusion Models via Reward-Guided Exploration [15.857464051475294]
強化学習(RL)による拡散モデルの学習段階を導く新しい枠組みを提案する。
RLは、政策そのものではなく、指数スケールの報酬に比例したペイオフ分布からのサンプルによる政策勾配を計算することができる。
3次元形状と分子生成タスクの実験は、既存の条件拡散モデルよりも大幅に改善されている。
論文 参考訳(メタデータ) (2023-04-14T13:51:26Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳(メタデータ) (2023-04-10T17:54:38Z) - Fast Inference in Denoising Diffusion Models via MMD Finetuning [23.779985842891705]
拡散モデルの高速サンプリング法であるMDD-DDMを提案する。
我々のアプローチは、学習した分布を所定の予算のタイムステップで微調整するために、最大平均離散性(MMD)を使用するという考え方に基づいている。
提案手法は,広範に普及した拡散モデルで要求されるわずかな時間で高品質なサンプルを生成できることが示唆された。
論文 参考訳(メタデータ) (2023-01-19T09:48:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。