論文の概要: Transport meets Variational Inference: Controlled Monte Carlo Diffusions
- arxiv url: http://arxiv.org/abs/2307.01050v9
- Date: Wed, 3 Jul 2024 23:25:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-09 01:11:44.809158
- Title: Transport meets Variational Inference: Controlled Monte Carlo Diffusions
- Title（参考訳）: 輸送は変分推論に合致する:制御モンテカルロ拡散
- Authors: Francisco Vargas, Shreyas Padhy, Denis Blessing, Nikolas Nüsken,
- Abstract要約: 本稿では,経路空間上の発散に着目したサンプリングおよび生成モデリングのための原理的かつ体系的な枠組みを提案する。
ベイズ計算のためのemphControlled Monte Carlo Diffusion sampler (CMCD)を開発した。
- 参考スコア（独自算出の注目度）: 5.5654189024307685
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Connecting optimal transport and variational inference, we present a principled and systematic framework for sampling and generative modelling centred around divergences on path space. Our work culminates in the development of the \emph{Controlled Monte Carlo Diffusion} sampler (CMCD) for Bayesian computation, a score-based annealing technique that crucially adapts both forward and backward dynamics in a diffusion model. On the way, we clarify the relationship between the EM-algorithm and iterative proportional fitting (IPF) for Schr{\"o}dinger bridges, deriving as well a regularised objective that bypasses the iterative bottleneck of standard IPF-updates. Finally, we show that CMCD has a strong foundation in the Jarzinsky and Crooks identities from statistical physics, and that it convincingly outperforms competing approaches across a wide array of experiments.
- Abstract（参考訳）: 最適輸送と変分推論を結びつけることにより,経路空間上の発散を中心とした標本化および生成モデル作成のための,原理的かつ体系的な枠組みを提示する。
本研究は, 拡散モデルにおいて, 前方および後方の両方に重要な適応を行うスコアベースアニーリング技術であるベイズ計算のための<emph{Controlled Monte Carlo Diffusion} sampler (CMCD) の開発において, 本研究の成果である。
そこで本研究では,Shr{\"o}dingerブリッジのEM-algorithmと反復比例フィッティング(IPF)の関係を明らかにするとともに,標準IPF更新の反復的ボトルネックを回避した正規化目的を導出する。
最後に,CMCDは統計物理学からJarzinskyとCrooksのアイデンティティに強い基盤を持ち,様々な実験において競合するアプローチよりも優れていることを示す。
関連論文リスト
- Variational Schrödinger Diffusion Models [14.480273869571468]
Schr"odinger Bridge (SB) は拡散モデルにおける輸送計画の最適化手法として登場した。
我々は変分推論を利用してSBの前方スコア関数(変分スコア)を線形化する。
本稿では,多変量拡散過程と変分スコアを適応的に最適化して効率的な輸送を行う,変分Schr"odinger拡散モデル(VSDM)を提案する。
論文 参考訳（メタデータ） (2024-05-08T04:01:40Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳（メタデータ） (2024-01-29T02:08:40Z) - Systematic compactification of the (multi) two-channel Kondo model. III.
Extended field-theoretic renormalization group analysis [68.8204255655161]
複数チャネルの近藤モデルとそのコンパクト化バージョンについて,詳細な流れを計算した。
我々は、一貫したボゾン化-デボゾン化形式と従来のボゾン化-デボゾン化形式との相違について洞察を得る。
論文 参考訳（メタデータ） (2023-08-07T14:07:21Z) - A Geometric Perspective on Diffusion Models [60.69328526215776]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングを検証し,そのサンプリングダイナミクスの興味深い構造を明らかにした。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳（メタデータ） (2023-05-31T15:33:16Z) - Efficient Training of Energy-Based Models Using Jarzynski Equality [13.636994997309307]
エネルギーベースモデル(英: Energy-based model、EBM)は、統計物理学にインスパイアされた生成モデルである。
モデルパラメータに対する勾配の計算には、モデルの分布をサンプリングする必要がある。
ここでは、ジャジンスキーの等式に基づく非平衡熱力学の結果を用いて、この計算を効率的に行う方法を示す。
論文 参考訳（メタデータ） (2023-05-30T21:07:52Z) - An optimal control perspective on diffusion-based generative modeling [9.806130366152194]
微分方程式(SDE)に基づく最適制御と生成モデルとの接続を確立する。
特にハミルトン・ヤコビ・ベルマン方程式を導出し、基礎となるSDE限界の対数密度の進化を制御している。
非正規化密度から抽出する新しい拡散法を開発した。
論文 参考訳（メタデータ） (2022-11-02T17:59:09Z) - Manifold Interpolating Optimal-Transport Flows for Trajectory Inference [64.94020639760026]
最適輸送流(MIOFlow)を補間するマニフォールド補間法を提案する。
MIOFlowは、散発的なタイムポイントで撮影された静的スナップショットサンプルから、連続的な人口動態を学習する。
本手法は, 胚体分化および急性骨髄性白血病の治療から得られたscRNA-seqデータとともに, 分岐とマージによるシミュレーションデータについて検討した。
論文 参考訳（メタデータ） (2022-06-29T22:19:03Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳（メタデータ） (2022-02-23T06:11:49Z) - Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。
本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。
本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
論文 参考訳（メタデータ） (2021-02-04T02:21:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。