論文の概要: HJ-sampler: A Bayesian sampler for inverse problems of a stochastic process by leveraging Hamilton-Jacobi PDEs and score-based generative models
- arxiv url: http://arxiv.org/abs/2409.09614v2
- Date: Tue, 8 Oct 2024 20:50:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 20:46:36.501477
- Title: HJ-sampler: A Bayesian sampler for inverse problems of a stochastic process by leveraging Hamilton-Jacobi PDEs and score-based generative models
- Title（参考訳）: HJ-サンプラー:ハミルトン・ヤコビPDEとスコアベース生成モデルを利用した確率過程の逆問題に対するベイズサンプル
- Authors: Tingwei Meng, Zongren Zou, Jérôme Darbon, George Em Karniadakis,
- Abstract要約: 本稿では,ブラウン運動文脈におけるコールホップ変換(Cole-Hopf transform)と呼ばれるログ変換に基づく。
本稿では,HJ-sampler という新しいアルゴリズムを開発し,与えられた終端観測による微分方程式の逆問題に対する推論を行う。
- 参考スコア（独自算出の注目度）: 1.949927790632678
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The interplay between stochastic processes and optimal control has been extensively explored in the literature. With the recent surge in the use of diffusion models, stochastic processes have increasingly been applied to sample generation. This paper builds on the log transform, known as the Cole-Hopf transform in Brownian motion contexts, and extends it within a more abstract framework that includes a linear operator. Within this framework, we found that the well-known relationship between the Cole-Hopf transform and optimal transport is a particular instance where the linear operator acts as the infinitesimal generator of a stochastic process. We also introduce a novel scenario where the linear operator is the adjoint of the generator, linking to Bayesian inference under specific initial and terminal conditions. Leveraging this theoretical foundation, we develop a new algorithm, named the HJ-sampler, for Bayesian inference for the inverse problem of a stochastic differential equation with given terminal observations. The HJ-sampler involves two stages: (1) solving the viscous Hamilton-Jacobi partial differential equations, and (2) sampling from the associated stochastic optimal control problem. Our proposed algorithm naturally allows for flexibility in selecting the numerical solver for viscous HJ PDEs. We introduce two variants of the solver: the Riccati-HJ-sampler, based on the Riccati method, and the SGM-HJ-sampler, which utilizes diffusion models. We demonstrate the effectiveness and flexibility of the proposed methods by applying them to solve Bayesian inverse problems involving various stochastic processes and prior distributions, including applications that address model misspecifications and quantifying model uncertainty.
- Abstract（参考訳）: 確率過程と最適制御の相互作用は、文献で広く研究されている。
近年の拡散モデルの使用の増加に伴い、確率過程はサンプル生成にますます適用されるようになった。
本稿では、ブラウン運動文脈におけるコールホップ変換(Cole-Hopf transform)と呼ばれるログ変換に基づいており、線形作用素を含むより抽象的なフレームワークで拡張する。
この枠組みの中で、コールホップ変換と最適輸送の間のよく知られた関係は、線形作用素が確率過程の無限小生成として作用する特別な例であることが判明した。
また、線形作用素が生成子の随伴であり、特定の初期および終端条件下でのベイズ推論にリンクする新しいシナリオを導入する。
この理論の基礎を生かして、与えられた終端観測を伴う確率微分方程式の逆問題に対するベイズ推定のためのHJ-サンプラーと呼ばれる新しいアルゴリズムを開発した。
HJ-サンプラーは、(1)粘性ハミルトン-ヤコビ偏微分方程式の解法と(2)関連する確率的最適制御問題からのサンプリングの2段階を含む。
提案アルゴリズムは, 粘性HJ PDEの数値解法を選択する際の柔軟性を自然に実現している。
本稿では,Ricati法に基づくRicati-HJ-samplerと拡散モデルを用いたSGM-HJ-samplerの2種類を紹介する。
提案手法の有効性と柔軟性を,様々な確率過程と先行分布を含むベイズ逆問題の解法に適用し,モデルの誤特定に対処し,モデルの不確かさを定量化するアプリケーションを含む,提案手法の有効性と柔軟性を実証する。
関連論文リスト
- A Stein Gradient Descent Approach for Doubly Intractable Distributions [5.63014864822787]
そこで本研究では,2重に抽出可能な分布を推定するために,モンテカルロ・スタイン変分勾配勾配(MC-SVGD)法を提案する。
提案手法は,後続分布に匹敵する推論性能を提供しながら,既存のアルゴリズムよりもかなりの計算ゲインを達成する。
論文 参考訳（メタデータ） (2024-10-28T13:42:27Z) - Unified Convergence Analysis for Score-Based Diffusion Models with Deterministic Samplers [49.1574468325115]
決定論的サンプリングのための統合収束分析フレームワークを提案する。
我々のフレームワークは$tilde O(d2/epsilon)$の反復複雑性を実現する。
また,Denoising Implicit Diffusion Models (DDIM) タイプのサンプルについて詳細な分析を行った。
論文 参考訳（メタデータ） (2024-10-18T07:37:36Z) - Stochastic Sampling from Deterministic Flow Models [8.849981177332594]
そこで本論文では,フローモデルを同じ境界分布を持つ微分方程式の族(SDE)に変換する手法を提案する。
我々は,おもちゃのガウスセットアップと大規模イメージネット生成タスクにおいて,提案手法の利点を実証的に実証した。
論文 参考訳（メタデータ） (2024-10-03T05:18:28Z) - Harmonic Path Integral Diffusion [0.4527270266697462]
本稿では,連続多変量確率分布から抽出する新しい手法を提案する。
本手法では,状態空間の起点を中心とするデルタ関数を$t=0$とし,ターゲット分布に$t=1$で変換する。
これらのアルゴリズムは他のサンプリング手法、特にシミュレートおよびパス積分サンプリングと対比し、解析制御、精度、計算効率の点でそれらの利点を強調した。
論文 参考訳（メタデータ） (2024-09-23T16:20:21Z) - Total Uncertainty Quantification in Inverse PDE Solutions Obtained with Reduced-Order Deep Learning Surrogate Models [50.90868087591973]
機械学習サロゲートモデルを用いて得られた逆PDE解の総不確かさを近似したベイズ近似法を提案する。
非線型拡散方程式に対する反復的アンサンブルスムーズおよび深層アンサンブル法との比較により,提案手法を検証した。
論文 参考訳（メタデータ） (2024-08-20T19:06:02Z) - Weak Generative Sampler to Efficiently Sample Invariant Distribution of Stochastic Differential Equation [8.67581853745823]
現在のディープラーニングに基づく手法は、定常フォッカー-プランク方程式を解き、ディープニューラルネットワークの形で不変確率密度関数を決定する。
本稿では, 弱い生成サンプル(WGS)を用いて, 独立かつ同一に分布したサンプルを直接生成するフレームワークを提案する。
提案した損失関数はFokker-Planck方程式の弱い形式に基づいており、正規化フローを統合して不変分布を特徴づける。
論文 参考訳（メタデータ） (2024-05-29T16:41:42Z) - Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。
画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
論文 参考訳（メタデータ） (2023-11-02T02:05:38Z) - Heterogeneous Multi-Task Gaussian Cox Processes [61.67344039414193]
異種相関タスクを共同でモデル化するためのマルチタスクガウスコックスプロセスの新たな拡張を提案する。
MOGPは、分類、回帰、ポイントプロセスタスクの専用可能性のパラメータに先行して、異種タスク間の情報の共有を容易にする。
モデルパラメータを推定するための閉形式反復更新を実現する平均場近似を導出する。
論文 参考訳（メタデータ） (2023-08-29T15:01:01Z) - A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳（メタデータ） (2023-05-31T15:33:16Z) - Plug-and-Play split Gibbs sampler: embedding deep generative priors in
Bayesian inference [12.91637880428221]
本稿では, 後方分布から効率的にサンプリングするために, 可変分割を利用したプラグアンドプレイサンプリングアルゴリズムを提案する。
後方サンプリングの課題を2つの単純なサンプリング問題に分割する。
その性能は最近の最先端の最適化とサンプリング手法と比較される。
論文 参考訳（メタデータ） (2023-04-21T17:17:51Z) - Restoration-Degradation Beyond Linear Diffusions: A Non-Asymptotic
Analysis For DDIM-Type Samplers [90.45898746733397]
本研究では拡散生成モデルに用いる決定論的サンプリング器の非漸近解析のためのフレームワークを開発する。
確率フローODEに沿った1ステップは,1) 条件付き対数線上を無限に先行して上昇する回復ステップ,2) 雑音を現在の勾配に向けて前向きに進行する劣化ステップの2段階で表すことができる。
論文 参考訳（メタデータ） (2023-03-06T18:59:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。