論文の概要: HJ-sampler: A Bayesian sampler for inverse problems of a stochastic process by leveraging Hamilton-Jacobi PDEs and score-based generative models
- arxiv url: http://arxiv.org/abs/2409.09614v1
- Date: Sun, 15 Sep 2024 05:30:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-17 19:58:08.898572
- Title: HJ-sampler: A Bayesian sampler for inverse problems of a stochastic process by leveraging Hamilton-Jacobi PDEs and score-based generative models
- Title(参考訳): HJ-サンプラー:ハミルトン・ヤコビPDEとスコアベース生成モデルを利用した確率過程の逆問題に対するベイズサンプル
- Authors: Tingwei Meng, Zongren Zou, Jérôme Darbon, George Em Karniadakis,
- Abstract要約: 本稿では,ブラウン運動文脈におけるコールホップ変換(Cole-Hopf transform)と呼ばれるログ変換に基づく。
本稿では,HJ-sampler という新しいアルゴリズムを開発し,与えられた終端観測による微分方程式の逆問題に対する推論を行う。
- 参考スコア(独自算出の注目度): 1.949927790632678
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The interplay between stochastic processes and optimal control has been extensively explored in the literature. With the recent surge in the use of diffusion models, stochastic processes have increasingly been applied to sample generation. This paper builds on the log transform, known as the Cole-Hopf transform in Brownian motion contexts, and extends it within a more abstract framework that includes a linear operator. Within this framework, we found that the well-known relationship between the Cole-Hopf transform and optimal transport is a particular instance where the linear operator acts as the infinitesimal generator of a stochastic process. We also introduce a novel scenario where the linear operator is the adjoint of the generator, linking to Bayesian inference under specific initial and terminal conditions. Leveraging this theoretical foundation, we develop a new algorithm, named the HJ-sampler, for Bayesian inference for the inverse problem of a stochastic differential equation with given terminal observations. The HJ-sampler involves two stages: (1) solving the viscous Hamilton-Jacobi partial differential equations, and (2) sampling from the associated stochastic optimal control problem. Our proposed algorithm naturally allows for flexibility in selecting the numerical solver for viscous HJ PDEs. We introduce two variants of the solver: the Riccati-HJ-sampler, based on the Riccati method, and the SGM-HJ-sampler, which utilizes diffusion models. We demonstrate the effectiveness and flexibility of the proposed methods by applying them to solve Bayesian inverse problems involving various stochastic processes and prior distributions, including applications that address model misspecifications and quantifying model uncertainty.
- Abstract(参考訳): 確率過程と最適制御の相互作用は、文献で広く研究されている。
近年の拡散モデルの使用の増加に伴い、確率過程はサンプル生成にますます適用されるようになった。
本稿では、ブラウン運動文脈におけるコールホップ変換(Cole-Hopf transform)と呼ばれるログ変換に基づいており、線形作用素を含むより抽象的なフレームワークで拡張する。
この枠組みの中で、コールホップ変換と最適輸送の間のよく知られた関係は、線形作用素が確率過程の無限小生成として作用する特別な例であることが判明した。
また、線形作用素が生成子の随伴であり、特定の初期および終端条件下でのベイズ推論にリンクする新しいシナリオを導入する。
この理論の基礎を生かして、与えられた終端観測を伴う確率微分方程式の逆問題に対するベイズ推定のためのHJ-サンプラーと呼ばれる新しいアルゴリズムを開発した。
HJ-サンプラーは、(1)粘性ハミルトン-ヤコビ偏微分方程式の解法と(2)関連する確率的最適制御問題からのサンプリングの2段階を含む。
提案アルゴリズムは, 粘性HJ PDEの数値解法を選択する際の柔軟性を自然に実現している。
本稿では,Ricati法に基づくRicati-HJ-samplerと拡散モデルを用いたSGM-HJ-samplerの2種類を紹介する。
提案手法の有効性と柔軟性を,様々な確率過程と先行分布を含むベイズ逆問題の解法に適用し,モデルの誤特定に対処し,モデルの不確かさを定量化するアプリケーションを含む,提案手法の有効性と柔軟性を実証する。
関連論文リスト
- Weak Generative Sampler to Efficiently Sample Invariant Distribution of Stochastic Differential Equation [8.67581853745823]
現在のディープラーニングに基づく手法は、定常フォッカー-プランク方程式を解き、ディープニューラルネットワークの形で不変確率密度関数を決定する。
本稿では, 弱い生成サンプル(WGS)を用いて, 独立かつ同一に分布したサンプルを直接生成するフレームワークを提案する。
提案した損失関数はFokker-Planck方程式の弱い形式に基づいており、正規化フローを統合して不変分布を特徴づける。
論文 参考訳(メタデータ) (2024-05-29T16:41:42Z) - On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。
本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
論文 参考訳(メタデータ) (2024-05-18T15:59:41Z) - Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。
画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
論文 参考訳(メタデータ) (2023-11-02T02:05:38Z) - Multi-Response Heteroscedastic Gaussian Process Models and Their
Inference [1.52292571922932]
本稿ではヘテロセダスティック共分散関数のモデリングのための新しいフレームワークを提案する。
後部モデルに近似し, 後部予測モデルを容易にするために, 変分推論を用いる。
提案するフレームワークは,幅広いアプリケーションに対して,堅牢で汎用的なツールを提供する。
論文 参考訳(メタデータ) (2023-08-29T15:06:47Z) - Heterogeneous Multi-Task Gaussian Cox Processes [61.67344039414193]
異種相関タスクを共同でモデル化するためのマルチタスクガウスコックスプロセスの新たな拡張を提案する。
MOGPは、分類、回帰、ポイントプロセスタスクの専用可能性のパラメータに先行して、異種タスク間の情報の共有を容易にする。
モデルパラメータを推定するための閉形式反復更新を実現する平均場近似を導出する。
論文 参考訳(メタデータ) (2023-08-29T15:01:01Z) - Generative Modelling of L\'{e}vy Area for High Order SDE Simulation [5.9535699822923]
L'evyGANはブラウン増分に基づくL'evy領域の近似サンプルを生成するディープラーニングモデルである。
L'evyGANは関節分布と辺縁分布の両方を測定するいくつかの指標で最先端のパフォーマンスを示す。
論文 参考訳(メタデータ) (2023-08-04T16:38:37Z) - A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳(メタデータ) (2023-05-31T15:33:16Z) - Plug-and-Play split Gibbs sampler: embedding deep generative priors in
Bayesian inference [12.91637880428221]
本稿では, 後方分布から効率的にサンプリングするために, 可変分割を利用したプラグアンドプレイサンプリングアルゴリズムを提案する。
後方サンプリングの課題を2つの単純なサンプリング問題に分割する。
その性能は最近の最先端の最適化とサンプリング手法と比較される。
論文 参考訳(メタデータ) (2023-04-21T17:17:51Z) - Restoration-Degradation Beyond Linear Diffusions: A Non-Asymptotic
Analysis For DDIM-Type Samplers [90.45898746733397]
本研究では拡散生成モデルに用いる決定論的サンプリング器の非漸近解析のためのフレームワークを開発する。
確率フローODEに沿った1ステップは,1) 条件付き対数線上を無限に先行して上昇する回復ステップ,2) 雑音を現在の勾配に向けて前向きに進行する劣化ステップの2段階で表すことができる。
論文 参考訳(メタデータ) (2023-03-06T18:59:19Z) - Pathwise Conditioning of Gaussian Processes [72.61885354624604]
ガウス過程後部をシミュレーションするための従来のアプローチでは、有限個の入力位置のプロセス値の限界分布からサンプルを抽出する。
この分布中心の特徴づけは、所望のランダムベクトルのサイズで3次スケールする生成戦略をもたらす。
条件付けのこのパスワイズ解釈が、ガウス過程の後部を効率的にサンプリングするのに役立てる近似の一般族をいかに生み出すかを示す。
論文 参考訳(メタデータ) (2020-11-08T17:09:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。