論文の概要: Accelerated Bayesian imaging by relaxed proximal-point Langevin sampling
- arxiv url: http://arxiv.org/abs/2308.09460v2
- Date: Fri, 12 Jan 2024 19:25:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 02:00:08.829424
- Title: Accelerated Bayesian imaging by relaxed proximal-point Langevin sampling
- Title（参考訳）: 緩和近位点Langevinサンプリングによるベイズ画像の高速化
- Authors: Teresa Klatzer and Paul Dobson and Yoann Altmann and Marcelo Pereyra
and Jes\'us Mar\'ia Sanz-Serna and Konstantinos C. Zygalakis
- Abstract要約: 本稿では, 画像逆問題におけるベイズ推定を行うために, マルコフ近位連鎖モンテカルロ法を提案する。
モロー・ヨシダの滑らか化によって滑らかにあるいは正規化されるモデルに対しては、中間点は過度に損傷されたランゲヴィン拡散の暗黙の離散化と等価である。
kappa$-strongly log-concaveのターゲットに対しては、提供された非漸近収束解析も最適な時間ステップを特定する。
- 参考スコア（独自算出の注目度）: 4.848683707039751
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a new accelerated proximal Markov chain Monte Carlo
methodology to perform Bayesian inference in imaging inverse problems with an
underlying convex geometry. The proposed strategy takes the form of a
stochastic relaxed proximal-point iteration that admits two complementary
interpretations. For models that are smooth or regularised by Moreau-Yosida
smoothing, the algorithm is equivalent to an implicit midpoint discretisation
of an overdamped Langevin diffusion targeting the posterior distribution of
interest. This discretisation is asymptotically unbiased for Gaussian targets
and shown to converge in an accelerated manner for any target that is
$\kappa$-strongly log-concave (i.e., requiring in the order of $\sqrt{\kappa}$
iterations to converge, similarly to accelerated optimisation schemes),
comparing favorably to [M. Pereyra, L. Vargas Mieles, K.C. Zygalakis, SIAM J.
Imaging Sciences, 13,2 (2020), pp. 905-935] which is only provably accelerated
for Gaussian targets and has bias. For models that are not smooth, the
algorithm is equivalent to a Leimkuhler-Matthews discretisation of a Langevin
diffusion targeting a Moreau-Yosida approximation of the posterior distribution
of interest, and hence achieves a significantly lower bias than conventional
unadjusted Langevin strategies based on the Euler-Maruyama discretisation. For
targets that are $\kappa$-strongly log-concave, the provided non-asymptotic
convergence analysis also identifies the optimal time step which maximizes the
convergence speed. The proposed methodology is demonstrated through a range of
experiments related to image deconvolution with Gaussian and Poisson noise,
with assumption-driven and data-driven convex priors. Source codes for the
numerical experiments of this paper are available from
https://github.com/MI2G/accelerated-langevin-imla.
- Abstract（参考訳）: 本稿では,基底凸幾何学を用いた逆問題の画像化におけるベイズ推定を行うために,マルコフ連鎖モンテカルロ法を提案する。
提案手法は2つの相補的解釈を持つ確率的緩和近位点反復の形式をとる。
モロー・ヨシダの平滑化によって滑らかあるいは正則化されたモデルの場合、アルゴリズムは利害の後方分布を標的とした過減衰ランジュバン拡散の暗黙の中間点離散化と等価である。
この離散化は、ガウス的対象に対して漸近的に偏りがなく、(例えば、加速された最適化スキームと同様に、収束するために$\sqrt{\kappa}$の順番を必要とする)強固なログコンケーブである任意の対象に対して加速的に収束することが示され、[m. pereyra, l. vargas mieles, k.c. zygalakis, siam j. imaging sciences, 13,2 (2020), pp. 905-935] はガウス的対象に対してのみ有効に加速され、バイアスを持つ。
滑らかでないモデルでは、アルゴリズムは、興味の後方分布のモロー・ヨシダ近似を標的としたランジュバン拡散のレイムクーラー・マチューズ離散化と等価であり、オイラー・マルヤマ離散化に基づく従来の未調整ランジュバン戦略よりもかなり低いバイアスが得られる。
$\kappa$-strongly log-concave のターゲットに対して、提供された非漸近収束解析は、収束速度を最大化する最適な時間ステップも特定する。
提案手法は,ガウス雑音およびポアソン雑音に対する画像デコンボリューションと,仮定駆動およびデータ駆動凸前駆による画像デコンボリューションに関する実験により実証された。
本論文の数値実験のソースコードはhttps://github.com/MI2G/accelerated-langevin-imlaから入手できる。
関連論文リスト
- Straightness of Rectified Flow: A Theoretical Insight into Wasserstein Convergence [54.580605276017096]
拡散モデルは画像生成とデノナイズのための強力なツールとして登場した。
最近、Liuらは新しい代替生成モデル Rectified Flow (RF) を設計した。
RFは,一連の凸最適化問題を用いて,ノイズからデータへの直流軌跡の学習を目的としている。
論文 参考訳（メタデータ） (2024-10-19T02:36:11Z) - Faster Sampling via Stochastic Gradient Proximal Sampler [28.422547264326468]
非log-concave分布からのサンプリングのための近位サンプリング器 (SPS) について検討した。
対象分布への収束性は,アルゴリズムの軌道が有界である限り保証可能であることを示す。
我々は、Langevin dynamics(SGLD)とLangevin-MALAの2つの実装可能な変種を提供し、SPS-SGLDとSPS-MALAを生み出した。
論文 参考訳（メタデータ） (2024-05-27T00:53:18Z) - Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。
この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
論文 参考訳（メタデータ） (2024-02-21T16:11:47Z) - Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳（メタデータ） (2023-12-02T13:01:29Z) - Resolving the Mixing Time of the Langevin Algorithm to its Stationary
Distribution for Log-Concave Sampling [34.66940399825547]
本稿では,Langevinアルゴリズムの定常分布に対する混合時間の特徴について述べる。
本稿では,差分プライバシー文献からサンプリング文献へのアプローチを紹介する。
論文 参考訳（メタデータ） (2022-10-16T05:11:16Z) - Utilising the CLT Structure in Stochastic Gradient based Sampling :
Improved Analysis and Faster Algorithms [14.174806471635403]
粒子ダイナミック(IPD)に対するグラディエント・ランゲヴィン・ダイナミクス(SGLD)やランダムバッチ法(RBM)などのサンプリングアルゴリズムの近似を考察する。
近似によって生じる雑音は中央極限定理(CLT)によりほぼガウス的であるが、ブラウン運動はまさにガウス的である。
この構造を利用して拡散過程内の近似誤差を吸収し、これらのアルゴリズムの収束保証を改善する。
論文 参考訳（メタデータ） (2022-06-08T10:17:40Z) - Hessian Averaging in Stochastic Newton Methods Achieves Superlinear
Convergence [69.65563161962245]
ニュートン法を用いて,滑らかで強凸な目的関数を考える。
最適段階において局所収束に遷移する普遍重み付き平均化スキームが存在することを示す。
論文 参考訳（メタデータ） (2022-04-20T07:14:21Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳（メタデータ） (2021-09-08T18:00:05Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳（メタデータ） (2020-10-19T15:23:18Z) - Wasserstein Control of Mirror Langevin Monte Carlo [2.7145834528620236]
離散化ランゲヴィン拡散は高次元ターゲット密度からサンプリングする効率的なモンテカルロ法である。
ヘッセン型多様体上のランゲヴィン拡散を考察し、ミラー・ドネサンススキームと密接な関係を持つ離散化を研究する。
論文 参考訳（メタデータ） (2020-02-11T13:16:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。