論文の概要: Efficient Bayesian Sampling Using Normalizing Flows to Assist Markov Chain Monte Carlo Methods

• arxiv url: http://arxiv.org/abs/2107.08001v1
• Date: Fri, 16 Jul 2021 16:40:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-19 14:44:45.990279
• Title: Efficient Bayesian Sampling Using Normalizing Flows to Assist Markov Chain Monte Carlo Methods
• Title（参考訳）: 正規化フローを用いたマルコフ連鎖モンテカルロ法による効率的なベイズサンプリング
• Authors: Marylou Gabri\'e, Grant M. Rotskoff, Eric Vanden-Eijnden
• Abstract要約: 正規化フローは複雑なターゲット分布を生成でき、ベイズ統計学における多くの応用において有望であることを示す。 対象の後方分布からのデータセットは事前に入手できないため、フローは通常、基底分布からのサンプルのみを必要とする逆のKullback-Leibler(KL)分散を用いて訓練される。 ここでは, 直接KL偏差を損失として用い, (i) 後部の局所MCMCアルゴリズムを正規化流で支援し, (ii) 混合速度を高速化し, (ii) この方法で生成されたデータを用いて流のトレーニングを行う。
• 参考スコア（独自算出の注目度）: 13.649384403827359
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Normalizing flows can generate complex target distributions and thus show promise in many applications in Bayesian statistics as an alternative or complement to MCMC for sampling posteriors. Since no data set from the target posterior distribution is available beforehand, the flow is typically trained using the reverse Kullback-Leibler (KL) divergence that only requires samples from a base distribution. This strategy may perform poorly when the posterior is complicated and hard to sample with an untrained normalizing flow. Here we explore a distinct training strategy, using the direct KL divergence as loss, in which samples from the posterior are generated by (i) assisting a local MCMC algorithm on the posterior with a normalizing flow to accelerate its mixing rate and (ii) using the data generated this way to train the flow. The method only requires a limited amount of \textit{a~priori} input about the posterior, and can be used to estimate the evidence required for model validation, as we illustrate on examples.
• Abstract（参考訳）: 正規化フローは複雑なターゲット分布を生成できるため、ベイズ統計学の多くの応用において、後方サンプリングのためのMCMCの代替または補題として期待できる。 対象の後方分布からのデータセットは事前に入手できないため、フローは通常、基底分布からのサンプルのみを必要とする逆のKullback-Leibler(KL)分散を用いて訓練される。 この戦略は、後方が複雑で、訓練されていない正規化フローでサンプルが難しい場合、うまくいかない可能性がある。 ここでは,後方からのサンプルを,(i)後方の局所mcmcアルゴリズムを正規化フローで支援して混合速度を加速し,(ii)この方法で生成されたデータを用いて流れを訓練することにより,直接kl発散を損失として,異なる訓練戦略を検討する。 この方法は後部に関する限られた量の \textit{a~priori} 入力しか必要とせず、例に示すようにモデル検証に必要なエビデンスを推定するために使用できる。

関連論文リスト

• Distributional Diffusion Models with Scoring Rules [83.38210785728994]
  拡散モデルは高品質な合成データを生成する。 高品質な出力を生成するには、多くの離散化ステップが必要です。 クリーンデータサンプルの後部エム分布を学習し,サンプル生成を実現することを提案する。
  論文  参考訳（メタデータ） (2025-02-04T16:59:03Z)
• Enhancing Diffusion Posterior Sampling for Inverse Problems by Integrating Crafted Measurements [45.70011319850862]
  拡散モデルは視覚生成のための強力な基礎モデルとして登場してきた。 現在の後方サンプリングに基づく手法では、測定結果を後方サンプリングに取り込み、対象データの分布を推定する。 本研究は, 早期に高周波情報を早期に導入し, より大きい推定誤差を生じさせることを示す。 工芸品計測を取り入れた新しい拡散後サンプリング手法DPS-CMを提案する。
  論文  参考訳（メタデータ） (2024-11-15T00:06:57Z)
• Amortized Posterior Sampling with Diffusion Prior Distillation [55.03585818289934]
  逆問題の解法として, 後方分布からのサンプルの変分推論手法を提案する。 本手法はユークリッド空間の標準信号や多様体上の信号に適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-07-25T09:53:12Z)
• Divide-and-Conquer Posterior Sampling for Denoising Diffusion Priors [21.0128625037708]
  提案手法は, 分割・分散型後方サンプリング方式である。 これにより、再トレーニングを必要とせずに、現在のテクニックに関連する近似誤差を低減することができる。 ベイズ逆問題に対するアプローチの汎用性と有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T01:47:24Z)
• Entropy-MCMC: Sampling from Flat Basins with Ease [10.764160559530849]
  我々は, シャープモードから解放された円滑な後円板に類似した定常分布である補助誘導変数を導入し, MCMC試料を平らな盆地に導出する。 この導出変数をモデルパラメータと統合することにより、計算オーバーヘッドを最小限に抑えた効率的なサンプリングを可能にする、単純なジョイント分布を作成する。 実験により,提案手法は後方の平らな盆地から試料を採取し,比較したベースラインを複数ベンチマークで比較した。
  論文  参考訳（メタデータ） (2023-10-09T04:40:20Z)
• Diffusion Generative Flow Samplers: Improving learning signals through partial trajectory optimization [87.21285093582446]
  Diffusion Generative Flow Samplers (DGFS) はサンプルベースのフレームワークであり、学習プロセスを短い部分的軌道セグメントに分解することができる。 生成フローネットワーク(GFlowNets)のための理論から着想を得た。
  論文  参考訳（メタデータ） (2023-10-04T09:39:05Z)
• Detecting and Mitigating Mode-Collapse for Flow-based Sampling of Lattice Field Theories [6.222204646855336]
  格子場理論の文脈における正規化流れのモード崩壊の結果について検討する。 本稿では,モード崩壊の度合いを定量化し,その結果の偏りを導出する指標を提案する。
  論文  参考訳（メタデータ） (2023-02-27T19:00:22Z)
• Approximate sampling and estimation of partition functions using neural networks [0.0]
  本研究では, 可変オートエンコーダ (VAE) をいかに応用できるかを示す。 論理を逆転させ、正規化まで特定された複雑で難解な潜在分布を仮定して、VAEを単純かつトラクタブルな分布に適合するように訓練する。 この手順は、トレーニングデータやマルコフ連鎖モンテカルロサンプリングを使わずに近似を構成する。
  論文  参考訳（メタデータ） (2022-09-21T15:16:45Z)
• Langevin Monte Carlo for Contextual Bandits [72.00524614312002]
  Langevin Monte Carlo Thompson Sampling (LMC-TS) が提案されている。 提案アルゴリズムは,文脈的帯域幅の特別な場合において,最高のトンプソンサンプリングアルゴリズムと同じサブ線形残差を達成できることを示す。
  論文  参考訳（メタデータ） (2022-06-22T17:58:23Z)
• Efficiently Sampling Functions from Gaussian Process Posteriors [76.94808614373609]
  高速後部サンプリングのための簡易かつ汎用的なアプローチを提案する。 分離されたサンプルパスがガウス過程の後部を通常のコストのごく一部で正確に表現する方法を実証する。
  論文  参考訳（メタデータ） (2020-02-21T14:03:16Z)
• Semi-Supervised Learning with Normalizing Flows [54.376602201489995]
  FlowGMMは、フローの正規化を伴う生成半教師付き学習におけるエンドツーエンドのアプローチである。 我々は AG-News や Yahoo Answers のテキストデータなど,幅広いアプリケーションに対して有望な結果を示す。
  論文  参考訳（メタデータ） (2019-12-30T17:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。