論文の概要: Bayesian Pseudo-Coresets via Contrastive Divergence

• arxiv url: http://arxiv.org/abs/2303.11278v2
• Date: Wed, 8 May 2024 19:04:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-10 18:39:09.314170
• Title: Bayesian Pseudo-Coresets via Contrastive Divergence
• Title（参考訳）: コントラッシブ・ディバージェンスによるベイズ擬似コアセット
• Authors: Piyush Tiwary, Kumar Shubham, Vivek V. Kashyap, Prathosh A. P,
• Abstract要約: 対照的な発散を利用して擬似コアセットを構築するための新しい手法を提案する。 これは擬似コアセット構築プロセスにおける近似の必要性を排除する。 複数のデータセットに対して広範な実験を行い、既存のBPC技術よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 5.479797073162603
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian methods provide an elegant framework for estimating parameter posteriors and quantification of uncertainty associated with probabilistic models. However, they often suffer from slow inference times. To address this challenge, Bayesian Pseudo-Coresets (BPC) have emerged as a promising solution. BPC methods aim to create a small synthetic dataset, known as pseudo-coresets, that approximates the posterior inference achieved with the original dataset. This approximation is achieved by optimizing a divergence measure between the true posterior and the pseudo-coreset posterior. Various divergence measures have been proposed for constructing pseudo-coresets, with forward Kullback-Leibler (KL) divergence being the most successful. However, using forward KL divergence necessitates sampling from the pseudo-coreset posterior, often accomplished through approximate Gaussian variational distributions. Alternatively, one could employ Markov Chain Monte Carlo (MCMC) methods for sampling, but this becomes challenging in high-dimensional parameter spaces due to slow mixing. In this study, we introduce a novel approach for constructing pseudo-coresets by utilizing contrastive divergence. Importantly, optimizing contrastive divergence eliminates the need for approximations in the pseudo-coreset construction process. Furthermore, it enables the use of finite-step MCMC methods, alleviating the requirement for extensive mixing to reach a stationary distribution. To validate our method's effectiveness, we conduct extensive experiments on multiple datasets, demonstrating its superiority over existing BPC techniques.
• Abstract（参考訳）: ベイズ法は、パラメータ後部を推定し、確率モデルに関連する不確実性の定量化のためのエレガントな枠組みを提供する。 しかし、しばしば遅い推測時間に悩まされる。 この課題に対処するため、ベイジアン擬似コアセット(BPC)が有望なソリューションとして登場した。 BPC法は、擬似コアセットとして知られる小さな合成データセットを作成し、元のデータセットで達成された後部推論を近似することを目的としている。 この近似は、真の後部と擬似コアセット後部の分岐測度を最適化することで達成される。 擬似コアセットの構築には様々な発散対策が提案されており、KL(Kulback-Leibler)発散が最も成功している。 しかし、前方KL発散は擬コアセット後部からのサンプリングを必要とし、しばしば近似ガウス変分分布によって達成される。 あるいは、サンプリングにマルコフ・チェイン・モンテカルロ法(MCMC)を用いることもできるが、これは遅い混合のために高次元のパラメータ空間では難しい。 本研究では,コントラッシブ・ディペンジェンスを利用して擬似コアセットを構築する新しい手法を提案する。 重要なことは、対照的な発散を最適化することは、擬似コアセット構築プロセスにおける近似の必要性を排除することである。 さらに、有限ステップMCMC法の使用を可能にし、定常分布に到達するために広範囲な混合の要求を緩和する。 提案手法の有効性を検証するため,既存のBPC技術よりも優れていることを示すとともに,複数のデータセットに対する広範な実験を行った。

関連論文リスト

• Total Uncertainty Quantification in Inverse PDE Solutions Obtained with Reduced-Order Deep Learning Surrogate Models [50.90868087591973]
  機械学習サロゲートモデルを用いて得られた逆PDE解の総不確かさを近似したベイズ近似法を提案する。 非線型拡散方程式に対する反復的アンサンブルスムーズおよび深層アンサンブル法との比較により,提案手法を検証した。
  論文  参考訳（メタデータ） (2024-08-20T19:06:02Z)
• Divide-and-Conquer Posterior Sampling for Denoising Diffusion Priors [21.0128625037708]
  提案手法は, 分割・分散型後方サンプリング方式である。 これにより、再トレーニングを必要とせずに、現在のテクニックに関連する近似誤差を低減することができる。 ベイズ逆問題に対するアプローチの汎用性と有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T01:47:24Z)
• Fast Semisupervised Unmixing Using Nonconvex Optimization [80.11512905623417]
  半/ライブラリベースのアンミックスのための新しい凸凸モデルを提案する。 スパース・アンミキシングの代替手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-01-23T10:07:41Z)
• Convergence of uncertainty estimates in Ensemble and Bayesian sparse model discovery [4.446017969073817]
  ブートストラップに基づく逐次しきい値最小二乗推定器による雑音に対する精度と頑健性の観点から経験的成功を示す。 このブートストラップに基づくアンサンブル手法は,誤差率の指数収束率で,確率的に正しい可変選択を行うことができることを示す。
  論文  参考訳（メタデータ） (2023-01-30T04:07:59Z)
• On Divergence Measures for Bayesian Pseudocoresets [28.840995981326028]
  ベイズ擬似コアセット(Bayesian pseudocoreset)は、後方のパラメータが元のデータセットと近似する小さな合成データセットである。 本稿では,擬似コアセット構築法に対する近似として2つの代表的なデータセット蒸留アルゴリズムを提案する。 ベイズ擬コアセット構成におけるそのような発散対策の統一的な視点を提供する。
  論文  参考訳（メタデータ） (2022-10-12T13:45:36Z)
• The split Gibbs sampler revisited: improvements to its algorithmic structure and augmented target distribution [1.1279808969568252]
  現在の最先端の手法は、後部密度を滑らかな近似で置き換えることによってこれらの問題に対処することが多い。 別のアプローチはデータ拡張と緩和に基づいており、補助変数を導入して近似的な拡張後分布を構築する。 本稿では,2つの戦略の利点を密結合した潜在空間SK-ROCKと呼ばれる,新しい加速近位MCMC法を提案する。
  論文  参考訳（メタデータ） (2022-06-28T11:21:41Z)
• Posterior Coreset Construction with Kernelized Stein Discrepancy for Model-Based Reinforcement Learning [78.30395044401321]
  我々は、強化学習(MBRL)のための新しいモデルベースアプローチを開発する。 ターゲット遷移モデルの仮定を緩和し、混合モデルの一般的な族に属する。 連続的な制御環境では、壁時計の時間を最大50%削減することができる。
  論文  参考訳（メタデータ） (2022-06-02T17:27:49Z)
• Improving Diffusion Models for Inverse Problems using Manifold Constraints [55.91148172752894]
  我々は,現在の解法がデータ多様体からサンプルパスを逸脱し,エラーが蓄積することを示す。 この問題に対処するため、多様体の制約に着想を得た追加の補正項を提案する。 本手法は理論上も経験上も従来の方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-02T09:06:10Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Stacking for Non-mixing Bayesian Computations: The Curse and Blessing of Multimodal Posteriors [8.11978827493967]
  MCMCの並列実行, 変動型, モードベースの推論を用いて, できるだけ多くのモードをヒットさせる手法を提案する。 重み付き推論プロセスが真のデータを近似する例と理論的整合性を示す。 いくつかのモデルファミリで実践的な実装を示す。
  論文  参考訳（メタデータ） (2020-06-22T15:26:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。