論文の概要: Beyond Bayesian Model Averaging over Paths in Probabilistic Programs with Stochastic Support

• arxiv url: http://arxiv.org/abs/2310.14888v1
• Date: Mon, 23 Oct 2023 12:57:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 20:05:22.315607
• Title: Beyond Bayesian Model Averaging over Paths in Probabilistic Programs with Stochastic Support
• Title（参考訳）: 確率的支援をもつ確率的プログラムにおける経路平均化ベイズモデル
• Authors: Tim Reichelt, Luke Ong, Tom Rainforth
• Abstract要約: 本研究では,この完全後続モデルを用いて予測を行うことにより,経路上のベイズ平均化(BMA)を暗黙的に行うことを示す。 モデルの不特定により、BMAの重みは1つの経路に早めに崩壊し、代わりに準最適予測をもたらす可能性があるため、これは潜在的に問題となる。 経路重み付けの代替メカニズムとして,積み重ねに基づくもの,PAC-Bayesのアイデアに基づくものを提案する。
• 参考スコア（独自算出の注目度）: 23.07504711090434
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The posterior in probabilistic programs with stochastic support decomposes as a weighted sum of the local posterior distributions associated with each possible program path. We show that making predictions with this full posterior implicitly performs a Bayesian model averaging (BMA) over paths. This is potentially problematic, as model misspecification can cause the BMA weights to prematurely collapse onto a single path, leading to sub-optimal predictions in turn. To remedy this issue, we propose alternative mechanisms for path weighting: one based on stacking and one based on ideas from PAC-Bayes. We show how both can be implemented as a cheap post-processing step on top of existing inference engines. In our experiments, we find them to be more robust and lead to better predictions compared to the default BMA weights.
• Abstract（参考訳）: 確率的支持を持つ確率的プログラムの後方は、各プログラム経路に関連する局所的な後方分布の重み付け和として分解される。 本研究では,この完全後続モデルを用いて予測を行うことにより,経路上のベイズ平均化(BMA)を行うことを示す。 モデルの不特定により、BMAの重みは1つの経路に早めに崩壊し、代わりに準最適予測をもたらす可能性があるため、これは潜在的に問題となる。 そこで我々は,経路重み付けの代替メカニズムとして,積み重ねに基づくもの,PAC-Bayesのアイデアに基づくものを提案する。 既存の推論エンジン上での安価な後処理ステップとして実装する方法を示す。 私たちの実験では、それらはより堅牢で、デフォルトのbma重みよりもより良い予測につながります。

関連論文リスト

• Divide-and-Conquer Posterior Sampling for Denoising Diffusion Priors [21.0128625037708]
  提案手法は, 分割・分散型後方サンプリング方式である。 これにより、再トレーニングを必要とせずに、現在のテクニックに関連する近似誤差を低減することができる。 ベイズ逆問題に対するアプローチの汎用性と有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T01:47:24Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Variational Prediction [95.00085314353436]
  本稿では,変動境界を用いた後部予測分布に対する変動近似の学習手法を提案する。 このアプローチは、テスト時間の限界化コストを伴わずに、優れた予測分布を提供することができる。
  論文  参考訳（メタデータ） (2023-07-14T18:19:31Z)
• Latent Optimal Paths by Gumbel Propagation for Variational Bayesian Dynamic Programming [12.249274845167415]
  本稿では,Gumbel分布の特性を用いて,Gibs分布とメッセージパスアルゴリズムの等価性を示す。 本稿では,構造化されたスパース最適経路を潜在変数としてキャプチャするBDP-VAEを提案する。
  論文  参考訳（メタデータ） (2023-06-05T03:47:59Z)
• Fast post-process Bayesian inference with Variational Sparse Bayesian Quadrature [13.36200518068162]
  本稿では,既存の目標密度評価から高速な後続近似を得る手段として,プロセス後ベイズ推定の枠組みを提案する。 この枠組みでは,ブラックボックスと潜在的ノイズの可能性のあるモデルに対して,プロセス後近似推定法である変分スパースベイズ近似(VSBQ)を導入する。 本手法は,計算神経科学による難解な合成シナリオと実世界の応用について検証する。
  論文  参考訳（メタデータ） (2023-03-09T13:58:35Z)
• Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
  本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。 トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。 1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
  論文  参考訳（メタデータ） (2022-05-27T11:13:17Z)
• Non-Probability Sampling Network for Stochastic Human Trajectory Prediction [16.676008193894223]
  歩行者の軌跡予測を組み込むためには,マルチモーダルな性質の獲得が不可欠である。 本稿では,従来のランダムサンプリングの代替として,サンプリング空間の均一なカバレッジを確保するQuasi-Carlo法を提案する。 我々は、学習可能なサンプリングネットワークを既存のネットワークに導入し、軌道予測を行う。
  論文  参考訳（メタデータ） (2022-03-25T06:41:47Z)
• Probabilistic Gradient Boosting Machines for Large-Scale Probabilistic Regression [51.770998056563094]
  PGBM(Probabilistic Gradient Boosting Machines)は、確率的予測を生成する手法である。 既存の最先端手法と比較してPGBMの利点を実証的に示す。
  論文  参考訳（メタデータ） (2021-06-03T08:32:13Z)
• Stacking for Non-mixing Bayesian Computations: The Curse and Blessing of Multimodal Posteriors [8.11978827493967]
  MCMCの並列実行, 変動型, モードベースの推論を用いて, できるだけ多くのモードをヒットさせる手法を提案する。 重み付き推論プロセスが真のデータを近似する例と理論的整合性を示す。 いくつかのモデルファミリで実践的な実装を示す。
  論文  参考訳（メタデータ） (2020-06-22T15:26:59Z)
• Likelihood-Free Inference with Deep Gaussian Processes [70.74203794847344]
  サーロゲートモデルは、シミュレータ評価の回数を減らすために、可能性のない推論に成功している。 本稿では,より不規則な対象分布を扱えるディープガウス過程(DGP)サロゲートモデルを提案する。 本実験は,DGPがマルチモーダル分布を持つ目的関数上でGPよりも優れ,単調な場合と同等の性能を維持できることを示す。
  論文  参考訳（メタデータ） (2020-06-18T14:24:05Z)
• Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
  確率分布が未知な分布の不確実性の下でBQOについて検討する。 標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。 この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
  論文  参考訳（メタデータ） (2020-01-19T12:00:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。