論文の概要: Understanding and mitigating difficulties in posterior predictive evaluation

• arxiv url: http://arxiv.org/abs/2405.19747v1
• Date: Thu, 30 May 2024 06:50:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 15:48:50.662991
• Title: Understanding and mitigating difficulties in posterior predictive evaluation
• Title（参考訳）: 後部予測評価における理解と緩和の難しさ
• Authors: Abhinav Agrawal, Justin Domke,
• Abstract要約: このような推定器の信号対雑音比(SNR)が極端に低いことを観察する。 本稿では,SNRの変動プロキシ上でテスト時間に最適化された提案分布を用いて,単純なMCサンプリングを重要サンプリングに置き換えることを提案する。
• 参考スコア（独自算出の注目度）: 20.894503281724052
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Predictive posterior densities (PPDs) are of interest in approximate Bayesian inference. Typically, these are estimated by simple Monte Carlo (MC) averages using samples from the approximate posterior. We observe that the signal-to-noise ratio (SNR) of such estimators can be extremely low. An analysis for exact inference reveals SNR decays exponentially as there is an increase in (a) the mismatch between training and test data, (b) the dimensionality of the latent space, or (c) the size of the test data relative to the training data. Further analysis extends these results to approximate inference. To remedy the low SNR problem, we propose replacing simple MC sampling with importance sampling using a proposal distribution optimized at test time on a variational proxy for the SNR and demonstrate that this yields greatly improved estimates.
• Abstract（参考訳）: 予測後密度 (PPDs) はベイズ推定にほぼ興味がある。 通常、これらは単純なモンテカルロ平均値(MC)によって近似後部からのサンプルを用いて推定される。 このような推定器の信号対雑音比(SNR)が極端に低いことを観察する。 正確な推論の解析により、SNRの崩壊は指数関数的に増大することが明らかになる a) トレーニングデータとテストデータとのミスマッチ (b)潜伏空間の次元性、又は (c)訓練データに対する試験データのサイズ。 さらなる分析はこれらの結果を近似推論にまで拡張する。 そこで本研究では,SNRの変動プロキシ上で試験時間に最適化された提案分布を用いて,単純なMCサンプリングを重要サンプリングに置き換えることを提案する。

関連論文リスト

• Enhancing Diffusion Posterior Sampling for Inverse Problems by Integrating Crafted Measurements [45.70011319850862]
  拡散モデルは視覚生成のための強力な基礎モデルとして登場してきた。 現在の後方サンプリングに基づく手法では、測定結果を後方サンプリングに取り込み、対象データの分布を推定する。 本研究は, 早期に高周波情報を早期に導入し, より大きい推定誤差を生じさせることを示す。 工芸品計測を取り入れた新しい拡散後サンプリング手法DPS-CMを提案する。
  論文  参考訳（メタデータ） (2024-11-15T00:06:57Z)
• Leveraging Nested MLMC for Sequential Neural Posterior Estimation with Intractable Likelihoods [0.8287206589886881]
  SNPE法は,難解な確率でシミュレーションベースモデルを扱うために提案される。 本稿では,ネスト予測を推定するためのネスト推定APT手法を提案する。 損失関数と勾配のネスト推定器は偏りがあるため,不偏のマルチレベルモンテカルロ推定器(MLMC)を用いる。
  論文  参考訳（メタデータ） (2024-01-30T06:29:41Z)
• Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
  本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。 崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。 提案手法は, スケーラビリティと精度のバランスをとる。
  論文  参考訳（メタデータ） (2023-06-16T08:34:42Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Instance-Optimal Compressed Sensing via Posterior Sampling [101.43899352984774]
  後部サンプリング推定器がほぼ最適回復保証を達成できることを示す。 本稿では,Langevin dynamics を用いた深部生成前駆体の後方サンプリング推定器を実装し,MAP よりも精度の高い推定値が得られることを実証的に見出した。
  論文  参考訳（メタデータ） (2021-06-21T22:51:56Z)
• Rapid Risk Minimization with Bayesian Models Through Deep Learning Approximation [9.93116974480156]
  本稿では,ベイズモデル (BM) とニューラルネットワーク (NN) を組み合わせて,予測を最小限のリスクで行う手法を提案する。 私たちのアプローチは、BMのデータ効率と解釈可能性とNNの速度を組み合わせます。 テストデータセットに無視できる損失がある標準手法よりも、リスク最小限の予測をはるかに高速に達成する。
  論文  参考訳（メタデータ） (2021-03-29T15:08:25Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• On Signal-to-Noise Ratio Issues in Variational Inference for Deep Gaussian Processes [55.62520135103578]
  重み付き変分推論を用いたDGP(Deep Gaussian Processs)の訓練で用いられる勾配推定は,信号-雑音比(SNR)問題の影響を受けやすいことを示す。 DGPモデルの予測性能が一貫した改善につながることを示す。
  論文  参考訳（メタデータ） (2020-11-01T14:38:02Z)
• Nonparametric Estimation of the Fisher Information and Its Applications [82.00720226775964]
  本稿では,大きさn$のランダムサンプルからフィッシャー情報の位置推定の問題について考察する。 Bhattacharyaにより提案された推定器を再検討し、収束率の向上を導出する。 クリッピング推定器と呼ばれる新しい推定器を提案する。
  論文  参考訳（メタデータ） (2020-05-07T17:21:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。