論文の概要: Piecewise Deterministic Markov Processes for Bayesian Neural Networks

• arxiv url: http://arxiv.org/abs/2302.08724v1
• Date: Fri, 17 Feb 2023 06:38:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-20 15:41:44.254360
• Title: Piecewise Deterministic Markov Processes for Bayesian Neural Networks
• Title（参考訳）: ベイズニューラルネットワークの分割決定論的マルコフ過程
• Authors: Ethan Goan, Dimitri Perrin, Kerrie Mengersen, Clinton Fookes
• Abstract要約: 現代のベイズニューラルネットワーク(BNN)の推論は、しばしば変分推論処理に依存し、独立性や後部の形態に反する仮定を示唆する。 新しいPiecewise Deterministic Markov Process (PDMP) サンプリングはサブサンプリングを許容するが、サンプリングが難しい不均一なPoisson Process (IPP) モデルを導入する。 本研究はIPPからのサンプリングのための新しい汎用的かつ適応的なスライニング手法を導入し、BNNにおける推論のためのPDMPの適用をいかに加速するかを示す。
• 参考スコア（独自算出の注目度）: 16.583537785874604
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Inference on modern Bayesian Neural Networks (BNNs) often relies on a variational inference treatment, imposing violated assumptions of independence and the form of the posterior. Traditional MCMC approaches avoid these assumptions at the cost of increased computation due to its incompatibility to subsampling of the likelihood. New Piecewise Deterministic Markov Process (PDMP) samplers permit subsampling, though introduce a model specific inhomogenous Poisson Process (IPPs) which is difficult to sample from. This work introduces a new generic and adaptive thinning scheme for sampling from these IPPs, and demonstrates how this approach can accelerate the application of PDMPs for inference in BNNs. Experimentation illustrates how inference with these methods is computationally feasible, can improve predictive accuracy, MCMC mixing performance, and provide informative uncertainty measurements when compared against other approximate inference schemes.
• Abstract（参考訳）: 現代のベイズニューラルネットワーク(bnns)の推論は、しばしば変分推論処理に依存しており、独立性や後肢の形に違反する仮定を課している。 従来のMCMCアプローチは、確率のサブサンプリングに非互換であるため、計算量を増やすコストでこれらの仮定を避ける。 新しいPiecewise Deterministic Markov Process (PDMP) サンプリングはサブサンプリングを許容するが、サンプリングが難しい不均一なPoisson Process (IPP) モデルを導入する。 本研究は、これらのIPPからサンプリングする新しい汎用的かつ適応的な薄膜化手法を導入し、BNNにおける推論へのPDMPの適用をいかに加速するかを示す。 実験は、これらの手法による推論がいかに計算可能かを示し、予測精度、MCMC混合性能を向上し、他の近似推論方式と比較して情報的不確実性の測定を提供する。

関連論文リスト

• A Compact Representation for Bayesian Neural Networks By Removing Permutation Symmetry [22.229664343428055]
  置換の役割は、多くの転置計量によって有意に定量化できることを示す。 次に、最近提案されたRebasin法により、HMCサンプルをコンパクトな表現にまとめることができることを示す。 このコンパクトな表現により、サンプル法と変分推論とでトレーニングされたBNNを直接重み空間で比較できることが示される。
  論文  参考訳（メタデータ） (2023-12-31T23:57:05Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Diffusion models for probabilistic programming [56.47577824219207]
  拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
  論文  参考訳（メタデータ） (2023-11-01T12:17:05Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Observation-Guided Diffusion Probabilistic Models [41.749374023639156]
  観測誘導拡散確率モデル(OGDM)と呼ばれる新しい拡散に基づく画像生成法を提案する。 本手法は,観測プロセスの指導をマルコフ連鎖と統合することにより,トレーニング目標を再構築する。 本研究では,強力な拡散モデルベースライン上での多様な推論手法を用いたトレーニングアルゴリズムの有効性を示す。
  論文  参考訳（メタデータ） (2023-10-06T06:29:06Z)
• Meta-Uncertainty in Bayesian Model Comparison [0.0]
  メタ不確かさの定量化のための完全確率的枠組みを提案する。 提案手法の有用性を,共役ベイズ回帰,マルコフ連鎖モンテカルロによる確率ベース推論,ニューラルネットワークによるシミュレーションベース推論の文脈で示す。
  論文  参考訳（メタデータ） (2022-10-13T18:10:29Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Surrogate Likelihoods for Variational Annealed Importance Sampling [11.144915453864854]
  我々は他の変分パラメータと共同で学習できる代理可能性を導入する。 本手法は,確率的プログラミングフレームワークにおけるブラックボックス推論に適していることを示す。
  論文  参考訳（メタデータ） (2021-12-22T19:49:45Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。