論文の概要: Bayesian Neural Network Inference via Implicit Models and the Posterior
Predictive Distribution
- arxiv url: http://arxiv.org/abs/2209.02188v1
- Date: Tue, 6 Sep 2022 02:43:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-07 12:58:06.417798
- Title: Bayesian Neural Network Inference via Implicit Models and the Posterior
Predictive Distribution
- Title(参考訳): 暗黙モデルによるベイズ型ニューラルネットワーク推定と後続予測分布
- Authors: Joel Janek Dabrowski, Daniel Edward Pagendam
- Abstract要約: 本稿では,ベイズニューラルネットワークのような複雑なモデルにおいて,近似ベイズ推論を行うための新しい手法を提案する。
このアプローチはMarkov Chain Monte Carloよりも大規模データに対してスケーラブルである。
これは、サロゲートや物理モデルのような応用に有用であると考えています。
- 参考スコア(独自算出の注目度): 0.8122270502556371
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a novel approach to perform approximate Bayesian inference in
complex models such as Bayesian neural networks. The approach is more scalable
to large data than Markov Chain Monte Carlo, it embraces more expressive models
than Variational Inference, and it does not rely on adversarial training (or
density ratio estimation). We adopt the recent approach of constructing two
models: (1) a primary model, tasked with performing regression or
classification; and (2) a secondary, expressive (e.g. implicit) model that
defines an approximate posterior distribution over the parameters of the
primary model. However, we optimise the parameters of the posterior model via
gradient descent according to a Monte Carlo estimate of the posterior
predictive distribution -- which is our only approximation (other than the
posterior model). Only a likelihood needs to be specified, which can take
various forms such as loss functions and synthetic likelihoods, thus providing
a form of a likelihood-free approach. Furthermore, we formulate the approach
such that the posterior samples can either be independent of, or conditionally
dependent upon the inputs to the primary model. The latter approach is shown to
be capable of increasing the apparent complexity of the primary model. We see
this being useful in applications such as surrogate and physics-based models.
To promote how the Bayesian paradigm offers more than just uncertainty
quantification, we demonstrate: uncertainty quantification, multi-modality, as
well as an application with a recent deep forecasting neural network
architecture.
- Abstract(参考訳): 本稿では,ベイズニューラルネットワークなどの複雑なモデルにおいて近似ベイズ推定を行うための新しい手法を提案する。
このアプローチは、マルコフ連鎖モンテカルロよりも大規模データに対してよりスケーラブルであり、変分推論よりも表現力のあるモデルを採用しており、逆のトレーニング(あるいは密度比の推定)に依存しない。
我々は,(1)回帰や分類を行うための一次モデル,(2)一次モデルのパラメータに近似した後続分布を定義する二次的表現的(暗黙的)モデルという,2つのモデルを構築するための最近のアプローチを採用する。
しかし、モンテカルロの予測分布の推定値(後部モデル以外の)に基づいて、勾配降下による後部モデルのパラメータを最適化する。
可能性のみを指定する必要があり、損失関数や合成可能性といった様々な形式を取ることができるため、可能性のないアプローチの形式を提供する。
さらに, 後方試料が一次モデルへの入力に依存しない, あるいは条件的に依存できるようなアプローチを定式化する。
後者のアプローチは、一次モデルの明らかな複雑さを増大させることができる。
これは代理モデルや物理モデルのような応用に有用であると考えています。
不確実性定量化やマルチモダリティ,さらには先日のディープ予測ニューラルネットワークアーキテクチャを用いたアプリケーションなど,ベイズパラダイムが不確実性定量化以上のものを提供する方法を示す。
関連論文リスト
- Towards Model-Agnostic Posterior Approximation for Fast and Accurate Variational Autoencoders [22.77397537980102]
我々は,真のモデルの後部の決定論的,モデルに依存しない後部近似(MAPA)を計算可能であることを示す。
我々は,(1)MAPAが真の後部傾向を捉えた低次元合成データに対する予備的な結果を示し,(2)MAPAに基づく推論は,ベースラインよりも少ない計算でより優れた密度推定を行う。
論文 参考訳(メタデータ) (2024-03-13T20:16:21Z) - On the Efficient Marginalization of Probabilistic Sequence Models [3.5897534810405403]
この論文は、複雑な確率的クエリに答えるために自己回帰モデルを使うことに焦点を当てている。
我々は,モデルに依存しない逐次モデルにおいて,境界化のための新しい,効率的な近似手法のクラスを開発する。
論文 参考訳(メタデータ) (2024-03-06T19:29:08Z) - Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳(メタデータ) (2023-09-02T01:27:53Z) - Model Comparison in Approximate Bayesian Computation [0.456877715768796]
自然科学における一般的な問題は、観測されたデータに照らして競合するモデルの比較である。
この枠組みは、実際に使用されるほとんどのモデルにとって難解な確率関数の計算に依存している。
ABCにおけるベイズモデルの比較を行うための新しい効率的な手法を提案する。
論文 参考訳(メタデータ) (2022-03-15T10:24:16Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳(メタデータ) (2021-10-20T12:25:22Z) - Probabilistic Modeling for Human Mesh Recovery [73.11532990173441]
本稿では,2次元の証拠から3次元の人体復元の問題に焦点を当てた。
我々は,この問題を,入力から3Dポーズの分布へのマッピング学習として再考した。
論文 参考訳(メタデータ) (2021-08-26T17:55:11Z) - Loss function based second-order Jensen inequality and its application
to particle variational inference [112.58907653042317]
粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。
PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。
我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
論文 参考訳(メタデータ) (2021-06-09T12:13:51Z) - MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood
Inference from Sampled Trajectories [61.3299263929289]
シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。
あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。
モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
論文 参考訳(メタデータ) (2021-06-03T12:59:16Z) - Transformation Models for Flexible Posteriors in Variational Bayes [0.0]
ニューラルネットワークでは、変分推論は、計算が難しい後部を近似するために広く使われている。
変換モデルは任意の分布に適合するほど柔軟です。
TM-VIは、1つのパラメータを持つモデルの複雑な後部を正確に近似することができる。
論文 参考訳(メタデータ) (2021-06-01T14:43:47Z) - A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。
線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。
以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文 参考訳(メタデータ) (2020-10-27T17:56:14Z) - Mean-Field Approximation to Gaussian-Softmax Integral with Application
to Uncertainty Estimation [23.38076756988258]
ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。
平均場近似式を用いて解析的に難解な積分を計算する。
実験的に,提案手法は最先端の手法と比較して競合的に機能する。
論文 参考訳(メタデータ) (2020-06-13T07:32:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。