論文の概要: Bayesian Neural Network Inference via Implicit Models and the Posterior Predictive Distribution

• arxiv url: http://arxiv.org/abs/2209.02188v1
• Date: Tue, 6 Sep 2022 02:43:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-07 12:58:06.417798
• Title: Bayesian Neural Network Inference via Implicit Models and the Posterior Predictive Distribution
• Title（参考訳）: 暗黙モデルによるベイズ型ニューラルネットワーク推定と後続予測分布
• Authors: Joel Janek Dabrowski, Daniel Edward Pagendam
• Abstract要約: 本稿では,ベイズニューラルネットワークのような複雑なモデルにおいて,近似ベイズ推論を行うための新しい手法を提案する。 このアプローチはMarkov Chain Monte Carloよりも大規模データに対してスケーラブルである。 これは、サロゲートや物理モデルのような応用に有用であると考えています。
• 参考スコア（独自算出の注目度）: 0.8122270502556371
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel approach to perform approximate Bayesian inference in complex models such as Bayesian neural networks. The approach is more scalable to large data than Markov Chain Monte Carlo, it embraces more expressive models than Variational Inference, and it does not rely on adversarial training (or density ratio estimation). We adopt the recent approach of constructing two models: (1) a primary model, tasked with performing regression or classification; and (2) a secondary, expressive (e.g. implicit) model that defines an approximate posterior distribution over the parameters of the primary model. However, we optimise the parameters of the posterior model via gradient descent according to a Monte Carlo estimate of the posterior predictive distribution -- which is our only approximation (other than the posterior model). Only a likelihood needs to be specified, which can take various forms such as loss functions and synthetic likelihoods, thus providing a form of a likelihood-free approach. Furthermore, we formulate the approach such that the posterior samples can either be independent of, or conditionally dependent upon the inputs to the primary model. The latter approach is shown to be capable of increasing the apparent complexity of the primary model. We see this being useful in applications such as surrogate and physics-based models. To promote how the Bayesian paradigm offers more than just uncertainty quantification, we demonstrate: uncertainty quantification, multi-modality, as well as an application with a recent deep forecasting neural network architecture.
• Abstract（参考訳）: 本稿では,ベイズニューラルネットワークなどの複雑なモデルにおいて近似ベイズ推定を行うための新しい手法を提案する。 このアプローチは、マルコフ連鎖モンテカルロよりも大規模データに対してよりスケーラブルであり、変分推論よりも表現力のあるモデルを採用しており、逆のトレーニング(あるいは密度比の推定)に依存しない。 我々は,(1)回帰や分類を行うための一次モデル,(2)一次モデルのパラメータに近似した後続分布を定義する二次的表現的(暗黙的)モデルという,2つのモデルを構築するための最近のアプローチを採用する。 しかし、モンテカルロの予測分布の推定値(後部モデル以外の)に基づいて、勾配降下による後部モデルのパラメータを最適化する。 可能性のみを指定する必要があり、損失関数や合成可能性といった様々な形式を取ることができるため、可能性のないアプローチの形式を提供する。 さらに, 後方試料が一次モデルへの入力に依存しない, あるいは条件的に依存できるようなアプローチを定式化する。 後者のアプローチは、一次モデルの明らかな複雑さを増大させることができる。 これは代理モデルや物理モデルのような応用に有用であると考えています。 不確実性定量化やマルチモダリティ,さらには先日のディープ予測ニューラルネットワークアーキテクチャを用いたアプリケーションなど,ベイズパラダイムが不確実性定量化以上のものを提供する方法を示す。

関連論文リスト

• Bayesian Inverse Graphics for Few-Shot Concept Learning [3.475273727432576]
  最小限のデータのみを用いて学習するベイズ的知覚モデルを提案する。 本稿では、この表現が、数ショットの分類や推定などの下流タスクにどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2024-09-12T18:30:41Z)
• von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
  円値ランダム関数上の表現的および解釈可能な分布の族を探索する。 結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。 後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
  論文  参考訳（メタデータ） (2024-06-19T01:57:21Z)
• A variational neural Bayes framework for inference on intractable posterior distributions [1.0801976288811024]
  トレーニングされたニューラルネットワークに観測データを供給することにより、モデルパラメータの後方分布を効率的に取得する。 理論的には、我々の後部はKulback-Leiblerの発散において真の後部に収束することを示す。
  論文  参考訳（メタデータ） (2024-04-16T20:40:15Z)
• Towards Model-Agnostic Posterior Approximation for Fast and Accurate Variational Autoencoders [22.77397537980102]
  我々は,真のモデルの後部の決定論的,モデルに依存しない後部近似(MAPA)を計算可能であることを示す。 我々は,(1)MAPAが真の後部傾向を捉えた低次元合成データに対する予備的な結果を示し,(2)MAPAに基づく推論は,ベースラインよりも少ない計算でより優れた密度推定を行う。
  論文  参考訳（メタデータ） (2024-03-13T20:16:21Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Model Comparison in Approximate Bayesian Computation [0.456877715768796]
  自然科学における一般的な問題は、観測されたデータに照らして競合するモデルの比較である。 この枠組みは、実際に使用されるほとんどのモデルにとって難解な確率関数の計算に依存している。 ABCにおけるベイズモデルの比較を行うための新しい効率的な手法を提案する。
  論文  参考訳（メタデータ） (2022-03-15T10:24:16Z)
• Probabilistic Modeling for Human Mesh Recovery [73.11532990173441]
  本稿では,2次元の証拠から3次元の人体復元の問題に焦点を当てた。 我々は,この問題を,入力から3Dポーズの分布へのマッピング学習として再考した。
  論文  参考訳（メタデータ） (2021-08-26T17:55:11Z)
• MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories [61.3299263929289]
  シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。 あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。 モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T12:59:16Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Mean-Field Approximation to Gaussian-Softmax Integral with Application to Uncertainty Estimation [23.38076756988258]
  ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。 平均場近似式を用いて解析的に難解な積分を計算する。 実験的に,提案手法は最先端の手法と比較して競合的に機能する。
  論文  参考訳（メタデータ） (2020-06-13T07:32:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。