論文の概要: Variational EP with Probabilistic Backpropagation for Bayesian Neural Networks

• arxiv url: http://arxiv.org/abs/2303.01540v1
• Date: Thu, 2 Mar 2023 19:09:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-06 17:14:59.462565
• Title: Variational EP with Probabilistic Backpropagation for Bayesian Neural Networks
• Title（参考訳）: ベイズニューラルネットワークの確率的バックプロパゲーションによる変動EP
• Authors: Kehinde Olobatuyi
• Abstract要約: 本稿では,ネットワーク重みを階層的に表した2層ニューラルネットワークモデル構造を用いた非線形ロジスティック回帰手法を提案する。 私は計算効率のよいアルゴリズムを導き出し、その複雑さは独立したスパースロジスティックモデルの集合と同様にスケールする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: I propose a novel approach for nonlinear Logistic regression using a two-layer neural network (NN) model structure with hierarchical priors on the network weights. I present a hybrid of expectation propagation called Variational Expectation Propagation approach (VEP) for approximate integration over the posterior distribution of the weights, the hierarchical scale parameters of the priors and zeta. Using a factorized posterior approximation I derive a computationally efficient algorithm, whose complexity scales similarly to an ensemble of independent sparse logistic models. The approach can be extended beyond standard activation functions and NN model structures to form flexible nonlinear binary predictors from multiple sparse linear models. I consider a hierarchical Bayesian model with logistic regression likelihood and a Gaussian prior distribution over the parameters called weights and hyperparameters. I work in the perspective of E step and M step for computing the approximating posterior and updating the parameters using the computed posterior respectively.
• Abstract（参考訳）: 本稿では,ネットワーク重みを階層的に表した2層ニューラルネットワークモデル構造を用いた非線形ロジスティック回帰手法を提案する。 本稿では,重みの後方分布,プリエントとゼータの階層的スケールパラメータを近似的に積分するために,変分期待伝播法 (vep) と呼ばれる期待伝播のハイブリッドを提案する。 因数分解後近似を用いて計算効率の良いアルゴリズムを導いており、その複雑性は独立なスパースロジスティックモデルの集合と同様にスケールする。 この手法は、標準的なアクティベーション関数やNNモデル構造を超えて、複数のスパース線形モデルから柔軟な非線形バイナリ予測器を形成することができる。 重みとハイパーパラメータと呼ばれるパラメータ上のロジスティック回帰確率とガウス事前分布を持つ階層ベイズモデルを考える。 私は、計算された後段を用いて近似後段とパラメータを更新するためのeステップとmステップの観点で作業します。

関連論文リスト

• Posterior and variational inference for deep neural networks with heavy-tailed weights [0.0]
  我々は、ネットワーク重みをランダムにサンプリングする事前分布を持つベイズフレームワークにおいて、ディープニューラルネットワークを考察する。 後部分布は, ほぼ最適のミニマックス収縮速度を達成できることを示す。 また, 実験結果の変分ベイズ版も提供し, 平均場変分近似は, ほぼ最適理論的支援の恩恵を受けていることを示した。
  論文  参考訳（メタデータ） (2024-06-05T15:24:20Z)
• A variational neural Bayes framework for inference on intractable posterior distributions [1.0801976288811024]
  トレーニングされたニューラルネットワークに観測データを供給することにより、モデルパラメータの後方分布を効率的に取得する。 理論的には、我々の後部はKulback-Leiblerの発散において真の後部に収束することを示す。
  論文  参考訳（メタデータ） (2024-04-16T20:40:15Z)
• SPDE priors for uncertainty quantification of end-to-end neural data assimilation schemes [4.213142548113385]
  ディープラーニングコミュニティの最近の進歩は、データ同化変動フレームワークを組み込んだニューラルネットワークとしてこの問題に対処する上で有効である。 本研究では、SPDEに基づくプロセスから、空間と時間の両方で非定常共分散を扱える事前モデルを推定する。 我々のニューラル変分法は、両方の状態SPDEパラメトリゼーションによる拡張状態定式化を組み込むように修正されている。
  論文  参考訳（メタデータ） (2024-02-02T19:18:12Z)
• A Bayesian Take on Gaussian Process Networks [1.7188280334580197]
  この研究はモンテカルロ法とマルコフ・チェイン・モンテカルロ法を実装し、ネットワーク構造の後方分布からサンプリングする。 提案手法は,ネットワークのグラフィカルな構造を復元する上で,最先端のアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-20T08:38:31Z)
• Joint Bayesian Inference of Graphical Structure and Parameters with a Single Generative Flow Network [59.79008107609297]
  本稿では,ベイジアンネットワークの構造上の結合後部を近似する手法を提案する。 サンプリングポリシが2フェーズプロセスに従う単一のGFlowNetを使用します。 パラメータは後部分布に含まれるため、これは局所確率モデルに対してより柔軟である。
  論文  参考訳（メタデータ） (2023-05-30T19:16:44Z)
• Prior Density Learning in Variational Bayesian Phylogenetic Parameters Inference [1.03590082373586]
  本稿では,勾配に基づく手法とニューラルネットワークに基づくパラメータ化を用いて,それらのパラメータを学習することで,先行密度の剛性を緩和する手法を提案する。 実験の結果, 分岐長と進化モデルパラメータを推定する上で, 提案手法は強力であることが示唆された。
  論文  参考訳（メタデータ） (2023-02-06T01:29:15Z)
• Variational Laplace Autoencoders [53.08170674326728]
  変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。 完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。 また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:27Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Estimation of Switched Markov Polynomial NARX models [75.91002178647165]
  非線形自己回帰(NARX)成分を特徴とするハイブリッド力学系のモデル群を同定する。 提案手法は, 特定の回帰器を持つ3つの非線形サブモデルからなるSMNARX問題に対して実証される。
  論文  参考訳（メタデータ） (2020-09-29T15:00:47Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。