論文の概要: Statistical Foundation of Variational Bayes Neural Networks
- arxiv url: http://arxiv.org/abs/2006.15786v1
- Date: Mon, 29 Jun 2020 03:04:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 14:12:05.911872
- Title: Statistical Foundation of Variational Bayes Neural Networks
- Title（参考訳）: 変分ベイズニューラルネットワークの統計的基礎
- Authors: Shrijita Bhattacharya and Tapabrata Maiti
- Abstract要約: 変分ベイズ(VB)は、真の後部からのサンプルの生成に伴う計算コストと時間の複雑さを回避するための有用な代替手段を提供する。
本稿では, フィードフォワード人工ニューラルネットワークモデルにおける平均場変動後部(VP)の後方整合性の基本的結果について述べる。
- 参考スコア（独自算出の注目度）: 0.456877715768796
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the popularism of Bayesian neural networks in recent years, its use
is somewhat limited in complex and big data situations due to the computational
cost associated with full posterior evaluations. Variational Bayes (VB)
provides a useful alternative to circumvent the computational cost and time
complexity associated with the generation of samples from the true posterior
using Markov Chain Monte Carlo (MCMC) techniques. The efficacy of the VB
methods is well established in machine learning literature. However, its
potential broader impact is hindered due to a lack of theoretical validity from
a statistical perspective. However there are few results which revolve around
the theoretical properties of VB, especially in non-parametric problems. In
this paper, we establish the fundamental result of posterior consistency for
the mean-field variational posterior (VP) for a feed-forward artificial neural
network model. The paper underlines the conditions needed to guarantee that the
VP concentrates around Hellinger neighborhoods of the true density function.
Additionally, the role of the scale parameter and its influence on the
convergence rates has also been discussed. The paper mainly relies on two
results (1) the rate at which the true posterior grows (2) the rate at which
the KL-distance between the posterior and variational posterior grows. The
theory provides a guideline of building prior distributions for Bayesian NN
models along with an assessment of accuracy of the corresponding VB
implementation.
- Abstract（参考訳）: 近年のベイズニューラルネットワークの普及にもかかわらず、完全な後続評価に伴う計算コストのため、複雑なデータやビッグデータの状況では多少制限されている。
変分ベイズ(vb)は、マルコフ連鎖モンテカルロ(mcmc)技術を用いて、真の後方からのサンプル生成に伴う計算コストと時間の複雑さを回避するための有用な代替手段を提供する。
VB法の有効性は機械学習文学においてよく確立されている。
しかし、その潜在的に広範な影響は、統計的観点からの理論的妥当性の欠如によって妨げられている。
しかしながら、特に非パラメトリック問題において、VBの理論的性質に反する結果はほとんどない。
本稿では,フィードフォワード人工ニューラルネットワークモデルにおける平均場変動後部(VP)の後方整合性の基本的結果を確立する。
この論文は、vpが真の密度関数のヘリンジャー近傍に集中することを保証するために必要な条件を強調する。
また,スケールパラメータの役割と収束率への影響についても考察した。
本論文は,(1) 真の後肢の成長率(2) 後方と変動後肢の間のkl距離の増大率の2つの結果に主に依存する。
この理論はベイズNNモデルの事前分布を構築し、対応するVB実装の精度を評価するためのガイドラインを提供する。
関連論文リスト
- Posterior and variational inference for deep neural networks with heavy-tailed weights [0.0]
我々は、ネットワーク重みをランダムにサンプリングする事前分布を持つベイズフレームワークにおいて、ディープニューラルネットワークを考察する。
後部分布は, ほぼ最適のミニマックス収縮速度を達成できることを示す。
また, 実験結果の変分ベイズ版も提供し, 平均場変分近似は, ほぼ最適理論的支援の恩恵を受けていることを示した。
論文 参考訳（メタデータ） (2024-06-05T15:24:20Z) - Evidence Networks: simple losses for fast, amortized, neural Bayesian
model comparison [0.0]
Evidence Networksは、最先端のメソッドがフェールした場合にベイズモデルの比較を可能にする。
リークパリティオード電力変換を導入し、新しいl-POP-Exponential'損失関数を導出する。
Evidence Networks はパラメータ空間の次元性に明示的に依存しており、後続確率密度関数の複雑さと軽度にスケール可能であることを示す。
論文 参考訳（メタデータ） (2023-05-18T18:14:53Z) - Neural Importance Sampling for Rapid and Reliable Gravitational-Wave
Inference [59.040209568168436]
まず、ニューラルネットワークを用いてベイズ後部への高速な提案を行い、その基礎となる可能性と事前に基づいて重み付けを行う。
本発明は,(1)ネットワーク不正確性のない修正後部,(2)提案案の評価と故障事例の同定のための性能診断(サンプル効率),(3)ベイズ証拠の偏りのない推定を提供する。
LIGOとVirgoで観測された42個のブラックホールをSEOBNRv4PHMとIMRPhenomHMXP波形モデルで解析した。
論文 参考訳（メタデータ） (2022-10-11T18:00:02Z) - Variational Inference of overparameterized Bayesian Neural Networks: a
theoretical and empirical study [27.86555142135798]
本稿では,ベイズニューラルネットワーク(BNN)のトレーニングに用いる変分推論(VI)について検討する。
平均フィールドVIトレーニングにおける重要な課題を指摘する。
この問題は、エビデンス(ELBO)の下位境界を2項に分解することから生じる。
論文 参考訳（メタデータ） (2022-07-08T12:31:08Z) - How Tempering Fixes Data Augmentation in Bayesian Neural Networks [22.188535244056016]
テンパリングは、拡張のモデリングから生じる誤特定を暗黙的に減らし、すなわちデータとして示す。
温度は有効サンプルサイズの役割を模倣し、増強によって提供される情報の利得を反映している。
論文 参考訳（メタデータ） (2022-05-27T11:06:56Z) - Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
我々は,推論中に深層モデルを新しい環境に適応させることを提案する。
バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。
また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
論文 参考訳（メタデータ） (2021-10-06T08:45:03Z) - An Uncertainty-Driven GCN Refinement Strategy for Organ Segmentation [53.425900196763756]
本研究では,不確実性解析とグラフ畳み込みネットワークに基づくセグメンテーション改善手法を提案する。
半教師付きグラフ学習問題を定式化するために、特定の入力ボリュームにおける畳み込みネットワークの不確実性レベルを用いる。
本手法は膵臓で1%,脾臓で2%向上し,最先端のCRF改善法よりも優れていた。
論文 参考訳（メタデータ） (2020-12-06T18:55:07Z) - Variational Bayes Neural Network: Posterior Consistency, Classification
Accuracy and Computational Challenges [0.3867363075280544]
本稿では,変分ベイズニューラルネットワーク推定手法と関連する統計理論について述べる。
この開発は、軽度の認知障害からアルツハイマー病へ移行するための予測ツールを構築する、重要なバイオメディカルエンジニアリングアプリケーションによって動機付けられている。
論文 参考訳（メタデータ） (2020-11-19T00:11:27Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳（メタデータ） (2020-04-20T18:12:56Z) - Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。
さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
論文 参考訳（メタデータ） (2020-02-24T08:52:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。