論文の概要: Multilevel Bayesin Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2203.12961v1
• Date: Thu, 24 Mar 2022 09:49:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-25 15:29:13.010001
• Title: Multilevel Bayesin Deep Neural Networks
• Title（参考訳）: 多レベルベイズイン深層ニューラルネットワーク
• Authors: Neil K. Chada, Ajay Jasra, Kody J. H. Law, Sumeetpal S. Singh
• Abstract要約: 我々は、ディープニューラルネットワーク(NN)、特に、クラスニューラルネットワーク(TNN)に関連付けられた推論について検討する。 本研究では,このようなモデルに対するマルチレベルモンテカルロ法(MLMC)を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this article we consider Bayesian inference associated to deep neural networks (DNNs) and in particular, trace-class neural network (TNN) priors which were proposed by Sell et al. [39]. Such priors were developed as more robust alternatives to classical architectures in the context of inference problems. For this work we develop multilevel Monte Carlo (MLMC) methods for such models. MLMC is a popular variance reduction technique, with particular applications in Bayesian statistics and uncertainty quantification. We show how a particular advanced MLMC method that was introduced in [4] can be applied to Bayesian inference from DNNs and establish mathematically, that the computational cost to achieve a particular mean square error, associated to posterior expectation computation, can be reduced by several orders, versus more conventional techniques. To verify such results we provide numerous numerical experiments on model problems arising in machine learning. These include Bayesian regression, as well as Bayesian classification and reinforcement learning.
• Abstract（参考訳）: 本稿では、ディープニューラルネットワーク(DNN)に関連するベイズ推論、特にSellらによって提案されたトレースクラスニューラルネットワーク(TNN)の先例について考察する。 [39]. このような先行は、推論問題の文脈において古典的アーキテクチャのより堅牢な代替品として開発された。 本研究では,このようなモデルに対するマルチレベルモンテカルロ法(MLMC)を提案する。 MLMCは、ベイズ統計学と不確実性定量化に特に応用された、一般的な分散還元手法である。 4] で導入された特定の高度なmlmc法を, dnn からベイズ推定に適用し, 数学的に確立し, 後方期待計算に関連する特定の平均二乗誤差を達成する計算コストを, 従来の手法と比較して数桁削減できることを示した。 このような結果を検証するために,機械学習で発生するモデル問題の数値実験を多数実施する。 これらにはベイジアン回帰やベイジアン分類、強化学習が含まれる。

関連論文リスト

• Scalable Bayesian Inference in the Era of Deep Learning: From Gaussian Processes to Deep Neural Networks [0.5827521884806072]
  大規模なデータセットでトレーニングされた大規模なニューラルネットワークは、マシンラーニングの主要なパラダイムになっています。 この論文は、モデル不確実性を持つニューラルネットワークを装備するためのスケーラブルな手法を開発する。
  論文  参考訳（メタデータ） (2024-04-29T23:38:58Z)
• Bayesian neural networks via MCMC: a Python-based tutorial [0.17999333451993949]
  変分推論とマルコフ連鎖モンテカルロサンプリング法を用いてベイズ推定を行う。 このチュートリアルはPythonのコードに、その使用と拡張を可能にするデータとインストラクションを提供する。
  論文  参考訳（メタデータ） (2023-04-02T02:19:15Z)
• Scalable computation of prediction intervals for neural networks via matrix sketching [79.44177623781043]
  既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。 本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-06T13:18:31Z)
• Low-bit Quantization of Recurrent Neural Network Language Models Using Alternating Direction Methods of Multipliers [67.688697838109]
  本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。 2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
  論文  参考訳（メタデータ） (2021-11-29T09:30:06Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
  ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。 また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
  論文  参考訳（メタデータ） (2021-04-29T15:38:46Z)
• Novel Deep neural networks for solving Bayesian statistical inverse [0.0]
  MCMCルーチン内での前方解に対する分数的なディープニューラルネットワークに基づくアプローチを提案する。 近似誤差の推定について考察し、いくつかの数値例を通してアプローチの効率について述べる。
  論文  参考訳（メタデータ） (2021-02-08T02:54:46Z)
• Variational Bayes Neural Network: Posterior Consistency, Classification Accuracy and Computational Challenges [0.3867363075280544]
  本稿では,変分ベイズニューラルネットワーク推定手法と関連する統計理論について述べる。 この開発は、軽度の認知障害からアルツハイマー病へ移行するための予測ツールを構築する、重要なバイオメディカルエンジニアリングアプリケーションによって動機付けられている。
  論文  参考訳（メタデータ） (2020-11-19T00:11:27Z)
• Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
  ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。 この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。 この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
  論文  参考訳（メタデータ） (2020-08-19T12:35:55Z)
• Amortized Bayesian Inference for Models of Cognition [0.1529342790344802]
  専門的なニューラルネットワークアーキテクチャを用いたシミュレーションベース推論の最近の進歩は、ベイズ近似計算の多くの過去の問題を回避している。 本稿では,アモータイズされたベイズパラメータの推定とモデル比較について概説する。
  論文  参考訳（メタデータ） (2020-05-08T08:12:15Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。