Fugu-MT 論文翻訳(概要): Bayesian neural networks via MCMC: a Python-based tutorial

論文の概要: Bayesian neural networks via MCMC: a Python-based tutorial

arxiv url: http://arxiv.org/abs/2304.02595v2
Date: Tue, 2 Apr 2024 12:38:25 GMT
ステータス: 処理完了
システム内更新日: 2024-04-04 13:51:35.901796
Title: Bayesian neural networks via MCMC: a Python-based tutorial
Title（参考訳）: MCMCによるベイズニューラルネットワーク : Pythonベースのチュートリアル
Authors: Rohitash Chandra, Royce Chen, Joshua Simmons,
Abstract要約: 変分推論とマルコフ連鎖モンテカルロサンプリング法を用いてベイズ推定を行う。このチュートリアルはPythonのコードに、その使用と拡張を可能にするデータとインストラクションを提供する。
参考スコア（独自算出の注目度）: 0.17999333451993949
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Bayesian inference provides a methodology for parameter estimation and uncertainty quantification in machine learning and deep learning methods. Variational inference and Markov Chain Monte-Carlo (MCMC) sampling methods are used to implement Bayesian inference. In the past three decades, MCMC sampling methods have faced some challenges in being adapted to larger models (such as in deep learning) and big data problems. Advanced proposal distributions that incorporate gradients, such as a Langevin proposal distribution, provide a means to address some of the limitations of MCMC sampling for Bayesian neural networks. Furthermore, MCMC methods have typically been constrained to statisticians and currently not well-known among deep learning researchers. We present a tutorial for MCMC methods that covers simple Bayesian linear and logistic models, and Bayesian neural networks. The aim of this tutorial is to bridge the gap between theory and implementation via coding, given a general sparsity of libraries and tutorials to this end. This tutorial provides code in Python with data and instructions that enable their use and extension. We provide results for some benchmark problems showing the strengths and weaknesses of implementing the respective Bayesian models via MCMC. We highlight the challenges in sampling multi-modal posterior distributions for the case of Bayesian neural networks and the need for further improvement of convergence diagnosis methods.
Abstract（参考訳）: ベイズ推論は、機械学習とディープラーニングの手法におけるパラメータ推定と不確実性定量化のための方法論を提供する。変分推論とマルコフ連鎖モンテカルロ(MCMC)サンプリング法を用いてベイズ推定を行う。過去30年間、MCMCサンプリング手法は、大規模なモデル(ディープラーニングなど)やビッグデータ問題に適応する上で、いくつかの課題に直面してきた。 Langevinの提案分布のような勾配を組み込んだ高度な提案分布は、ベイズニューラルネットワークのMCMCサンプリングの制限に対処する手段を提供する。さらに、MCMC法は統計学者に限られており、現在はディープラーニング研究者の間では知られていない。本稿では,単純なベイズ線形およびロジスティックモデルとベイズニューラルネットワークをカバーするMCMC手法のチュートリアルを提案する。このチュートリアルの目的は、この目的を達成するために、ライブラリやチュートリアルが広く散在していることを考えると、コーディングを通じて理論と実装のギャップを埋めることである。このチュートリアルはPythonのコードに、その使用と拡張を可能にするデータとインストラクションを提供する。 MCMCを用いて各ベイズモデルを実装する際の長所と短所を示すベンチマーク問題について報告する。ベイズニューラルネットワークの場合,多モード後部分布をサンプリングする際の課題と収束診断法の改善の必要性を強調した。

関連論文リスト

A Rate-Distortion View of Uncertainty Quantification [36.85921945174863]
教師付き学習では、入力がトレーニングデータに近接していることを理解することは、モデルが信頼できる予測に達する十分な証拠を持っているかどうかを判断するのに役立つ。本稿では,この特性でディープニューラルネットワークを強化するための新しい手法であるDistance Aware Bottleneck (DAB)を紹介する。
論文参考訳（メタデータ） (2024-06-16T01:33:22Z)
Knowledge Removal in Sampling-based Bayesian Inference [86.14397783398711]
単一のデータ削除要求が来ると、企業は大量のリソースで学んだモデル全体を削除する必要があるかもしれない。既存の研究は、明示的にパラメータ化されたモデルのためにデータから学んだ知識を取り除く方法を提案する。本稿では,MCMCのための機械学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2022-03-24T10:03:01Z)
Multilevel Bayesin Deep Neural Networks [0.0]
我々は、ディープニューラルネットワーク(NN)、特に、クラスニューラルネットワーク(TNN)に関連付けられた推論について検討する。本研究では,このようなモデルに対するマルチレベルモンテカルロ法(MLMC)を提案する。
論文参考訳（メタデータ） (2022-03-24T09:49:27Z)
BatchFormer: Learning to Explore Sample Relationships for Robust Representation Learning [93.38239238988719]
本稿では,各ミニバッチからサンプル関係を学習可能なディープニューラルネットワークを提案する。 BatchFormerは各ミニバッチのバッチ次元に適用され、トレーニング中のサンプル関係を暗黙的に探索する。我々は10以上のデータセットに対して広範な実験を行い、提案手法は異なるデータ不足アプリケーションにおいて大幅な改善を実現する。
論文参考訳（メタデータ） (2022-03-03T05:31:33Z)
Bayesian Structure Learning with Generative Flow Networks [85.84396514570373]
ベイズ構造学習では、データから有向非巡回グラフ(DAG)上の分布を推定することに興味がある。近年,ジェネレーティブ・フロー・ネットワーク(GFlowNets)と呼ばれる確率モデルのクラスが,ジェネレーティブ・モデリングの一般的なフレームワークとして紹介されている。 DAG-GFlowNetと呼ばれる本手法は,DAGよりも後方の正確な近似を提供する。
論文参考訳（メタデータ） (2022-02-28T15:53:10Z)
Impact of Parameter Sparsity on Stochastic Gradient MCMC Methods for Bayesian Deep Learning [15.521736934292354]
本稿では,分散ネットワーク構造がストレージコストと推論実行時間とを柔軟にトレードオフする可能性について検討する。ランダムに選択されたサブストラクチャのクラスは、最先端の反復的プルーニング法から派生したサブストラクチャと同様に実行可能であることを示す。
論文参考訳（メタデータ） (2022-02-08T10:34:05Z)
Learning to Learn to Demodulate with Uncertainty Quantification via Bayesian Meta-Learning [59.014197664747165]
本稿では, よく校正された数パイロット復調器の取得を目的とした変分推論によるベイズ的メタラーニングについて紹介する。その結果得られたベイズアンサンブルは、復調のためにニューラルネットワークの複数のインスタンスを実行する計算コストにおいて、より良い校正されたソフトな決定を提供する。
論文参考訳（メタデータ） (2021-08-02T11:07:46Z)
Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文参考訳（メタデータ） (2021-06-17T17:26:31Z)
Bayesian graph convolutional neural networks via tempered MCMC [0.41998444721319217]
畳み込みニューラルネットワークのようなディープラーニングモデルは、画像やマルチメディアタスクに長い間適用されてきた。最近では、グラフで表現できる非構造化データにもっと注意が払われている。これらのタイプのデータは、健康と医学、ソーシャルネットワーク、および研究データリポジトリでよく見られます。
論文参考訳（メタデータ） (2021-04-17T04:03:25Z)
Novel Deep neural networks for solving Bayesian statistical inverse [0.0]
MCMCルーチン内での前方解に対する分数的なディープニューラルネットワークに基づくアプローチを提案する。近似誤差の推定について考察し、いくつかの数値例を通してアプローチの効率について述べる。
論文参考訳（メタデータ） (2021-02-08T02:54:46Z)
Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できるこのモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。