論文の概要: Bayesian Perceptron: Towards fully Bayesian Neural Networks

• arxiv url: http://arxiv.org/abs/2009.01730v2
• Date: Thu, 10 Sep 2020 05:02:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-22 07:07:08.167753
• Title: Bayesian Perceptron: Towards fully Bayesian Neural Networks
• Title（参考訳）: Bayesian Perceptron:完全なベイズニューラルネットワークを目指して
• Authors: Marco F. Huber
• Abstract要約: パーセプトロンのトレーニングと予測は、閉形式のベイズ推論フレームワーク内で実行される。 パーセプトロンの重みと予測はガウス確率変数と見なされる。 このアプローチは計算に高価な勾配計算を必要とせず、さらにシーケンシャルな学習を可能にする。
• 参考スコア（独自算出の注目度）: 5.5510642465908715
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Artificial neural networks (NNs) have become the de facto standard in machine learning. They allow learning highly nonlinear transformations in a plethora of applications. However, NNs usually only provide point estimates without systematically quantifying corresponding uncertainties. In this paper a novel approach towards fully Bayesian NNs is proposed, where training and predictions of a perceptron are performed within the Bayesian inference framework in closed-form. The weights and the predictions of the perceptron are considered Gaussian random variables. Analytical expressions for predicting the perceptron's output and for learning the weights are provided for commonly used activation functions like sigmoid or ReLU. This approach requires no computationally expensive gradient calculations and further allows sequential learning.
• Abstract（参考訳）: ニューラルネットワーク(NN)は、機械学習のデファクトスタンダードになっている。 多くのアプリケーションで非常に非線形な変換を学ぶことができる。 しかし、NNは通常、対応する不確実性を体系的に定量化せずに点推定のみを提供する。 本稿では, 完全ベイズ型nnsに対する新しいアプローチを提案し, パーセプトロンの訓練と予測をベイズ型推論フレームワーク内でクローズド形式で行う。 パーセプトロンの重みと予測はガウス確率変数と見なされる。 シグモイドやReLUのような一般的に用いられる活性化機能に対して、パーセプトロンの出力を予測し、重量を学習するための解析式を提供する。 このアプローチは計算コストの高い勾配計算を必要とせず、さらに逐次学習を可能にする。

関連論文リスト

• Approximation with Random Shallow ReLU Networks with Applications to Model Reference Adaptive Control [0.0]
  ランダムに生成される重みとバイアスを持つReLUネットワークは、高い確率で$O(m-1/2)$の誤りを生じることを示す。 本稿では,モデル参照適応制御アプリケーションにおいて,必要な精度を近似するために,その結果をどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2024-03-25T19:39:17Z)
• Improved uncertainty quantification for neural networks with Bayesian last layer [0.0]
  不確実性定量化は機械学習において重要な課題である。 本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
  論文  参考訳（メタデータ） (2023-02-21T20:23:56Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Kalman Bayesian Neural Networks for Closed-form Online Learning [5.220940151628734]
  閉形式ベイズ推論によるBNN学習のための新しい手法を提案する。 出力の予測分布の計算と重み分布の更新をベイズフィルタおよび平滑化問題として扱う。 これにより、勾配降下のないシーケンシャル/オンライン方式でネットワークパラメータをトレーニングするためのクローズドフォーム表現が可能になる。
  論文  参考訳（メタデータ） (2021-10-03T07:29:57Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Fast Adaptation with Linearized Neural Networks [35.43406281230279]
  ニューラルネットワークの線形化の帰納的バイアスについて検討し,全ネットワーク関数の驚くほどよい要約であることを示した。 この発見に触発されて,これらの帰納的バイアスをネットワークのヤコビアンから設計されたカーネルを通してガウス過程に埋め込む手法を提案する。 この設定では、領域適応は不確実性推定を伴う解釈可能な後方推論の形式を取る。
  論文  参考訳（メタデータ） (2021-03-02T03:23:03Z)
• Learnable Uncertainty under Laplace Approximations [65.24701908364383]
  我々は、予測そのものに分離された方法で不確実性を明示的に「訓練」するために形式主義を発展させる。 これらのユニットは不確実性を認識した目標によってトレーニング可能であり、標準的なラプラス近似の性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-10-06T13:43:33Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
  ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。 この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。 この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
  論文  参考訳（メタデータ） (2020-08-19T12:35:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。