論文の概要: Locally Learned Synaptic Dropout for Complete Bayesian Inference
- arxiv url: http://arxiv.org/abs/2111.09780v1
- Date: Thu, 18 Nov 2021 16:23:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-19 14:43:56.340884
- Title: Locally Learned Synaptic Dropout for Complete Bayesian Inference
- Title（参考訳）: 完全ベイズ推論のための局所学習シナプスドロップアウト
- Authors: Kevin L. McKee, Ian C. Crandell, Rishidev Chaudhuri, Randall C.
O'Reilly
- Abstract要約: 以前にも、ランダムな故障が観測された分布からネットワークをサンプリングする方法は示されていない。
集団コードに基づくニューラルアクティビティの解釈では、両方のタイプの分布をシナプス障害のみで表現し、サンプル化することができる。
- 参考スコア（独自算出の注目度）: 5.926384731231605
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The Bayesian brain hypothesis postulates that the brain accurately operates
on statistical distributions according to Bayes' theorem. The random failure of
presynaptic vesicles to release neurotransmitters may allow the brain to sample
from posterior distributions of network parameters, interpreted as epistemic
uncertainty. It has not been shown previously how random failures might allow
networks to sample from observed distributions, also known as aleatoric or
residual uncertainty. Sampling from both distributions enables probabilistic
inference, efficient search, and creative or generative problem solving. We
demonstrate that under a population-code based interpretation of neural
activity, both types of distribution can be represented and sampled with
synaptic failure alone. We first define a biologically constrained neural
network and sampling scheme based on synaptic failure and lateral inhibition.
Within this framework, we derive drop-out based epistemic uncertainty, then
prove an analytic mapping from synaptic efficacy to release probability that
allows networks to sample from arbitrary, learned distributions represented by
a receiving layer. Second, our result leads to a local learning rule by which
synapses adapt their release probabilities. Our result demonstrates complete
Bayesian inference, related to the variational learning method of dropout, in a
biologically constrained network using only locally-learned synaptic failure
rates.
- Abstract（参考訳）: ベイズ脳仮説は、脳がベイズの定理に従って統計的分布に基づいて正確に動作していると仮定している。
シナプス前小胞の神経伝達物質放出のランダムな失敗は、脳がネットワークパラメータの後方分布からサンプルを採取することを可能にする。
以前にも、ランダムな故障が観測された分布からネットワークをサンプリングする方法は示されていない。
両方の分布からサンプリングすることで確率的推論、効率的な探索、創造的あるいは生成的問題解決が可能になる。
個体群コードに基づく神経活動の解釈により,両種類の分布を相乗的障害のみで表現し,サンプル化できることを実証する。
まず,シナプス障害と側方抑制に基づく生物学的拘束型ニューラルネットワークとサンプリングスキームを定義する。
このフレームワークの中で、ドロップアウトに基づく認識の不確かさを導出し、シナプス効果から解放確率への解析的マッピングを証明し、ネットワークが受信層で表される任意の学習された分布からサンプル化できるようにする。
第2に,この結果は,シナプスがリリース確率に適応する局所学習ルールをもたらす。
その結果,局所学習されたシナプス障害率のみを用いた生物学的制約付きネットワークにおいて,ドロップアウトの変分学習法に関連する完全なベイズ推定が得られた。
関連論文リスト
- Expressive probabilistic sampling in recurrent neural networks [4.3900330990701235]
本稿では, 任意の確率分布から, 出力単位を分離した再帰型ニューラルネットワークの発火速度のダイナミクスをサンプリングできることを示す。
本稿では, RSNがLangevinサンプリングを実装しているような繰り返しおよび出力重みを求める, スコアマッチングに基づく効率的なトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-08-22T22:20:39Z) - Learning Theory of Distribution Regression with Neural Networks [6.961253535504979]
完全連結ニューラルネットワーク(FNN)による近似理論と分布回帰の学習理論を確立する。
古典回帰法とは対照的に、分布回帰の入力変数は確率測度である。
論文 参考訳（メタデータ） (2023-07-07T09:49:11Z) - Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。
トラクタブル回路において,これを効率的に計算する方法を示す。
我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文 参考訳（メタデータ） (2023-02-28T00:04:22Z) - Looking at the posterior: accuracy and uncertainty of neural-network
predictions [0.0]
予測精度はてんかんとアレタリック不確実性の両方に依存している。
本稿では,共通不確実性に基づく手法よりも優れた新たな獲得関数を提案する。
論文 参考訳（メタデータ） (2022-11-26T16:13:32Z) - Adaptive Synaptic Failure Enables Sampling from Posterior Predictive
Distributions in the Brain [3.57214198937538]
多くの人はシナプス障害が脳における変分、すなわち近似的ベイズ推論のメカニズムを構成すると推測している。
学習したネットワーク重みに伝達確率を適応させることにより、シナプス故障はモデル不確実性だけでなく、完全な後続予測分布にも適用可能であることを示す。
論文 参考訳（メタデータ） (2022-10-04T15:41:44Z) - Variational Neural Networks [88.24021148516319]
本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。
VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。
不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
論文 参考訳（メタデータ） (2022-07-04T15:41:02Z) - Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
線形ニューラルネットワークは、サブファンクションに分割することができる。
サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。
完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
論文 参考訳（メタデータ） (2021-06-15T18:34:41Z) - Adversarial Examples Detection with Bayesian Neural Network [57.185482121807716]
本稿では,ランダムな成分が予測器の滑らかさを向上できるという観測によって動機づけられた敵の例を検出するための新しい枠組みを提案する。
本稿では,BATer を略した新しいベイズ対向型サンプル検出器を提案し,対向型サンプル検出の性能を向上させる。
論文 参考訳（メタデータ） (2021-05-18T15:51:24Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。
本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
論文 参考訳（メタデータ） (2020-12-05T17:30:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。