Fugu-MT 論文翻訳(概要): Do Bayesian Neural Networks Need To Be Fully Stochastic?

論文の概要: Do Bayesian Neural Networks Need To Be Fully Stochastic?

arxiv url: http://arxiv.org/abs/2211.06291v1
Date: Fri, 11 Nov 2022 16:00:21 GMT
ステータス: 処理完了
システム内更新日: 2022-11-14 15:21:35.496095
Title: Do Bayesian Neural Networks Need To Be Fully Stochastic?
Title（参考訳）: ベイジアンニューラルネットワークは、完全に確率的である必要があるか?
Authors: Mrinank Sharma, Sebastian Farquhar, Eric Nalisnick, Tom Rainforth
Abstract要約: 特に、わずか$n$の表現バイアスを持つ部分ネットワークは、$n次元予測問題に対する普遍確率予測器である。 4つの異なる推論モダリティと8つのデータセットにまたがる完全性の体系的なメリットは見つからない。部分的にネットワークが一致し、時にはメモリコストの削減にもかかわらず、完全なネットワークよりも優れています。
参考スコア（独自算出の注目度）: 27.550154528817647
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: We investigate the efficacy of treating all the parameters in a Bayesian neural network stochastically and find compelling theoretical and empirical evidence that this standard construction may be unnecessary. To this end, we prove that expressive predictive distributions require only small amounts of stochasticity. In particular, partially stochastic networks with only $n$ stochastic biases are universal probabilistic predictors for $n$-dimensional predictive problems. In empirical investigations, we find no systematic benefit of full stochasticity across four different inference modalities and eight datasets; partially stochastic networks can match and sometimes even outperform fully stochastic networks, despite their reduced memory costs.
Abstract（参考訳）: ベイズニューラルネットワークにおける全てのパラメータを統計的に扱うことの有効性について検討し、この標準構成が不要であることを示す説得力のある理論的および実証的な証拠を見出す。この目的のために、表現的予測分布は少量の確率性しか必要としないことを示す。特に、わずか$n$の確率バイアスを持つ部分確率ネットワークは、$n$次元予測問題に対する普遍確率予測器である。実験的な調査では、4つの異なる推論モダリティと8つのデータセットにまたがる完全な確率性の体系的な利点は見つからない。

関連論文リスト

Efficient Model Compression for Bayesian Neural Networks [4.179545514579061]
本研究では,ベイズモデル選択の原理を深層学習設定でエミュレートするための新しい戦略を示す。シミュレーションおよび実世界のベンチマークデータのホスト上でのプルーニングと特徴選択にこれらの確率を用いる。
論文参考訳（メタデータ） (2024-11-01T00:07:59Z)
Split personalities in Bayesian Neural Networks: the case for full marginalisation [0.0]
ベイズニューラルネットワークの真の後部分布は、非常に多様であることを示す。ネットワークの分割されたパーソナリティをキャプチャできる適切なベイズサンプリングツールを使用して、すべての後部モードを完全に切り離すだけでよい。
論文参考訳（メタデータ） (2022-05-23T09:24:37Z)
NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文参考訳（メタデータ） (2022-02-07T12:30:45Z)
Finding Everything within Random Binary Networks [11.689913953698081]
ランダムネットワークを任意の精度で近似することは、二進数$pm1$重みのランダムネットワークを単純に作ることによって証明できる。任意の対象ネットワークを任意の精度で近似できることを示すために、目的ネットワークよりも広く、より深い多対数係数である二進数$pm1$重みのランダムなネットワークを作ればよい。
論文参考訳（メタデータ） (2021-10-18T03:19:25Z)
Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文参考訳（メタデータ） (2021-10-12T01:11:07Z)
CC-Cert: A Probabilistic Approach to Certify General Robustness of Neural Networks [58.29502185344086]
安全クリティカルな機械学習アプリケーションでは、モデルを敵の攻撃から守ることが不可欠である。意味的に意味のある入力変換に対して、ディープラーニングモデルの証明可能な保証を提供することが重要である。我々はChernoff-Cramer境界に基づく新しい普遍確率的証明手法を提案する。
論文参考訳（メタデータ） (2021-09-22T12:46:04Z)
Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
線形ニューラルネットワークは、サブファンクションに分割することができる。サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
論文参考訳（メタデータ） (2021-06-15T18:34:41Z)
A Probabilistic Approach to Neural Network Pruning [20.001091112545065]
FCNとCNNの2つのプルーニング技術(ランダムおよび等級ベース)の性能について理論的に検討する。その結果、対象ネットワークから指定された任意の境界内に、表現力を持つプルーンドネットワークが存在することが判明した。
論文参考訳（メタデータ） (2021-05-20T23:19:43Z)
Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文参考訳（メタデータ） (2021-02-22T07:02:37Z)
Random Vector Functional Link Networks for Function Approximation on Manifolds [8.535815777849786]
ランダムな入力-隠蔽層重みとバイアスを持つ単一層ニューラルネットが実際に成功していることを示す。さらに、このランダム化されたニューラルネットワークアーキテクチャをユークリッド空間の滑らかでコンパクトな部分多様体上の近似関数に適用する。
論文参考訳（メタデータ） (2020-07-30T23:50:44Z)
Proving the Lottery Ticket Hypothesis: Pruning is All You Need [56.25432563818297]
抽選券仮説では、ランダムなdネットワークには、独立した訓練を受けた場合、元のネットワークの性能と競合する小さなサブネットワークが含まれている。我々は、全ての有界分布と、有界重みを持つ全ての対象ネットワークに対して、ランダム重みを持つ十分に過度にパラメータ化されたニューラルネットワークは、目標ネットワークとほぼ同じ精度のサブネットワークを、それ以上のトレーニングなしに含んでいることを証明し、さらに強い仮説を証明した。
論文参考訳（メタデータ） (2020-02-03T07:23:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。