論文の概要: Scalable Bayesian Deep Learning with Kernel Seed Networks
- arxiv url: http://arxiv.org/abs/2104.09005v1
- Date: Mon, 19 Apr 2021 01:42:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-21 05:18:59.634338
- Title: Scalable Bayesian Deep Learning with Kernel Seed Networks
- Title（参考訳）: カーネルシードネットワークを用いたスケーラブルベイズ型ディープラーニング
- Authors: Sam Maksoud, Kun Zhao, Can Peng, Brian C. Lovell
- Abstract要約: ディープニューラルネットワークの性能は、これらのアルゴリズムが不確実性のキャリブレーションが不十分であるという事実によって損なわれている。
bdlは分散を学ぶためにモデル重みの平均と標準偏差を保存するために別々のパラメータセットを必要とする。
本稿では,パラメータ数を2倍に増やす必要のないBDL,すなわちKSN(Kernel Seed Networks)を実行する手法を提案する。
- 参考スコア（独自算出の注目度）: 16.27093283694341
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: This paper addresses the scalability problem of Bayesian deep neural
networks. The performance of deep neural networks is undermined by the fact
that these algorithms have poorly calibrated measures of uncertainty. This
restricts their application in high risk domains such as computer aided
diagnosis and autonomous vehicle navigation. Bayesian Deep Learning (BDL)
offers a promising method for representing uncertainty in neural network.
However, BDL requires a separate set of parameters to store the mean and
standard deviation of model weights to learn a distribution. This results in a
prohibitive 2-fold increase in the number of model parameters. To address this
problem we present a method for performing BDL, namely Kernel Seed Networks
(KSN), which does not require a 2-fold increase in the number of parameters.
KSNs use 1x1 Convolution operations to learn a compressed latent space
representation of the parameter distribution. In this paper we show how this
allows KSNs to outperform conventional BDL methods while reducing the number of
required parameters by up to a factor of 6.6.
- Abstract（参考訳）: 本稿ではベイジアンディープニューラルネットワークのスケーラビリティ問題に対処する。
ディープニューラルネットワークの性能は、これらのアルゴリズムが不確実性のキャリブレーションが不十分であるという事実によって損なわれている。
これにより、コンピュータ支援診断や自律走行車ナビゲーションのようなリスクの高い領域での応用が制限される。
Bayesian Deep Learning (BDL)は、ニューラルネットワークにおける不確実性を表現するための有望な方法を提供する。
しかし、bdlは分布を学ぶためにモデル重みの平均と標準偏差を保存するために別々のパラメータセットを必要とする。
これにより、モデルパラメータの数が2倍に増加します。
この問題に対処するために,我々は,パラメータ数を2倍に増やす必要のない,カーネルシードネットワーク(ksn)と呼ばれるbdlを実行する方法を提案する。
KSNは1x1の畳み込み演算を用いてパラメータ分布の圧縮潜在空間表現を学習する。
本稿では,KSNが従来のBDL手法より優れている一方で,必要なパラメータの数を最大6.6倍に削減できることを示す。
関連論文リスト
- Spike-and-slab shrinkage priors for structurally sparse Bayesian neural networks [0.16385815610837165]
スパースディープラーニングは、基礎となるターゲット関数のスパース表現を復元することで、課題に対処する。
構造化された空間によって圧縮されたディープニューラルアーキテクチャは、低レイテンシ推論、データスループットの向上、エネルギー消費の削減を提供する。
本研究では, (i) Spike-and-Slab Group Lasso (SS-GL) と (ii) Spike-and-Slab Group Horseshoe (SS-GHS) を併用した過剰ノードを誘発する構造的疎いベイズニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2023-08-17T17:14:18Z) - Sparsifying Bayesian neural networks with latent binary variables and
normalizing flows [10.865434331546126]
潜伏二元系ベイズニューラルネットワーク(LBBNN)の2つの拡張について検討する。
まず、隠れたユニットを直接サンプリングするためにLRT(Local Reparametrization trick)を用いることで、より計算効率の良いアルゴリズムが得られる。
さらに, LBBNNパラメータの変動後分布の正規化フローを用いて, 平均体ガウス分布よりも柔軟な変動後分布を学習する。
論文 参考訳（メタデータ） (2023-05-05T09:40:28Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - Variational Neural Networks [88.24021148516319]
本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。
VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。
不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
論文 参考訳（メタデータ） (2022-07-04T15:41:02Z) - Can pruning improve certified robustness of neural networks? [106.03070538582222]
ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。
実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。
さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
論文 参考訳（メタデータ） (2022-06-15T05:48:51Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳（メタデータ） (2021-06-06T18:05:02Z) - Sparse Uncertainty Representation in Deep Learning with Inducing Weights [22.912675044223302]
我々はMatheronの条件付きガウスサンプリングルールを拡張し、高速な重量サンプリングを可能にする。
提案手法は,完全連結ニューラルネットワークとResNetを用いた予測および不確実性推定タスクにおける最先端の競争性能を実現する。
論文 参考訳（メタデータ） (2021-05-30T18:17:47Z) - Encoding the latent posterior of Bayesian Neural Networks for
uncertainty quantification [10.727102755903616]
我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。
可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。
我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
論文 参考訳（メタデータ） (2020-12-04T19:50:09Z) - Enabling certification of verification-agnostic networks via
memory-efficient semidefinite programming [97.40955121478716]
本稿では,ネットワークアクティベーションの総数にのみ線形なメモリを必要とする一階二重SDPアルゴリズムを提案する。
L-inf の精度は 1% から 88% ,6% から 40% に改善した。
また,変分オートエンコーダの復号器に対する2次安定性仕様の厳密な検証を行った。
論文 参考訳（メタデータ） (2020-10-22T12:32:29Z) - Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned
Edge Learning Over Broadband Channels [69.18343801164741]
パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。
本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
論文 参考訳（メタデータ） (2020-10-08T15:27:50Z) - Continual Learning with Extended Kronecker-factored Approximate
Curvature [33.44290346786496]
本稿では,バッチ正規化層を含むニューラルネットワークの連続学習のための2次ペナルティ手法を提案する。
K-FAC(Kronecker-factored approximate curvature)はニューラルネットワークのヘシアンを実際に計算するために広く用いられている。
我々は、K-FAC法を拡張し、サンプル間関係を考慮し、ディープニューラルネットワークのヘシアンを適切に近似することができる。
論文 参考訳（メタデータ） (2020-04-16T07:58:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。