論文の概要: Sparse Uncertainty Representation in Deep Learning with Inducing Weights
- arxiv url: http://arxiv.org/abs/2105.14594v1
- Date: Sun, 30 May 2021 18:17:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-02 09:45:25.314225
- Title: Sparse Uncertainty Representation in Deep Learning with Inducing Weights
- Title（参考訳）: 重み付き深層学習におけるスパース不確かさ表現
- Authors: Hippolyt Ritter, Martin Kukla, Cheng Zhang, Yingzhen Li
- Abstract要約: 我々はMatheronの条件付きガウスサンプリングルールを拡張し、高速な重量サンプリングを可能にする。
提案手法は,完全連結ニューラルネットワークとResNetを用いた予測および不確実性推定タスクにおける最先端の競争性能を実現する。
- 参考スコア（独自算出の注目度）: 22.912675044223302
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bayesian neural networks and deep ensembles represent two modern paradigms of
uncertainty quantification in deep learning. Yet these approaches struggle to
scale mainly due to memory inefficiency issues, since they require parameter
storage several times higher than their deterministic counterparts. To address
this, we augment the weight matrix of each layer with a small number of
inducing weights, thereby projecting the uncertainty quantification into such
low dimensional spaces. We further extend Matheron's conditional Gaussian
sampling rule to enable fast weight sampling, which enables our inference
method to maintain reasonable run-time as compared with ensembles. Importantly,
our approach achieves competitive performance to the state-of-the-art in
prediction and uncertainty estimation tasks with fully connected neural
networks and ResNets, while reducing the parameter size to $\leq 24.3\%$ of
that of a $single$ neural network.
- Abstract（参考訳）: ベイズニューラルネットワークとディープアンサンブルは、ディープラーニングにおける不確実性定量化の2つの近代パラダイムを表している。
しかし、これらのアプローチは、主にメモリ不効率の問題のため、パラメータストレージが決定論的よりも数倍高いため、スケールするのに苦労する。
これを解決するために、各層の重み行列を少量の誘導重みで拡張し、不確実な定量化をそのような低次元空間に投影する。
我々はさらに,Matheronの条件付きガウスサンプリングルールを拡張して,高速な重量サンプリングを可能にする。
重要なことに,本手法は,完全連結ニューラルネットワークとResNetを用いた予測および不確実性推定タスクにおける最先端の課題に対する競合性能を実現すると同時に,パラメータサイズを$$single$ニューラルネットワークの$\leq 24.3\%に削減する。
関連論文リスト
- Learning Active Subspaces for Effective and Scalable Uncertainty
Quantification in Deep Neural Networks [13.388835540131508]
本稿では,ニューラルネットワークパラメータの低次元部分空間を構築するための新しい手法を提案する。
その結果, 有効かつスケーラブルなベイズ推定が可能であることを実証した。
提案手法は, 各種回帰タスクに対して, 頑健な不確実性推定を伴う信頼性予測を提供する。
論文 参考訳（メタデータ） (2023-09-06T15:00:36Z) - Spike-and-slab shrinkage priors for structurally sparse Bayesian neural networks [0.16385815610837165]
スパースディープラーニングは、基礎となるターゲット関数のスパース表現を復元することで、課題に対処する。
構造化された空間によって圧縮されたディープニューラルアーキテクチャは、低レイテンシ推論、データスループットの向上、エネルギー消費の削減を提供する。
本研究では, (i) Spike-and-Slab Group Lasso (SS-GL) と (ii) Spike-and-Slab Group Horseshoe (SS-GHS) を併用した過剰ノードを誘発する構造的疎いベイズニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2023-08-17T17:14:18Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。
トラクタブル回路において,これを効率的に計算する方法を示す。
我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文 参考訳（メタデータ） (2023-02-28T00:04:22Z) - Layer Ensembles [95.42181254494287]
本稿では,ネットワークの各層に対する独立なカテゴリ分布の集合を考慮した不確実性推定手法を提案する。
その結果,メモリと実行時間が少なくなるモデルが得られた。
論文 参考訳（メタデータ） (2022-10-10T17:52:47Z) - Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。
単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
論文 参考訳（メタデータ） (2022-01-26T18:47:38Z) - Mixtures of Laplace Approximations for Improved Post-Hoc Uncertainty in
Deep Learning [24.3370326359959]
独立に訓練された深層ニューラルネットワークのラプラス近似の重み付け和からなるガウス混合モデル後部モデルを用いて予測することを提案する。
我々は,本手法がトレーニングデータから「遠方」に過信を緩和し,標準不確実性定量化ベンチマークにおける最先端のベースラインを実証的に比較することを理論的に検証した。
論文 参考訳（メタデータ） (2021-11-05T15:52:48Z) - Compact representations of convolutional neural networks via weight
pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。
我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文 参考訳（メタデータ） (2021-08-28T20:39:54Z) - Encoding the latent posterior of Bayesian Neural Networks for
uncertainty quantification [10.727102755903616]
我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。
可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。
我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
論文 参考訳（メタデータ） (2020-12-04T19:50:09Z) - WrapNet: Neural Net Inference with Ultra-Low-Resolution Arithmetic [57.07483440807549]
ニューラルネットワークをアキュムレータの低分解能(8ビット)加算に適応させ,32ビットのアキュムレータに匹敵する分類精度を実現する手法を提案する。
ソフトウェアプラットフォームとハードウェアプラットフォームの両方において、我々のアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2020-07-26T23:18:38Z) - ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。
本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文 参考訳（メタデータ） (2020-06-28T23:09:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。