論文の概要: Self-Compression in Bayesian Neural Networks
- arxiv url: http://arxiv.org/abs/2111.05950v1
- Date: Wed, 10 Nov 2021 21:19:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-13 04:11:37.325082
- Title: Self-Compression in Bayesian Neural Networks
- Title（参考訳）: ベイズニューラルネットワークにおける自己圧縮
- Authors: Giuseppina Carannante, Dimah Dera, Ghulam Rasool and Nidhal C.
Bouaynaya
- Abstract要約: ベイジアンフレームワークによるネットワーク圧縮に関する新たな知見を提案する。
ベイズニューラルネットワークがモデルパラメータの冗長性を自動的に検出し,自己圧縮を可能にすることを示す。
実験の結果,ネットワーク自体が特定したパラメータを削除することで,ネットワークアーキテクチャの圧縮に成功できることが示唆された。
- 参考スコア（独自算出の注目度）: 0.9176056742068814
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning models have achieved human-level performance on various
tasks. This success comes at a high cost of computation and storage overhead,
which makes machine learning algorithms difficult to deploy on edge devices.
Typically, one has to partially sacrifice accuracy in favor of an increased
performance quantified in terms of reduced memory usage and energy consumption.
Current methods compress the networks by reducing the precision of the
parameters or by eliminating redundant ones. In this paper, we propose a new
insight into network compression through the Bayesian framework. We show that
Bayesian neural networks automatically discover redundancy in model parameters,
thus enabling self-compression, which is linked to the propagation of
uncertainty through the layers of the network. Our experimental results show
that the network architecture can be successfully compressed by deleting
parameters identified by the network itself while retaining the same level of
accuracy.
- Abstract（参考訳）: 機械学習モデルは様々なタスクで人間レベルのパフォーマンスを達成している。
この成功は、計算とストレージのオーバヘッドのコストが高く、エッジデバイスへのデプロイを機械学習アルゴリズムが困難にする。
通常、メモリ使用量の削減とエネルギー消費の観点から定量化される性能の向上を優先して、部分的に精度を犠牲にしなければならない。
現在の方法は、パラメータの精度を下げたり、冗長なパラメータを排除してネットワークを圧縮する。
本稿では,ベイズフレームワークを用いたネットワーク圧縮に関する新たな知見を提案する。
ベイズ型ニューラルネットワークはモデルパラメータの冗長性を自動的に検出し,ネットワークの層間における不確かさの伝播と連動する自己圧縮を可能にする。
実験の結果,同一の精度を維持しつつ,ネットワーク自体が識別するパラメータを削除することで,ネットワークアーキテクチャを効果的に圧縮できることがわかった。
関連論文リスト
- Neural Network Pruning by Gradient Descent [7.427858344638741]
我々は,Gumbel-Softmaxテクニックを取り入れた,新しい,かつ簡単なニューラルネットワークプルーニングフレームワークを提案する。
ネットワークパラメータの0.15%しか持たないMNISTデータセット上で、高い精度を維持しながら、例外的な圧縮能力を実証する。
我々は,ディープラーニングプルーニングと解釈可能な機械学習システム構築のための,有望な新たな道を開くと信じている。
論文 参考訳（メタデータ） (2023-11-21T11:12:03Z) - Spike-and-slab shrinkage priors for structurally sparse Bayesian neural networks [0.16385815610837165]
スパースディープラーニングは、基礎となるターゲット関数のスパース表現を復元することで、課題に対処する。
構造化された空間によって圧縮されたディープニューラルアーキテクチャは、低レイテンシ推論、データスループットの向上、エネルギー消費の削減を提供する。
本研究では, (i) Spike-and-Slab Group Lasso (SS-GL) と (ii) Spike-and-Slab Group Horseshoe (SS-GHS) を併用した過剰ノードを誘発する構造的疎いベイズニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2023-08-17T17:14:18Z) - LCS: Learning Compressible Subspaces for Adaptive Network Compression at
Inference Time [57.52251547365967]
本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。
構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。
我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
論文 参考訳（メタデータ） (2021-10-08T17:03:34Z) - Compact representations of convolutional neural networks via weight
pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。
我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文 参考訳（メタデータ） (2021-08-28T20:39:54Z) - Lost in Pruning: The Effects of Pruning Neural Networks beyond Test
Accuracy [42.15969584135412]
ニューラルネットワークプルーニングは、現代のネットワークの推論コストを削減するために使用される一般的な技術です。
試験精度のみを終了条件で使用するだけで、結果のモデルが正常に機能するかどうかを評価します。
刈り取られたネットワークは、効果的に未刈り込みモデルに近似するが、刈り取られたネットワークがコンメンシュレートのパフォーマンスを達成できるプルー比はタスクによって大きく異なる。
論文 参考訳（メタデータ） (2021-03-04T13:22:16Z) - Enabling certification of verification-agnostic networks via
memory-efficient semidefinite programming [97.40955121478716]
本稿では,ネットワークアクティベーションの総数にのみ線形なメモリを必要とする一階二重SDPアルゴリズムを提案する。
L-inf の精度は 1% から 88% ,6% から 40% に改善した。
また,変分オートエンコーダの復号器に対する2次安定性仕様の厳密な検証を行った。
論文 参考訳（メタデータ） (2020-10-22T12:32:29Z) - ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。
本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文 参考訳（メタデータ） (2020-06-28T23:09:27Z) - Compact Neural Representation Using Attentive Network Pruning [1.0152838128195465]
本稿では,Bottom-Upフィードフォワードネットワークに付加されたTop-Downアテンション機構について述べる。
提案手法は, 新たな階層選択機構をプルーニングの基礎として導入するだけでなく, 実験評価において, 従来のベースライン手法と競合するままである。
論文 参考訳（メタデータ） (2020-05-10T03:20:01Z) - Structured Sparsification with Joint Optimization of Group Convolution
and Channel Shuffle [117.95823660228537]
本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。
提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。
また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
論文 参考訳（メタデータ） (2020-02-19T12:03:10Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z) - Mixed-Precision Quantized Neural Network with Progressively Decreasing
Bitwidth For Image Classification and Object Detection [21.48875255723581]
ビット幅が徐々に増大する混合精度量子化ニューラルネットワークを提案し,精度と圧縮のトレードオフを改善する。
典型的なネットワークアーキテクチャとベンチマークデータセットの実験は、提案手法がより良い結果または同等の結果が得られることを示した。
論文 参考訳（メタデータ） (2019-12-29T14:11:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。