論文の概要: Structured Bayesian Compression for Deep Neural Networks Based on The Turbo-VBI Approach

• arxiv url: http://arxiv.org/abs/2302.10483v1
• Date: Tue, 21 Feb 2023 07:12:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-22 16:06:43.777672
• Title: Structured Bayesian Compression for Deep Neural Networks Based on The Turbo-VBI Approach
• Title（参考訳）: turbo-vbiアプローチに基づくディープニューラルネットワークの構造化ベイズ圧縮
• Authors: Chengyu Xia, Danny H.K. Tsang, Vincent K.N. Lau
• Abstract要約: 多くの既存のプルーニング法では、生き残ったニューロンは構造のないニューラルネットワークでランダムに接続される。 刈り込み時のより規則的なスパース構造を促進するために, 3層階層の階層構造を提案する。 モデル圧縮問題を解くために,効率的なターボ変量ベイズ推論(Turbo-VBI)アルゴリズムを導出する。
• 参考スコア（独自算出の注目度）: 23.729955669774977
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the growth of neural network size, model compression has attracted increasing interest in recent research. As one of the most common techniques, pruning has been studied for a long time. By exploiting the structured sparsity of the neural network, existing methods can prune neurons instead of individual weights. However, in most existing pruning methods, surviving neurons are randomly connected in the neural network without any structure, and the non-zero weights within each neuron are also randomly distributed. Such irregular sparse structure can cause very high control overhead and irregular memory access for the hardware and even increase the neural network computational complexity. In this paper, we propose a three-layer hierarchical prior to promote a more regular sparse structure during pruning. The proposed three-layer hierarchical prior can achieve per-neuron weight-level structured sparsity and neuron-level structured sparsity. We derive an efficient Turbo-variational Bayesian inferencing (Turbo-VBI) algorithm to solve the resulting model compression problem with the proposed prior. The proposed Turbo-VBI algorithm has low complexity and can support more general priors than existing model compression algorithms. Simulation results show that our proposed algorithm can promote a more regular structure in the pruned neural networks while achieving even better performance in terms of compression rate and inferencing accuracy compared with the baselines.
• Abstract（参考訳）: ニューラルネットワークのサイズが大きくなるにつれて、モデル圧縮は最近の研究で関心を集めている。 最も一般的な技法の1つとして、プルーニングは長い間研究されてきた。 ニューラルネットワークの構造的間隔を活用することで、既存の方法は個々の重みの代わりにニューロンをプーンすることができる。 しかし、既存のプルーニング法では、生き残ったニューロンは構造のないニューラルネットワークでランダムに接続され、各ニューロン内のゼロでない重みもランダムに分散される。 このような不規則なスパース構造は、ハードウェアに対する非常に高い制御オーバーヘッドと不規則なメモリアクセスを引き起こし、さらにニューラルネットワークの計算複雑性を増大させる。 本稿では, 刈り込み時のより規則的なスパース構造を促進するために, 3層階層構造を提案する。 提案する3層階層前駆体は、神経単位の重みレベル構造化スパーシティとニューロンレベルの構造化スパーシティを実現することができる。 提案したモデル圧縮問題を解決するために,効率的なターボ変量ベイズ推論(Turbo-VBI)アルゴリズムを導出する。 提案したTurbo-VBIアルゴリズムは複雑性が低く,既存のモデル圧縮アルゴリズムよりも一般的な事前処理をサポートすることができる。 シミュレーションの結果,提案アルゴリズムは,ベースラインと比較して圧縮速度と参照精度の面でさらに優れた性能を実現しつつ,プルーニングニューラルネットワークにおいてより規則的な構造を促進できることがわかった。

関連論文リスト

• Spike-and-slab shrinkage priors for structurally sparse Bayesian neural networks [0.16385815610837165]
  スパースディープラーニングは、基礎となるターゲット関数のスパース表現を復元することで、課題に対処する。 構造化された空間によって圧縮されたディープニューラルアーキテクチャは、低レイテンシ推論、データスループットの向上、エネルギー消費の削減を提供する。 本研究では, (i) Spike-and-Slab Group Lasso (SS-GL) と (ii) Spike-and-Slab Group Horseshoe (SS-GHS) を併用した過剰ノードを誘発する構造的疎いベイズニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-17T17:14:18Z)
• Can Unstructured Pruning Reduce the Depth in Deep Neural Networks? [5.869633234882029]
  プルーニングは、パフォーマンスを維持しながら、ディープニューラルネットワークのサイズを減らすために広く使われているテクニックである。 本研究では,深層ニューラルネットワークのサイズを減らし,その性能を保ちつつ,革新的なエントロピー誘導型プルーニングアルゴリズムであるEGPを紹介する。
  論文  参考訳（メタデータ） (2023-08-12T17:27:49Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• SA-CNN: Application to text categorization issues using simulated annealing-based convolutional neural network optimization [0.0]
  畳み込みニューラルネットワーク(CNN)は、ディープラーニングアルゴリズムの代表クラスである。 テキストCNNニューラルネットワークに基づくテキスト分類タスクのためのSA-CNNニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-03-13T14:27:34Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Optimal Learning Rates of Deep Convolutional Neural Networks: Additive Ridge Functions [19.762318115851617]
  深部畳み込みニューラルネットワークにおける平均2乗誤差解析について考察する。 付加的なリッジ関数に対しては、畳み込みニューラルネットワークとReLUアクティベーション関数を併用した1つの完全連結層が最適極小値に到達できることが示される。
  論文  参考訳（メタデータ） (2022-02-24T14:22:32Z)
• Layer Adaptive Node Selection in Bayesian Neural Networks: Statistical Guarantees and Implementation Details [0.5156484100374059]
  スパースディープニューラルネットワークは、大規模研究において予測モデル構築に効率的であることが証明されている。 本稿では,スパイク・アンド・スラブ型ガウス先行法を用いて,訓練中のノード選択を可能にするベイズスパース解を提案する。 本研究は, 先行パラメータのキャラクタリゼーションとともに, 変動的後続一貫性の基本的な結果を確立する。
  論文  参考訳（メタデータ） (2021-08-25T00:48:07Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Trilevel Neural Architecture Search for Efficient Single Image Super-Resolution [127.92235484598811]
  本稿では,高効率単一画像超解像(SR)のための3レベルニューラルネットワーク探索法を提案する。 離散探索空間をモデル化するために、離散探索空間に新たな連続緩和を適用し、ネットワークパス、セル操作、カーネル幅の階層的混合を構築する。 階層型スーパーネット方式による最適化を行うため,効率的な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-17T12:19:49Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。