論文の概要: Hybrid Tensor Decomposition in Neural Network Compression
- arxiv url: http://arxiv.org/abs/2006.15938v3
- Date: Mon, 21 Sep 2020 02:14:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 14:49:32.586375
- Title: Hybrid Tensor Decomposition in Neural Network Compression
- Title（参考訳）: ニューラルネットワーク圧縮におけるハイブリッドテンソル分解
- Authors: Bijiao Wu, Dingheng Wang, Guangshe Zhao, Lei Deng and Guoqi Li
- Abstract要約: 本稿では階層的タッカー分解法(HT)を導入し,ニューラルネットワーク圧縮におけるその機能について検討する。
HTフォーマットは重み行列の圧縮に優れ,TTフォーマットは畳み込みカーネルの圧縮に適していることが実験的に明らかになった。
- 参考スコア（独自算出の注目度）: 13.146051056642904
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks (DNNs) have enabled impressive breakthroughs in various
artificial intelligence (AI) applications recently due to its capability of
learning high-level features from big data. However, the current demand of DNNs
for computational resources especially the storage consumption is growing due
to that the increasing sizes of models are being required for more and more
complicated applications. To address this problem, several tensor decomposition
methods including tensor-train (TT) and tensor-ring (TR) have been applied to
compress DNNs and shown considerable compression effectiveness. In this work,
we introduce the hierarchical Tucker (HT), a classical but rarely-used tensor
decomposition method, to investigate its capability in neural network
compression. We convert the weight matrices and convolutional kernels to both
HT and TT formats for comparative study, since the latter is the most widely
used decomposition method and the variant of HT. We further theoretically and
experimentally discover that the HT format has better performance on
compressing weight matrices, while the TT format is more suited for compressing
convolutional kernels. Based on this phenomenon we propose a strategy of hybrid
tensor decomposition by combining TT and HT together to compress convolutional
and fully connected parts separately and attain better accuracy than only using
the TT or HT format on convolutional neural networks (CNNs). Our work
illuminates the prospects of hybrid tensor decomposition for neural network
compression.
- Abstract（参考訳）: 近年、ディープニューラルネットワーク(DNN)は、ビッグデータから高レベルの特徴を学習する能力によって、さまざまな人工知能(AI)アプリケーションにおいて、目覚ましいブレークスルーを実現している。
しかし, 計算資源, 特にストレージ消費に対するdnnの需要は, ますます複雑なアプリケーションでは, モデルサイズの増加が求められているため, 増加傾向にある。
この問題を解決するために, テンソルトレイン (TT) やテンソルリング (TR) を含む数種類のテンソル分解法をDNNの圧縮に適用し, かなりの圧縮効果を示した。
本研究では,古典的だが滅多に使われないテンソル分解法である階層的タッカー(ht)を導入し,ニューラルネットワークの圧縮能力について検討する。
重み行列と畳み込みカーネルを比較研究のためにHTおよびTT形式に変換するが、後者は最も広く使われている分解法であり、HTの変種である。
さらに理論的および実験的に、HTフォーマットは重み行列の圧縮に優れた性能を示し、TTフォーマットは畳み込みカーネルの圧縮により適している。
この現象に基づいて、TTとHTを組み合わせて畳み込み部と完全連結部を個別に圧縮し、畳み込みニューラルネットワーク(CNN)上でのTTやHTフォーマットのみを使用するよりも精度が良いハイブリッドテンソル分解戦略を提案する。
我々の研究は、ニューラルネットワーク圧縮のためのハイブリッドテンソル分解の展望を照らしている。
関連論文リスト
- "Lossless" Compression of Deep Neural Networks: A High-dimensional
Neural Tangent Kernel Approach [49.744093838327615]
広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。
提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
論文 参考訳（メタデータ） (2024-03-01T03:46:28Z) - Efficient Tensor Robust PCA under Hybrid Model of Tucker and Tensor
Train [33.33426557160802]
本研究では,TuckerとTTのハイブリッドモデルに基づく効率的な主成分分析(TRPCA)を提案する。
具体的には、理論上は、元のビッグテンソルのTT核ノルム(TTNN)が、タッカー圧縮フォーマットによってはるかに小さなテンソルのノルムに等価に変換できることを明らかにする。
合成テンソルデータおよび実世界のテンソルデータの数値実験により,提案モデルの有効性が検証された。
論文 参考訳（メタデータ） (2021-12-20T01:15:45Z) - Semi-tensor Product-based TensorDecomposition for Neural Network
Compression [57.95644775091316]
本稿では,古典的行列積に基づくモード積を半テンソルモード積に一般化する。
次元の異なる2つの因子の接続を可能にするため、より柔軟でコンパクトなテンソル分解が得られる。
論文 参考訳（メタデータ） (2021-09-30T15:18:14Z) - Compact representations of convolutional neural networks via weight
pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。
我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文 参考訳（メタデータ） (2021-08-28T20:39:54Z) - Towards Efficient Tensor Decomposition-Based DNN Model Compression with
Optimization Framework [14.27609385208807]
乗算器の交互方向法(ADMM)を用いたテンソル分解に基づくモデル圧縮のための体系的フレームワークを提案する。
私たちのフレームワークは非常に一般的で、CNNとRNNの両方で機能します。
実験の結果,ADMMに基づくTTフォーマットモデルは非常に高い圧縮性能を示し,精度が高いことがわかった。
論文 参考訳（メタデータ） (2021-07-26T18:31:33Z) - An Efficient Statistical-based Gradient Compression Technique for
Distributed Training Systems [77.88178159830905]
Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。
SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
論文 参考訳（メタデータ） (2021-01-26T13:06:00Z) - A Fully Tensorized Recurrent Neural Network [48.50376453324581]
重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。
このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
論文 参考訳（メタデータ） (2020-10-08T18:24:12Z) - Kronecker CP Decomposition with Fast Multiplication for Compressing RNNs [11.01184134911405]
リカレントニューラルネットワーク(RNN)は、自然言語処理やビデオ認識などのシーケンシャルデータに指向するタスクにおいて強力である。
本稿では,Kronecker CANDECOMP/PARAFAC(KCP)分解に基づく圧縮RNNについて考察する。
論文 参考訳（メタデータ） (2020-08-21T07:29:45Z) - Tensor train decompositions on recurrent networks [60.334946204107446]
マトリックス製品状態(MPS)テンソルトレインは、ストレージの削減と推論時の計算時間の観点から、MPOよりも魅力的な特徴を持つ。
理論解析により,MPSテンソル列車はLSTMネットワーク圧縮の最前線に置かれるべきであることを示す。
論文 参考訳（メタデータ） (2020-06-09T18:25:39Z) - Compressing Recurrent Neural Networks Using Hierarchical Tucker Tensor
Decomposition [39.76939368675827]
リカレントニューラルネットワーク(RNN)はシーケンス解析やモデリングに広く利用されている。
RNNは通常、高次元データを処理する際に非常に大きなモデルサイズを必要とする。
階層タッカー(HT)分解を用いたコンパクトRNNモデルを提案する。
論文 参考訳（メタデータ） (2020-05-09T05:15:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。