論文の概要: Semi-tensor Product-based TensorDecomposition for Neural Network
Compression
- arxiv url: http://arxiv.org/abs/2109.15200v1
- Date: Thu, 30 Sep 2021 15:18:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-01 14:46:34.441725
- Title: Semi-tensor Product-based TensorDecomposition for Neural Network
Compression
- Title（参考訳）: ニューラルネットワーク圧縮のための半テンソル積に基づくテンソル分解
- Authors: Hengling Zhao, Yipeng Liu, Xiaolin Huang and Ce Zhu
- Abstract要約: 本稿では,古典的行列積に基づくモード積を半テンソルモード積に一般化する。
次元の異なる2つの因子の接続を可能にするため、より柔軟でコンパクトなテンソル分解が得られる。
- 参考スコア（独自算出の注目度）: 57.95644775091316
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The existing tensor networks adopt conventional matrix product for
connection. The classical matrix product requires strict dimensionality
consistency between factors, which can result in redundancy in data
representation. In this paper, the semi-tensor product is used to generalize
classical matrix product-based mode product to semi-tensor mode product. As it
permits the connection of two factors with different dimensionality, more
flexible and compact tensor decompositions can be obtained with smaller sizes
of factors. Tucker decomposition, Tensor Train (TT) and Tensor Ring (TR) are
common decomposition for low rank compression of deep neural networks. The
semi-tensor product is applied to these tensor decompositions to obtained their
generalized versions, i.e., semi-tensor Tucker decomposition (STTu),
semi-tensor train(STT) and semi-tensor ring (STR). Experimental results show
the STTu, STT and STR achieve higher compression factors than the conventional
tensor decompositions with the same accuracy but less training times in ResNet
and WideResNetcompression. With 2% accuracy degradation, the TT-RN (rank = 14)
and the TR-WRN (rank = 16) only obtain 3 times and99t times compression factors
while the STT-RN (rank = 14) and the STR-WRN (rank = 16) achieve 9 times and
179 times compression factors, respectively.
- Abstract（参考訳）: 既存のテンソルネットワークは接続に従来の行列積を採用する。
古典的行列積は、要素間の厳密な次元整合性を必要とし、データ表現の冗長性をもたらす。
本稿では,このセミテンソル積を用いて,古典行列生成物に基づくモード積をセミテンソル生成物に一般化する。
次元の異なる2つの因子の接続が許されるので、より柔軟でコンパクトなテンソル分解はより小さな因子で得ることができる。
タッカー分解、TT(Tensor Train)、TR(Tensor Ring)は、ディープニューラルネットワークの低階圧縮のための一般的な分解である。
セミテンソル積はこれらのテンソル分解に適用され、それらの一般化されたバージョン、すなわちセミテンソル・タッカー分解(STTu)、セミテンソル・トレイン(STT)、セミテンソル・リング(STR)を得る。
実験の結果、STTu, STT, STRは従来のテンソル分解よりも高い圧縮係数を達成できたが、ResNetおよびWideResNet圧縮のトレーニング時間が短縮された。
精度が2%低下すると、TT-RN (rank = 14) とTR-WRN (rank = 16) は3倍、TR-WRN (rank = 14) とSTR-WRN (rank = 16) はそれぞれ9倍、TR-WRN (rank = 16) は179倍となる。
関連論文リスト
- Latent Matrices for Tensor Network Decomposition and to Tensor
Completion [8.301418317685906]
テンソルを小さく分解し,アルゴリズムの計算を高速化する新しい高階テンソル分解モデルを提案する。
LMTN-PAM, LMTN-SVD, LMTN-ARの3つの最適化アルゴリズムを開発し, テンソル補完タスクに適用した。
実験の結果, LMTN-SVDアルゴリズムはFCTN-PAMアルゴリズムの3～6倍高速であり, 1.8ポイントの精度低下しか得られなかった。
論文 参考訳（メタデータ） (2022-10-07T08:19:50Z) - Efficient Tensor Robust PCA under Hybrid Model of Tucker and Tensor
Train [33.33426557160802]
本研究では,TuckerとTTのハイブリッドモデルに基づく効率的な主成分分析(TRPCA)を提案する。
具体的には、理論上は、元のビッグテンソルのTT核ノルム(TTNN)が、タッカー圧縮フォーマットによってはるかに小さなテンソルのノルムに等価に変換できることを明らかにする。
合成テンソルデータおよび実世界のテンソルデータの数値実験により,提案モデルの有効性が検証された。
論文 参考訳（メタデータ） (2021-12-20T01:15:45Z) - Spectral Complexity-scaled Generalization Bound of Complex-valued Neural
Networks [78.64167379726163]
本論文は,複素数値ニューラルネットワークの一般化を証明した最初の論文である。
複雑な値の畳み込みニューラルネットワークを異なるデータセット上でトレーニングして実験を行う。
論文 参考訳（メタデータ） (2021-12-07T03:25:25Z) - Permutation Compressors for Provably Faster Distributed Nonconvex
Optimization [68.8204255655161]
本稿では,Gorbunov et al (2021) の MARINA 法が,理論的な通信複雑性の観点から最先端の手法とみなすことができることを示す。
MARINAの理論は、古典的な独立圧縮機設定を超えて、潜在的にエミュレートされた圧縮機の理論を支持するものである。
論文 参考訳（メタデータ） (2021-10-07T09:38:15Z) - Multi-Tensor Network Representation for High-Order Tensor Completion [25.759851542474447]
この研究は、部分的に観察されたサンプリングから高次元データ(テンソルを参照)の完備化の問題を研究する。
テンソルは複数の低ランク成分の重ね合わせであると考える。
本稿では,基本テンソル分解フレームワークであるMulti-Tensor Network decomposition (MTNR)を提案する。
論文 参考訳（メタデータ） (2021-09-09T03:50:19Z) - ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。
我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
論文 参考訳（メタデータ） (2020-09-04T20:41:47Z) - Kronecker CP Decomposition with Fast Multiplication for Compressing RNNs [11.01184134911405]
リカレントニューラルネットワーク(RNN)は、自然言語処理やビデオ認識などのシーケンシャルデータに指向するタスクにおいて強力である。
本稿では,Kronecker CANDECOMP/PARAFAC(KCP)分解に基づく圧縮RNNについて考察する。
論文 参考訳（メタデータ） (2020-08-21T07:29:45Z) - T-Basis: a Compact Representation for Neural Networks [89.86997385827055]
テンソルの集合をコンパクトに表現するための概念である T-Basis をニューラルネットワークでよく見られる任意の形状で導入する。
ニューラルネットワーク圧縮の課題に対する提案手法の評価を行い, 許容性能低下時に高い圧縮速度に達することを示す。
論文 参考訳（メタデータ） (2020-07-13T19:03:22Z) - Hybrid Tensor Decomposition in Neural Network Compression [13.146051056642904]
本稿では階層的タッカー分解法(HT)を導入し,ニューラルネットワーク圧縮におけるその機能について検討する。
HTフォーマットは重み行列の圧縮に優れ,TTフォーマットは畳み込みカーネルの圧縮に適していることが実験的に明らかになった。
論文 参考訳（メタデータ） (2020-06-29T11:16:22Z) - Tensor train decompositions on recurrent networks [60.334946204107446]
マトリックス製品状態(MPS)テンソルトレインは、ストレージの削減と推論時の計算時間の観点から、MPOよりも魅力的な特徴を持つ。
理論解析により,MPSテンソル列車はLSTMネットワーク圧縮の最前線に置かれるべきであることを示す。
論文 参考訳（メタデータ） (2020-06-09T18:25:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。