論文の概要: Kronecker CP Decomposition with Fast Multiplication for Compressing RNNs

• arxiv url: http://arxiv.org/abs/2008.09342v2
• Date: Fri, 24 Sep 2021 12:19:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 21:47:31.997733
• Title: Kronecker CP Decomposition with Fast Multiplication for Compressing RNNs
• Title（参考訳）: 圧縮RNNの高速乗算によるKronecker CP分解
• Authors: Dingheng Wang and Bijiao Wu and Guangshe Zhao and Man Yao and Hengnu Chen and Lei Deng and Tianyi Yan and Guoqi Li
• Abstract要約: リカレントニューラルネットワーク(RNN)は、自然言語処理やビデオ認識などのシーケンシャルデータに指向するタスクにおいて強力である。 本稿では,Kronecker CANDECOMP/PARAFAC(KCP)分解に基づく圧縮RNNについて考察する。
• 参考スコア（独自算出の注目度）: 11.01184134911405
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent neural networks (RNNs) are powerful in the tasks oriented to sequential data, such as natural language processing and video recognition. However, since the modern RNNs, including long-short term memory (LSTM) and gated recurrent unit (GRU) networks, have complex topologies and expensive space/computation complexity, compressing them becomes a hot and promising topic in recent years. Among plenty of compression methods, tensor decomposition, e.g., tensor train (TT), block term (BT), tensor ring (TR) and hierarchical Tucker (HT), appears to be the most amazing approach since a very high compression ratio might be obtained. Nevertheless, none of these tensor decomposition formats can provide both the space and computation efficiency. In this paper, we consider to compress RNNs based on a novel Kronecker CANDECOMP/PARAFAC (KCP) decomposition, which is derived from Kronecker tensor (KT) decomposition, by proposing two fast algorithms of multiplication between the input and the tensor-decomposed weight. According to our experiments based on UCF11, Youtube Celebrities Face and UCF50 datasets, it can be verified that the proposed KCP-RNNs have comparable performance of accuracy with those in other tensor-decomposed formats, and even 278,219x compression ratio could be obtained by the low rank KCP. More importantly, KCP-RNNs are efficient in both space and computation complexity compared with other tensor-decomposed ones under similar ranks. Besides, we find KCP has the best potential for parallel computing to accelerate the calculations in neural networks.
• Abstract（参考訳）: リカレントニューラルネットワーク(RNN)は、自然言語処理やビデオ認識などのシーケンシャルデータに指向するタスクにおいて強力である。 しかし、長寿命メモリ(LSTM)やゲートリカレントユニット(GRU)ネットワークを含む現代のRNNは複雑なトポロジと高価な空間/計算の複雑さを持つため、圧縮は近年ホットで有望な話題となっている。 多くの圧縮方法のうち、テンソル分解、例えばテンソルトレイン(tt)、ブロック項(bt)、テンソル環(tr)、階層的タッカー(ht)は、非常に高い圧縮比が得られる可能性があるため、最も驚くべきアプローチである。 にもかかわらず、これらのテンソル分解形式は、空間と計算効率の両方を提供することはできない。 本稿では, 入力とテンソル分解重みの2つの高速乗算アルゴリズムを提案することにより, クロネッカーテンソル (kt) 分解に由来する新しいクロネッカー candecomp/parafac (kcp) 分解に基づくrnnを圧縮する。 UCF11, Youtube Celebrities Face, UCF50データセットをベースとした実験により, 提案したKCP-RNNが他のテンソル分解フォーマットと同等の精度を示し, 低ランクのKCPで278,219倍の圧縮比を得ることができた。 より重要なことに、kcp-rnnは空間と計算の複雑さの両方において、同様の階数を持つ他のテンソル分解のものと比較して効率的である。 さらに、ニューラルネットワークの計算を高速化するために、KCPは並列コンピューティングの最良の可能性を持っている。

関連論文リスト

• "Lossless" Compression of Deep Neural Networks: A High-dimensional Neural Tangent Kernel Approach [49.744093838327615]
  広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。 提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
  論文  参考訳（メタデータ） (2024-03-01T03:46:28Z)
• Scalable CP Decomposition for Tensor Learning using GPU Tensor Cores [47.87810316745786]
  本研究では,エクサスケールテンソル分解を支援する圧縮型テンソル分解フレームワークを提案する。 ベースラインと比較すると、エクスカスケール・テンソルは8000倍のテンソルをサポートし、スピードアップは6.95倍である。 また,本手法を遺伝子解析とテンソル層ニューラルネットワークを含む実世界の2つの応用に適用する。
  論文  参考訳（メタデータ） (2023-11-22T21:04:59Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Latent Matrices for Tensor Network Decomposition and to Tensor Completion [8.301418317685906]
  テンソルを小さく分解し,アルゴリズムの計算を高速化する新しい高階テンソル分解モデルを提案する。 LMTN-PAM, LMTN-SVD, LMTN-ARの3つの最適化アルゴリズムを開発し, テンソル補完タスクに適用した。 実験の結果, LMTN-SVDアルゴリズムはFCTN-PAMアルゴリズムの3～6倍高速であり, 1.8ポイントの精度低下しか得られなかった。
  論文  参考訳（メタデータ） (2022-10-07T08:19:50Z)
• How to Train Unstable Looped Tensor Network [21.882898731132443]
  ディープニューラルネットワークの圧縮における問題は、畳み込みカーネルのパラメータ数を減らすことである。 本稿では, 分解結果の安定性を向上し, ネットワークの堅牢性を維持し, 近似性を向上するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-05T00:17:04Z)
• Semi-tensor Product-based TensorDecomposition for Neural Network Compression [57.95644775091316]
  本稿では,古典的行列積に基づくモード積を半テンソルモード積に一般化する。 次元の異なる2つの因子の接続を可能にするため、より柔軟でコンパクトなテンソル分解が得られる。
  論文  参考訳（メタデータ） (2021-09-30T15:18:14Z)
• Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
  ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
  論文  参考訳（メタデータ） (2021-02-08T05:55:47Z)
• Hybrid Tensor Decomposition in Neural Network Compression [13.146051056642904]
  本稿では階層的タッカー分解法(HT)を導入し,ニューラルネットワーク圧縮におけるその機能について検討する。 HTフォーマットは重み行列の圧縮に優れ,TTフォーマットは畳み込みカーネルの圧縮に適していることが実験的に明らかになった。
  論文  参考訳（メタデータ） (2020-06-29T11:16:22Z)
• Tensor train decompositions on recurrent networks [60.334946204107446]
  マトリックス製品状態(MPS)テンソルトレインは、ストレージの削減と推論時の計算時間の観点から、MPOよりも魅力的な特徴を持つ。 理論解析により,MPSテンソル列車はLSTMネットワーク圧縮の最前線に置かれるべきであることを示す。
  論文  参考訳（メタデータ） (2020-06-09T18:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。