論文の概要: Compressing Recurrent Neural Networks Using Hierarchical Tucker Tensor Decomposition

• arxiv url: http://arxiv.org/abs/2005.04366v1
• Date: Sat, 9 May 2020 05:15:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 06:33:32.269456
• Title: Compressing Recurrent Neural Networks Using Hierarchical Tucker Tensor Decomposition
• Title（参考訳）: 階層型タッカーテンソル分解を用いた繰り返しニューラルネットワークの圧縮
• Authors: Miao Yin, Siyu Liao, Xiao-Yang Liu, Xiaodong Wang, Bo Yuan
• Abstract要約: リカレントニューラルネットワーク(RNN)はシーケンス解析やモデリングに広く利用されている。 RNNは通常、高次元データを処理する際に非常に大きなモデルサイズを必要とする。 階層タッカー(HT)分解を用いたコンパクトRNNモデルを提案する。
• 参考スコア（独自算出の注目度）: 39.76939368675827
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent Neural Networks (RNNs) have been widely used in sequence analysis and modeling. However, when processing high-dimensional data, RNNs typically require very large model sizes, thereby bringing a series of deployment challenges. Although the state-of-the-art tensor decomposition approaches can provide good model compression performance, these existing methods are still suffering some inherent limitations, such as restricted representation capability and insufficient model complexity reduction. To overcome these limitations, in this paper we propose to develop compact RNN models using Hierarchical Tucker (HT) decomposition. HT decomposition brings strong hierarchical structure to the decomposed RNN models, which is very useful and important for enhancing the representation capability. Meanwhile, HT decomposition provides higher storage and computational cost reduction than the existing tensor decomposition approaches for RNN compression. Our experimental results show that, compared with the state-of-the-art compressed RNN models, such as TT-LSTM, TR-LSTM and BT-LSTM, our proposed HT-based LSTM (HT-LSTM), consistently achieves simultaneous and significant increases in both compression ratio and test accuracy on different datasets.
• Abstract（参考訳）: リカレントニューラルネットワーク(RNN)はシーケンス解析やモデリングに広く利用されている。 しかしながら、高次元データを処理する場合、RNNは通常、非常に大きなモデルサイズを必要とするため、一連のデプロイメント課題が発生する。 現状のテンソル分解手法はモデル圧縮性能に優れるが、これらの既存手法は表現能力の制限やモデルの複雑性の低下など、いくつかの制約に悩まされている。 これらの制約を克服するために,階層タッカー(HT)分解を用いたコンパクトなRNNモデルを提案する。 HT分解は分解されたRNNモデルに強い階層構造をもたらす。 一方、HT分解はRNN圧縮のための既存のテンソル分解手法よりも高いストレージと計算コストの削減を提供する。 実験の結果, TT-LSTM, TR-LSTM, BT-LSTMなどの最先端圧縮RNNモデルと比較して, 提案したHT-LSTM(HT-LSTM)は, 圧縮比と試験精度を連続的に向上させることがわかった。

関連論文リスト

• STN: Scalable Tensorizing Networks via Structure-Aware Training and Adaptive Compression [10.067082377396586]
  本稿では,モデルサイズと分解構造を適応的に調整するスケーラビリティネットワーク(STN)を提案する。 STNは任意のネットワークアーキテクチャと互換性があり、他のテンソル化バージョンよりも高い圧縮性能と柔軟性を実現する。
  論文  参考訳（メタデータ） (2022-05-30T15:50:48Z)
• Exploiting Low-Rank Tensor-Train Deep Neural Networks Based on Riemannian Gradient Descent With Illustrations of Speech Processing [74.31472195046099]
  我々は、低ランクテンソルトレイン深層ニューラルネットワーク(TT-DNN)を用いて、エンドツーエンドのディープラーニングパイプライン、すなわちLR-TT-DNNを構築する。 LR-TT-DNNと畳み込みニューラルネットワーク(CNN)を組み合わせたハイブリッドモデルを構築し、性能を向上する。 我々の実証的な証拠は、モデルパラメータが少ないLR-TT-DNNとCNN+(LR-TT-DNN)モデルが、TT-DNNとCNN+(LR-TT-DNN)モデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-11T15:55:34Z)
• Towards Extremely Compact RNNs for Video Recognition with Fully Decomposed Hierarchical Tucker Structure [41.41516453160845]
  完全に分解された階層型タッカー(FDHT)構造を持つ非常にコンパクトなRNNモデルを提案する。 複数のポピュラービデオ認識データセットを用いた実験結果から,完全分解型階層型タッカー型lstmは極めてコンパクトかつ高効率であることがわかった。
  論文  参考訳（メタデータ） (2021-04-12T18:40:44Z)
• Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
  本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。 実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。 ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
  論文  参考訳（メタデータ） (2021-03-15T12:54:26Z)
• A Fully Tensorized Recurrent Neural Network [48.50376453324581]
  重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。 このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
  論文  参考訳（メタデータ） (2020-10-08T18:24:12Z)
• Recurrent Graph Tensor Networks: A Low-Complexity Framework for Modelling High-Dimensional Multi-Way Sequence [24.594587557319837]
  我々は、リカレントニューラルネットワーク(RNN)における隠れ状態のモデリングを近似するグラフフィルタフレームワークを開発する。 提案するフレームワークは、複数のマルチウェイシーケンスモデリングタスクを通じて検証され、従来のRNNに対してベンチマークされる。 提案したRGTNは,標準RNNよりも優れるだけでなく,従来のRNNと関連する次元の曲線を緩和できることを示す。
  論文  参考訳（メタデータ） (2020-09-18T10:13:36Z)
• Accurate and Lightweight Image Super-Resolution with Model-Guided Deep Unfolding Network [63.69237156340457]
  我々は、モデル誘導深部展開ネットワーク(MoG-DUN)と呼ばれるSISRに対する説明可能なアプローチを提示し、提唱する。 MoG-DUNは正確(エイリアスを少なくする)、計算効率(モデルパラメータを減らした)、多用途(多重劣化を処理できる)である。 RCAN, SRDNF, SRFBNを含む既存の最先端画像手法に対するMoG-DUN手法の優位性は、いくつかの一般的なデータセットと様々な劣化シナリオに関する広範な実験によって実証されている。
  論文  参考訳（メタデータ） (2020-09-14T08:23:37Z)
• Lightweight image super-resolution with enhanced CNN [82.36883027158308]
  強い表現力を持つ深部畳み込みニューラルネットワーク(CNN)は、単一画像超解像(SISR)において印象的な性能を達成した 情報抽出・拡張ブロック(IEEB)、再構築ブロック(RB)、情報精製ブロック(IRB)の3つの連続したサブブロックを持つ軽量拡張SR CNN(LESRCNN)を提案する。 IEEBは階層的低分解能(LR)特徴を抽出し、SISRの深い層上の浅い層の記憶能力を高めるために、得られた特徴を段階的に集約する。 RBはグローバルに拡散することで低周波特徴を高周波特徴に変換する
  論文  参考訳（メタデータ） (2020-07-08T18:03:40Z)
• Hybrid Tensor Decomposition in Neural Network Compression [13.146051056642904]
  本稿では階層的タッカー分解法(HT)を導入し,ニューラルネットワーク圧縮におけるその機能について検討する。 HTフォーマットは重み行列の圧縮に優れ,TTフォーマットは畳み込みカーネルの圧縮に適していることが実験的に明らかになった。
  論文  参考訳（メタデータ） (2020-06-29T11:16:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。