論文の概要: Towards Extremely Compact RNNs for Video Recognition with Fully Decomposed Hierarchical Tucker Structure

• arxiv url: http://arxiv.org/abs/2104.05758v1
• Date: Mon, 12 Apr 2021 18:40:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-14 13:45:33.462374
• Title: Towards Extremely Compact RNNs for Video Recognition with Fully Decomposed Hierarchical Tucker Structure
• Title（参考訳）: 完全分解階層型タッカー構造を用いたビデオ認識のための超小型RNNの実現に向けて
• Authors: Miao Yin, Siyu Liao, Xiao-Yang Liu, Xiaodong Wang and Bo Yuan
• Abstract要約: 完全に分解された階層型タッカー(FDHT)構造を持つ非常にコンパクトなRNNモデルを提案する。 複数のポピュラービデオ認識データセットを用いた実験結果から,完全分解型階層型タッカー型lstmは極めてコンパクトかつ高効率であることがわかった。
• 参考スコア（独自算出の注目度）: 41.41516453160845
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recurrent Neural Networks (RNNs) have been widely used in sequence analysis and modeling. However, when processing high-dimensional data, RNNs typically require very large model sizes, thereby bringing a series of deployment challenges. Although various prior works have been proposed to reduce the RNN model sizes, executing RNN models in resource-restricted environments is still a very challenging problem. In this paper, we propose to develop extremely compact RNN models with fully decomposed hierarchical Tucker (FDHT) structure. The HT decomposition does not only provide much higher storage cost reduction than the other tensor decomposition approaches but also brings better accuracy performance improvement for the compact RNN models. Meanwhile, unlike the existing tensor decomposition-based methods that can only decompose the input-to-hidden layer of RNNs, our proposed fully decomposition approach enables the comprehensive compression for the entire RNN models with maintaining very high accuracy. Our experimental results on several popular video recognition datasets show that our proposed fully decomposed hierarchical tucker-based LSTM (FDHT-LSTM) is extremely compact and highly efficient. To the best of our knowledge, FDHT-LSTM, for the first time, consistently achieves very high accuracy with only few thousand parameters (3,132 to 8,808) on different datasets. Compared with the state-of-the-art compressed RNN models, such as TT-LSTM, TR-LSTM and BT-LSTM, our FDHT-LSTM simultaneously enjoys both order-of-magnitude (3,985x to 10,711x) fewer parameters and significant accuracy improvement (0.6% to 12.7%).
• Abstract（参考訳）: リカレントニューラルネットワーク(RNN)はシーケンス解析やモデリングに広く利用されている。 しかしながら、高次元データを処理する場合、RNNは通常、非常に大きなモデルサイズを必要とするため、一連のデプロイメント課題が発生する。 RNNモデルのサイズを減らすために様々な先行研究が提案されているが、資源制限環境でのRNNモデルの実行は依然として非常に難しい問題である。 本稿では,完全分解階層型タッカー(fdht)構造を持つ超コンパクトなrnnモデルを開発することを提案する。 HT分解は、他のテンソル分解法よりもはるかに高いストレージコスト削減を提供するだけでなく、コンパクトなRNNモデルの精度向上をもたらす。 一方、RNNの入力-隠蔽層のみを分解できる既存のテンソル分解法とは異なり、本提案手法により、RNNモデル全体の包括的圧縮を極めて高精度に行うことができる。 いくつかのビデオ認識データセットを用いた実験結果から,提案した完全分解階層型タッカーベースLSTM(FDHT-LSTM)は極めてコンパクトで高効率であることがわかった。 我々の知る限りでは、FDHT-LSTMは、異なるデータセット上で数千のパラメータ(3,132～8,808)しか持たずに、常に非常に高い精度を達成する。 TT-LSTMやTR-LSTM、BT-LSTMといった最先端の圧縮RNNモデルと比較して、FDHT-LSTMは、パラメータの次数(3,985xから10,711x)と精度の大幅な改善(0.6%から12.7%)の両方を同時に享受する。

関連論文リスト

• LION: Linear Group RNN for 3D Object Detection in Point Clouds [85.97541374148508]
  本稿では,LInear grOup RNN上に構築されたウィンドウベースフレームワークを提案する。 3次元空間特徴記述器を導入し,それを線形群 RNN 演算子に統合して空間特徴を増強する。 高分散点雲の課題にさらに対処するため,前景の特徴を密度化するための3次元ボクセル生成戦略を提案する。
  論文  参考訳（メタデータ） (2024-07-25T17:50:32Z)
• A model for multi-attack classification to improve intrusion detection performance using deep learning approaches [0.0]
  ここでの目的は、悪意のある攻撃を識別するための信頼性の高い侵入検知メカニズムを作ることである。 ディープラーニングベースのソリューションフレームワークは、3つのアプローチから成り立っている。 最初のアプローチは、adamax、SGD、adagrad、adam、RMSprop、nadam、adadeltaといった7つの機能を持つLong-Short Term Memory Recurrent Neural Network (LSTM-RNN)である。 モデルは特徴を自己学習し、攻撃クラスをマルチアタック分類として分類する。
  論文  参考訳（メタデータ） (2023-10-25T05:38:44Z)
• MT-SNN: Enhance Spiking Neural Network with Multiple Thresholds [2.3531574267580035]
  スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わる有望なエネルギー効率を提供する 精度損失を軽減し,SNNの精度を大幅に向上させるMultiple Threshold (MT) 手法を提案する。 CIFAR10, CIFAR100, ImageNet, DVS-CIFAR10データセットに対する実験により, MTモードがシングルスレッドSNNの性能を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2023-03-20T14:04:50Z)
• Exploiting Low-Rank Tensor-Train Deep Neural Networks Based on Riemannian Gradient Descent With Illustrations of Speech Processing [74.31472195046099]
  我々は、低ランクテンソルトレイン深層ニューラルネットワーク(TT-DNN)を用いて、エンドツーエンドのディープラーニングパイプライン、すなわちLR-TT-DNNを構築する。 LR-TT-DNNと畳み込みニューラルネットワーク(CNN)を組み合わせたハイブリッドモデルを構築し、性能を向上する。 我々の実証的な証拠は、モデルパラメータが少ないLR-TT-DNNとCNN+(LR-TT-DNN)モデルが、TT-DNNとCNN+(LR-TT-DNN)モデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-11T15:55:34Z)
• Towards Efficient Tensor Decomposition-Based DNN Model Compression with Optimization Framework [14.27609385208807]
  乗算器の交互方向法(ADMM)を用いたテンソル分解に基づくモデル圧縮のための体系的フレームワークを提案する。 私たちのフレームワークは非常に一般的で、CNNとRNNの両方で機能します。 実験の結果,ADMMに基づくTTフォーマットモデルは非常に高い圧縮性能を示し,精度が高いことがわかった。
  論文  参考訳（メタデータ） (2021-07-26T18:31:33Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• A Fully Tensorized Recurrent Neural Network [48.50376453324581]
  重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。 このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
  論文  参考訳（メタデータ） (2020-10-08T18:24:12Z)
• Accurate and Lightweight Image Super-Resolution with Model-Guided Deep Unfolding Network [63.69237156340457]
  我々は、モデル誘導深部展開ネットワーク(MoG-DUN)と呼ばれるSISRに対する説明可能なアプローチを提示し、提唱する。 MoG-DUNは正確(エイリアスを少なくする)、計算効率(モデルパラメータを減らした)、多用途(多重劣化を処理できる)である。 RCAN, SRDNF, SRFBNを含む既存の最先端画像手法に対するMoG-DUN手法の優位性は、いくつかの一般的なデータセットと様々な劣化シナリオに関する広範な実験によって実証されている。
  論文  参考訳（メタデータ） (2020-09-14T08:23:37Z)
• Compressing Recurrent Neural Networks Using Hierarchical Tucker Tensor Decomposition [39.76939368675827]
  リカレントニューラルネットワーク(RNN)はシーケンス解析やモデリングに広く利用されている。 RNNは通常、高次元データを処理する際に非常に大きなモデルサイズを必要とする。 階層タッカー(HT)分解を用いたコンパクトRNNモデルを提案する。
  論文  参考訳（メタデータ） (2020-05-09T05:15:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。