論文の概要: Towards Efficient Tensor Decomposition-Based DNN Model Compression with
Optimization Framework
- arxiv url: http://arxiv.org/abs/2107.12422v1
- Date: Mon, 26 Jul 2021 18:31:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-28 14:57:03.141530
- Title: Towards Efficient Tensor Decomposition-Based DNN Model Compression with
Optimization Framework
- Title（参考訳）: 最適化フレームワークを用いた効率的なテンソル分解に基づくDNNモデル圧縮
- Authors: Miao Yin, Yang Sui, Siyu Liao and Bo Yuan
- Abstract要約: 乗算器の交互方向法(ADMM)を用いたテンソル分解に基づくモデル圧縮のための体系的フレームワークを提案する。
私たちのフレームワークは非常に一般的で、CNNとRNNの両方で機能します。
実験の結果,ADMMに基づくTTフォーマットモデルは非常に高い圧縮性能を示し,精度が高いことがわかった。
- 参考スコア（独自算出の注目度）: 14.27609385208807
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Advanced tensor decomposition, such as Tensor train (TT) and Tensor ring
(TR), has been widely studied for deep neural network (DNN) model compression,
especially for recurrent neural networks (RNNs). However, compressing
convolutional neural networks (CNNs) using TT/TR always suffers significant
accuracy loss. In this paper, we propose a systematic framework for tensor
decomposition-based model compression using Alternating Direction Method of
Multipliers (ADMM). By formulating TT decomposition-based model compression to
an optimization problem with constraints on tensor ranks, we leverage ADMM
technique to systemically solve this optimization problem in an iterative way.
During this procedure, the entire DNN model is trained in the original
structure instead of TT format, but gradually enjoys the desired low tensor
rank characteristics. We then decompose this uncompressed model to TT format
and fine-tune it to finally obtain a high-accuracy TT-format DNN model. Our
framework is very general, and it works for both CNNs and RNNs, and can be
easily modified to fit other tensor decomposition approaches. We evaluate our
proposed framework on different DNN models for image classification and video
recognition tasks. Experimental results show that our ADMM-based TT-format
models demonstrate very high compression performance with high accuracy.
Notably, on CIFAR-100, with 2.3X and 2.4X compression ratios, our models have
1.96% and 2.21% higher top-1 accuracy than the original ResNet-20 and
ResNet-32, respectively. For compressing ResNet-18 on ImageNet, our model
achieves 2.47X FLOPs reduction without accuracy loss.
- Abstract（参考訳）: テンソルトレイン(TT)やテンソルリング(TR)のような高度なテンソル分解は、ディープニューラルネットワーク(DNN)モデル圧縮、特にリカレントニューラルネットワーク(RNN)のために広く研究されている。
しかし、TT/TRを用いた畳み込みニューラルネットワーク(CNN)の圧縮は、常にかなりの精度の損失を被る。
本稿では,乗算器の交互方向法(ADMM)を用いたテンソル分解に基づくモデル圧縮のための体系的フレームワークを提案する。
TT分解に基づくモデル圧縮をテンソルランクの制約付き最適化問題に定式化することにより、ADMM技術を利用して、この最適化問題を反復的に解く。
この方法では、DNNモデル全体がTTフォーマットの代わりに元の構造でトレーニングされるが、徐々に低テンソルランク特性を享受する。
そして、この非圧縮モデルをTT形式に分解して微調整し、最終的に高精度なTTフォーマットDNNモデルを得る。
我々のフレームワークは非常に一般的なもので、CNNとRNNの両方で動作し、他のテンソル分解アプローチに適合するように容易に修正できる。
画像分類と画像認識のための異なるDNNモデルのフレームワークについて検討した。
実験の結果,ADMMに基づくTTフォーマットモデルは非常に高い圧縮性能を示し,精度が高いことがわかった。
特に、CIFAR-100では2.3Xと2.4Xの圧縮比で、我々のモデルは元のResNet-20とResNet-32よりも1.96%と2.21%高いトップ1の精度を持つ。
ImageNet上でResNet-18を圧縮する場合、精度損失なく2.47倍のFLOPを削減できる。
関連論文リスト
- Graph Neural Network for Accurate and Low-complexity SAR ATR [2.9766397696234996]
高精度かつ低レイテンシなSAR ATRを実現するために,グラフニューラルネットワーク(GNN)モデルを提案する。
提案したGNNモデルは計算複雑性が低く,高い精度を実現する。
現状のCNNと比較して、提案したGNNモデルは、計算コストが1/3000、モデルサイズが1/80である。
論文 参考訳（メタデータ） (2023-05-11T20:17:41Z) - Towards Robust k-Nearest-Neighbor Machine Translation [72.9252395037097]
近年,k-Nearest-Neighbor Machine Translation (kNN-MT)がNMTの重要な研究方向となっている。
その主なアイデアは、NMTモデルを更新することなく翻訳を変更するために、追加のデータストアから有用なキーと値のペアを取得することである。
取り出したノイズペアはモデル性能を劇的に低下させる。
ノイズの影響を軽減するために,頑健なトレーニングを施した信頼性向上kNN-MTモデルを提案する。
論文 参考訳（メタデータ） (2022-10-17T07:43:39Z) - Exploiting Low-Rank Tensor-Train Deep Neural Networks Based on
Riemannian Gradient Descent With Illustrations of Speech Processing [74.31472195046099]
我々は、低ランクテンソルトレイン深層ニューラルネットワーク(TT-DNN)を用いて、エンドツーエンドのディープラーニングパイプライン、すなわちLR-TT-DNNを構築する。
LR-TT-DNNと畳み込みニューラルネットワーク(CNN)を組み合わせたハイブリッドモデルを構築し、性能を向上する。
我々の実証的な証拠は、モデルパラメータが少ないLR-TT-DNNとCNN+(LR-TT-DNN)モデルが、TT-DNNとCNN+(LR-TT-DNN)モデルよりも優れていることを示している。
論文 参考訳（メタデータ） (2022-03-11T15:55:34Z) - Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。
実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
論文 参考訳（メタデータ） (2021-06-18T01:03:13Z) - ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked
Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。
提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。
生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文 参考訳（メタデータ） (2021-05-07T11:39:05Z) - Towards Extremely Compact RNNs for Video Recognition with Fully
Decomposed Hierarchical Tucker Structure [41.41516453160845]
完全に分解された階層型タッカー(FDHT)構造を持つ非常にコンパクトなRNNモデルを提案する。
複数のポピュラービデオ認識データセットを用いた実験結果から,完全分解型階層型タッカー型lstmは極めてコンパクトかつ高効率であることがわかった。
論文 参考訳（メタデータ） (2021-04-12T18:40:44Z) - A Tunable Robust Pruning Framework Through Dynamic Network Rewiring of
DNNs [8.597091257152567]
敵攻撃に対して頑健なプルーンドディープニューラルネットワーク(DNN)モデルを生成する動的ネットワークリウィリング(DNR)手法を提案する。
我々の実験により,DNRは,最先端の代替手段によって達成できるものよりも,クリーンで対角的な画像分類性能の圧縮モデルを一貫して見出すことができた。
論文 参考訳（メタデータ） (2020-11-03T19:49:00Z) - Tensor Reordering for CNN Compression [7.228285747845778]
畳み込みニューラルネットワーク(CNN)フィルタにおけるパラメータ冗長性は,スペクトル領域におけるプルーニングによって効果的に低減できることを示す。
提案手法は事前学習したCNNに対して適用され,最小限の微調整により元のモデル性能を回復できることを示す。
論文 参考訳（メタデータ） (2020-10-22T23:45:34Z) - A Fully Tensorized Recurrent Neural Network [48.50376453324581]
重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。
このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
論文 参考訳（メタデータ） (2020-10-08T18:24:12Z) - Hybrid Tensor Decomposition in Neural Network Compression [13.146051056642904]
本稿では階層的タッカー分解法(HT)を導入し,ニューラルネットワーク圧縮におけるその機能について検討する。
HTフォーマットは重み行列の圧縮に優れ,TTフォーマットは畳み込みカーネルの圧縮に適していることが実験的に明らかになった。
論文 参考訳（メタデータ） (2020-06-29T11:16:22Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。