論文の概要: STN: Scalable Tensorizing Networks via Structure-Aware Training and
Adaptive Compression
- arxiv url: http://arxiv.org/abs/2205.15198v1
- Date: Mon, 30 May 2022 15:50:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-31 14:19:13.073337
- Title: STN: Scalable Tensorizing Networks via Structure-Aware Training and
Adaptive Compression
- Title(参考訳): STN:Structure-Aware TrainingとAdaptive Compressionによるスケーラブルなテンソル化ネットワーク
- Authors: Chang Nie, Huan Wang, Lu Zhao
- Abstract要約: 本稿では,モデルサイズと分解構造を適応的に調整するスケーラビリティネットワーク(STN)を提案する。
STNは任意のネットワークアーキテクチャと互換性があり、他のテンソル化バージョンよりも高い圧縮性能と柔軟性を実現する。
- 参考スコア(独自算出の注目度): 10.067082377396586
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks (DNNs) have delivered a remarkable performance in many
tasks of computer vision. However, over-parameterized representations of
popular architectures dramatically increase their computational complexity and
storage costs, and hinder their availability in edge devices with constrained
resources. Regardless of many tensor decomposition (TD) methods that have been
well-studied for compressing DNNs to learn compact representations, they suffer
from non-negligible performance degradation in practice. In this paper, we
propose Scalable Tensorizing Networks (STN), which dynamically and adaptively
adjust the model size and decomposition structure without retraining. First, we
account for compression during training by adding a low-rank regularizer to
guarantee networks' desired low-rank characteristics in full tensor format.
Then, considering network layers exhibit various low-rank structures, STN is
obtained by a data-driven adaptive TD approach, for which the topological
structure of decomposition per layer is learned from the pre-trained model, and
the ranks are selected appropriately under specified storage constraints. As a
result, STN is compatible with arbitrary network architectures and achieves
higher compression performance and flexibility over other tensorizing versions.
Comprehensive experiments on several popular architectures and benchmarks
substantiate the superiority of our model towards improving parameter
efficiency.
- Abstract(参考訳): ディープニューラルネットワーク(DNN)は、コンピュータビジョンの多くのタスクで顕著なパフォーマンスを実現している。
しかし、一般的なアーキテクチャの過剰なパラメータ表現は計算の複雑さとストレージコストを劇的に増加させ、制約のあるリソースを持つエッジデバイスでの可用性を妨げる。
DNNを圧縮してコンパクトな表現を学習するためによく研究されてきた多くのテンソル分解(TD)手法はともかく、実際には非無視のパフォーマンス劣化に悩まされている。
本稿では,モデルサイズと分解構造を動的かつ適応的に調整し,再学習を伴わないスケーラブルなテンソル化ネットワーク(STN)を提案する。
まず,ネットワークの所望の低ランク特性を完全テンソル形式で保証するために低ランク正規化器を追加することで,トレーニング中の圧縮について考察する。
そして、ネットワーク層が様々な低ランク構造を示すことを考慮し、事前学習したモデルから層ごとの分解の位相構造を学習したデータ駆動適応tdアプローチにより、階層を所定の記憶制約下で適切に選択する。
結果として、STNは任意のネットワークアーキテクチャと互換性があり、他のテンソル化バージョンよりも高い圧縮性能と柔軟性を実現する。
いくつかの一般的なアーキテクチャとベンチマークに関する総合的な実験は、パラメータ効率の改善に向けたモデルの優位性を裏付けるものである。
関連論文リスト
- Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳(メタデータ) (2023-03-16T21:06:13Z) - STD-NET: Search of Image Steganalytic Deep-learning Architecture via
Hierarchical Tensor Decomposition [40.997546601209145]
STD-NETは階層的テンソル分解による教師なしディープラーニングアーキテクチャ探索手法である。
提案手法は,従来のステガナティックネットワーク圧縮法に比べて効率が高く,冗長性も高い。
論文 参考訳(メタデータ) (2022-06-12T03:46:08Z) - Compact representations of convolutional neural networks via weight
pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。
我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文 参考訳(メタデータ) (2021-08-28T20:39:54Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳(メタデータ) (2021-06-15T17:22:59Z) - Block-term Tensor Neural Networks [29.442026567710435]
ブロック終端テンソル層(BT層)は,CNNやRNNなどのニューラルネットワークモデルに容易に適用可能であることを示す。
CNNとRNNのBT層は、元のDNNの表現力を維持したり改善したりしながら、パラメータ数に対して非常に大きな圧縮比を達成することができる。
論文 参考訳(メタデータ) (2020-10-10T09:58:43Z) - A Fully Tensorized Recurrent Neural Network [48.50376453324581]
重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。
このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
論文 参考訳(メタデータ) (2020-10-08T18:24:12Z) - Adaptive Learning of Tensor Network Structures [6.407946291544721]
我々はTN形式を利用して汎用的で効率的な適応アルゴリズムを開発し、データからTNの構造とパラメータを学習する。
本アルゴリズムは,任意の微分対象関数を効果的に最適化する少数のパラメータでTN構造を適応的に同定することができる。
論文 参考訳(メタデータ) (2020-08-12T16:41:56Z) - The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network
Architectures [179.66117325866585]
我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。
この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。
画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
論文 参考訳(メタデータ) (2020-06-29T17:59:26Z) - Structured Sparsification with Joint Optimization of Group Convolution
and Channel Shuffle [117.95823660228537]
本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。
提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。
また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
論文 参考訳(メタデータ) (2020-02-19T12:03:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。