論文の概要: STN: Scalable Tensorizing Networks via Structure-Aware Training and Adaptive Compression

• arxiv url: http://arxiv.org/abs/2205.15198v1
• Date: Mon, 30 May 2022 15:50:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-31 14:19:13.073337
• Title: STN: Scalable Tensorizing Networks via Structure-Aware Training and Adaptive Compression
• Title（参考訳）: STN:Structure-Aware TrainingとAdaptive Compressionによるスケーラブルなテンソル化ネットワーク
• Authors: Chang Nie, Huan Wang, Lu Zhao
• Abstract要約: 本稿では,モデルサイズと分解構造を適応的に調整するスケーラビリティネットワーク(STN)を提案する。 STNは任意のネットワークアーキテクチャと互換性があり、他のテンソル化バージョンよりも高い圧縮性能と柔軟性を実現する。
• 参考スコア（独自算出の注目度）: 10.067082377396586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) have delivered a remarkable performance in many tasks of computer vision. However, over-parameterized representations of popular architectures dramatically increase their computational complexity and storage costs, and hinder their availability in edge devices with constrained resources. Regardless of many tensor decomposition (TD) methods that have been well-studied for compressing DNNs to learn compact representations, they suffer from non-negligible performance degradation in practice. In this paper, we propose Scalable Tensorizing Networks (STN), which dynamically and adaptively adjust the model size and decomposition structure without retraining. First, we account for compression during training by adding a low-rank regularizer to guarantee networks' desired low-rank characteristics in full tensor format. Then, considering network layers exhibit various low-rank structures, STN is obtained by a data-driven adaptive TD approach, for which the topological structure of decomposition per layer is learned from the pre-trained model, and the ranks are selected appropriately under specified storage constraints. As a result, STN is compatible with arbitrary network architectures and achieves higher compression performance and flexibility over other tensorizing versions. Comprehensive experiments on several popular architectures and benchmarks substantiate the superiority of our model towards improving parameter efficiency.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、コンピュータビジョンの多くのタスクで顕著なパフォーマンスを実現している。 しかし、一般的なアーキテクチャの過剰なパラメータ表現は計算の複雑さとストレージコストを劇的に増加させ、制約のあるリソースを持つエッジデバイスでの可用性を妨げる。 DNNを圧縮してコンパクトな表現を学習するためによく研究されてきた多くのテンソル分解(TD)手法はともかく、実際には非無視のパフォーマンス劣化に悩まされている。 本稿では,モデルサイズと分解構造を動的かつ適応的に調整し,再学習を伴わないスケーラブルなテンソル化ネットワーク(STN)を提案する。 まず,ネットワークの所望の低ランク特性を完全テンソル形式で保証するために低ランク正規化器を追加することで,トレーニング中の圧縮について考察する。 そして、ネットワーク層が様々な低ランク構造を示すことを考慮し、事前学習したモデルから層ごとの分解の位相構造を学習したデータ駆動適応tdアプローチにより、階層を所定の記憶制約下で適切に選択する。 結果として、STNは任意のネットワークアーキテクチャと互換性があり、他のテンソル化バージョンよりも高い圧縮性能と柔軟性を実現する。 いくつかの一般的なアーキテクチャとベンチマークに関する総合的な実験は、パラメータ効率の改善に向けたモデルの優位性を裏付けるものである。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Towards Efficient Deep Spiking Neural Networks Construction with Spiking Activity based Pruning [17.454100169491497]
  本稿では,Spking Channel Activity-based (SCA) network pruning frameworkという,畳み込みカーネルの動作レベルに基づく構造化プルーニング手法を提案する。 本手法は, 学習中の畳み込みカーネルの切断・再生によりネットワーク構造を動的に調整し, 現在の目標タスクへの適応性を高める。
  論文  参考訳（メタデータ） (2024-06-03T07:44:37Z)
• Structure-Preserving Network Compression Via Low-Rank Induced Training Through Linear Layers Composition [11.399520888150468]
  ローランド誘導訓練(LoRITa)と呼ばれる理論的修正手法を提案する。 LoRITaは線形層を構成することで低ランク化を促進し、特異値切り込みを用いて圧縮する。 我々は,完全連結ネットワーク上でのMNIST,視覚変換器上でのCIFAR10,畳み込みニューラルネットワーク上でのCIFAR10/100と画像ネットを用いたアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2024-05-06T00:58:23Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• STD-NET: Search of Image Steganalytic Deep-learning Architecture via Hierarchical Tensor Decomposition [40.997546601209145]
  STD-NETは階層的テンソル分解による教師なしディープラーニングアーキテクチャ探索手法である。 提案手法は,従来のステガナティックネットワーク圧縮法に比べて効率が高く,冗長性も高い。
  論文  参考訳（メタデータ） (2022-06-12T03:46:08Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• A Fully Tensorized Recurrent Neural Network [48.50376453324581]
  重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。 このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
  論文  参考訳（メタデータ） (2020-10-08T18:24:12Z)
• The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network Architectures [179.66117325866585]
  我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。 この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。 画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
  論文  参考訳（メタデータ） (2020-06-29T17:59:26Z)
• Structured Sparsification with Joint Optimization of Group Convolution and Channel Shuffle [117.95823660228537]
  本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。 提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。 また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
  論文  参考訳（メタデータ） (2020-02-19T12:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。