論文の概要: Convolutional Neural Network Compression through Generalized Kronecker Product Decomposition

• arxiv url: http://arxiv.org/abs/2109.14710v1
• Date: Wed, 29 Sep 2021 20:45:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-02 07:59:42.636918
• Title: Convolutional Neural Network Compression through Generalized Kronecker Product Decomposition
• Title（参考訳）: 一般化クロネッカー積分解による畳み込みニューラルネットワーク圧縮
• Authors: Marawan Gamal Abdel Hameed, Marzieh S. Tahaei, Ali Mosleh, Vahid Partovi Nia
• Abstract要約: 我々は、クロネッカー積分解を一般化して層を圧縮し、多次元に応用し、一般化クロネッカー積分解(GKPD)へと導く。 当社のアプローチでは,任意の畳み込みレイヤのドロップイン代替として使用可能なプラグイン・アンド・プレイモジュールが生成される。
• 参考スコア（独自算出の注目度）: 2.4240083226965115
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern Convolutional Neural Network (CNN) architectures, despite their superiority in solving various problems, are generally too large to be deployed on resource constrained edge devices. In this paper, we reduce memory usage and floating-point operations required by convolutional layers in CNNs. We compress these layers by generalizing the Kronecker Product Decomposition to apply to multidimensional tensors, leading to the Generalized Kronecker Product Decomposition(GKPD). Our approach yields a plug-and-play module that can be used as a drop-in replacement for any convolutional layer. Experimental results for image classification on CIFAR-10 and ImageNet datasets using ResNet, MobileNetv2 and SeNet architectures substantiate the effectiveness of our proposed approach. We find that GKPD outperforms state-of-the-art decomposition methods including Tensor-Train and Tensor-Ring as well as other relevant compression methods such as pruning and knowledge distillation.
• Abstract（参考訳）: 現代の畳み込みニューラルネットワーク(CNN)アーキテクチャは、様々な問題を解決しているにもかかわらず、リソース制約のあるエッジデバイスにデプロイするには大きすぎる。 本稿では,cnnの畳み込み層に必要なメモリ使用量と浮動小数点演算量を削減する。 我々は、Kronecker Product Decompositionを一般化してこれらの層を圧縮し、多次元テンソルに適用し、一般化Kronecker Product Decomposition(GKPD)へと導く。 当社のアプローチでは,任意の畳み込みレイヤのドロップイン代替として使用できる,プラグアンドプレイモジュールが実現されています。 ResNet, MobileNetv2 および SeNet アーキテクチャを用いた CIFAR-10 および ImageNet データセットの画像分類実験の結果,提案手法の有効性を実証した。 gkpdはテンソルトレインやテンソルリングといった最先端の分解法やプルーニングや知識蒸留といった他の関連する圧縮法よりも優れていることが判明した。

関連論文リスト

• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• Mixed-TD: Efficient Neural Network Accelerator with Layer-Specific Tensor Decomposition [7.221206118679026]
  そこで我々は,Mixed-TDと呼ばれるテンソル分解法に基づいて,CNNをFPGAにマッピングするフレームワークを提案する。 提案手法は,DSP毎の1.73倍から10.29倍のスループットを最先端CNNに適用し,層固有特異値分解(SVD)とカノニカルポリアディック分解(CPD)を混合的に適用する。
  論文  参考訳（メタデータ） (2023-06-08T08:16:38Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Nonlinear Tensor Ring Network [39.89070144585793]
  最先端のディープニューラルネットワーク(DNN)は、様々な現実世界のアプリケーションに広く適用されており、認知問題に対して大きなパフォーマンスを実現している。 冗長モデルをコンパクトなモデルに変換することで、圧縮技術はストレージとメモリ消費を減らすための実用的な解決策であるように見える。 本稿では,完全連結層と畳み込み層の両方を圧縮した非線形テンソルリングネットワーク(NTRN)を開発する。
  論文  参考訳（メタデータ） (2021-11-12T02:02:55Z)
• Spatial Dependency Networks: Neural Layers for Improved Generative Image Modeling [79.15521784128102]
  画像生成装置(デコーダ)を構築するための新しいニューラルネットワークを導入し、可変オートエンコーダ(VAE)に適用する。 空間依存ネットワーク(sdns)では、ディープニューラルネットの各レベルにおける特徴マップを空間的にコヒーレントな方法で計算する。 空間依存層による階層型vaeのデコーダの強化は密度推定を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-03-16T07:01:08Z)
• Tensor Reordering for CNN Compression [7.228285747845778]
  畳み込みニューラルネットワーク(CNN)フィルタにおけるパラメータ冗長性は,スペクトル領域におけるプルーニングによって効果的に低減できることを示す。 提案手法は事前学習したCNNに対して適用され,最小限の微調整により元のモデル性能を回復できることを示す。
  論文  参考訳（メタデータ） (2020-10-22T23:45:34Z)
• Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
  畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。 この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-08-06T04:38:38Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。