Fugu-MT 論文翻訳(概要): CNN Acceleration by Low-rank Approximation with Quantized Factors

論文の概要: CNN Acceleration by Low-rank Approximation with Quantized Factors

arxiv url: http://arxiv.org/abs/2006.08878v1
Date: Tue, 16 Jun 2020 02:28:05 GMT
ステータス: 処理完了
システム内更新日: 2022-11-20 19:00:43.258920
Title: CNN Acceleration by Low-rank Approximation with Quantized Factors
Title（参考訳）: 量子化係数を用いた低ランク近似によるCNN加速
Authors: Nikolay Kozyrskiy, Anh-Huy Phan
Abstract要約: 現代の畳み込みニューラルネットワークは複雑なコンピュータビジョンタスクの解決において大きな成果を上げているが、モバイルや組み込みデバイスでは効果的に利用できない。この問題を解決するために、タッカー形式の低ランクテンソル近似と重みの量子化と特徴写像(アクティベーション)という2つの既知の手法を組み合わせた新しい手法を提案する。 CIFAR-10, CIFAR-100, Imagenet分類タスクにおけるResNet18とResNet34の効率を実証した。
参考スコア（独自算出の注目度）: 9.654865591431593
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The modern convolutional neural networks although achieve great results in solving complex computer vision tasks still cannot be effectively used in mobile and embedded devices due to the strict requirements for computational complexity, memory and power consumption. The CNNs have to be compressed and accelerated before deployment. In order to solve this problem the novel approach combining two known methods, low-rank tensor approximation in Tucker format and quantization of weights and feature maps (activations), is proposed. The greedy one-step and multi-step algorithms for the task of multilinear rank selection are proposed. The approach for quality restoration after applying Tucker decomposition and quantization is developed. The efficiency of our method is demonstrated for ResNet18 and ResNet34 on CIFAR-10, CIFAR-100 and Imagenet classification tasks. As a result of comparative analysis performed for other methods for compression and acceleration our approach showed its promising features.
Abstract（参考訳）: 現代の畳み込みニューラルネットワークは複雑なコンピュータビジョンタスクの解決において大きな成果を上げているが、計算の複雑さ、メモリ、消費電力の厳しい要件のため、モバイルや組み込みデバイスでは効果的に使用できない。 CNNは、デプロイ前に圧縮され、加速されなければならない。この問題を解決するために、タッカー形式の低ランクテンソル近似と重みと特徴写像の量子化(実行)という2つの既知の手法を組み合わせた新しい手法を提案する。マルチ線形階数選択の課題に対して, グレディワンステップとマルチステップのアルゴリズムを提案する。タッカー分解および量子化を適用した品質回復手法を開発した。 CIFAR-10, CIFAR-100, Imagenet分類タスクにおけるResNet18とResNet34の効率を実証した。圧縮・加速のための他の手法との比較分析の結果,提案手法は有望な特徴を示した。

関連論文リスト

Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文参考訳（メタデータ） (2024-10-29T19:02:54Z)
Dynamic Semantic Compression for CNN Inference in Multi-access Edge Computing: A Graph Reinforcement Learning-based Autoencoder [82.8833476520429]
部分オフロードにおける効果的な意味抽出と圧縮のための新しい意味圧縮手法であるオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。セマンティックエンコーダでは、CNNのチャネルアテンション機構に基づく特徴圧縮モジュールを導入し、最も情報性の高い特徴を選択して中間データを圧縮する。セマンティックデコーダでは、受信した圧縮データから学習して中間データを再構築し、精度を向上させる軽量デコーダを設計する。
論文参考訳（メタデータ） (2024-01-19T15:19:47Z)
Convolutional Neural Network Compression via Dynamic Parameter Rank Pruning [4.7027290803102675]
動的パラメータランクプルーニングによるCNN圧縮の効率的なトレーニング手法を提案する。提案手法は, 分類性能の維持や向上を図りながら, かなりの蓄えを得られることを示す。
論文参考訳（メタデータ） (2024-01-15T23:52:35Z)
Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文参考訳（メタデータ） (2023-03-16T21:06:13Z)
On Model Compression for Neural Networks: Framework, Algorithm, and Convergence Guarantee [21.818773423324235]
本稿では,低ランク近似と重み近似の2つのモデル圧縮手法に焦点を当てた。本稿では,非最適化の新たな視点から,モデル圧縮のための全体論的なフレームワークを提案する。
論文参考訳（メタデータ） (2023-03-13T02:14:42Z)
Complexity-Driven CNN Compression for Resource-constrained Edge AI [1.6114012813668934]
本稿では,CNNの層レベルでの複雑さを生かして,新しい,計算効率の高いプルーニングパイプラインを提案する。パラメータ認識(PA)、FLOP認識(FA)、メモリ認識(MA)の3つのモードを定義し、CNNの汎用圧縮を導入する。
論文参考訳（メタデータ） (2022-08-26T16:01:23Z)
Learning from Images: Proactive Caching with Parallel Convolutional Neural Networks [94.85780721466816]
本稿では,プロアクティブキャッシングのための新しいフレームワークを提案する。モデルベースの最適化とデータ駆動技術を組み合わせて、最適化問題をグレースケールのイメージに変換する。数値計算の結果,提案手法は71.6%の計算時間を0.8%のコストで削減できることがわかった。
論文参考訳（メタデータ） (2021-08-15T21:32:47Z)
Multi-objective Evolutionary Approach for Efficient Kernel Size and Shape for CNN [12.697368516837718]
VGGNetやResNetのようなCNNトポロジにおける最先端の開発は、ますます正確になっている。これらのネットワークは数十億の演算とパラメータを含む計算コストが高い。本稿では,畳み込み層におけるカーネルのサイズと数を削減することにより,計算資源の消費を最適化することを検討する。
論文参考訳（メタデータ） (2021-06-28T14:47:29Z)
Quantized Proximal Averaging Network for Analysis Sparse Coding [23.080395291046408]
反復アルゴリズムをトレーニング可能なネットワークに展開し,量子化前にスパーシティの学習を容易にする。圧縮画像回復と磁気共鳴画像再構成への応用を実証する。
論文参考訳（メタデータ） (2021-05-13T12:05:35Z)
Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文参考訳（メタデータ） (2021-03-10T03:59:03Z)
A Deep-Unfolded Reference-Based RPCA Network For Video Foreground-Background Separation [86.35434065681925]
本稿では,ロバスト主成分分析(RPCA)問題に対するディープアンフォールディングに基づくネットワーク設計を提案する。既存の設計とは異なり,本手法は連続するビデオフレームのスパース表現間の時間的相関をモデル化することに焦点を当てている。移動MNISTデータセットを用いた実験により、提案したネットワークは、ビデオフォアグラウンドとバックグラウンドの分離作業において、最近提案された最先端のRPCAネットワークより優れていることが示された。
論文参考訳（メタデータ） (2020-10-02T11:40:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。