Fugu-MT 論文翻訳(概要): Tensor Reordering for CNN Compression

論文の概要: Tensor Reordering for CNN Compression

arxiv url: http://arxiv.org/abs/2010.12110v1
Date: Thu, 22 Oct 2020 23:45:34 GMT
ステータス: 処理完了
システム内更新日: 2022-10-04 05:58:11.468533
Title: Tensor Reordering for CNN Compression
Title（参考訳）: CNN圧縮のためのテンソルリオーダー
Authors: Matej Ulicny, Vladimir A. Krylov and Rozenn Dahyot
Abstract要約: 畳み込みニューラルネットワーク(CNN)フィルタにおけるパラメータ冗長性は,スペクトル領域におけるプルーニングによって効果的に低減できることを示す。提案手法は事前学習したCNNに対して適用され,最小限の微調整により元のモデル性能を回復できることを示す。
参考スコア（独自算出の注目度）: 7.228285747845778
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We show how parameter redundancy in Convolutional Neural Network (CNN) filters can be effectively reduced by pruning in spectral domain. Specifically, the representation extracted via Discrete Cosine Transform (DCT) is more conducive for pruning than the original space. By relying on a combination of weight tensor reshaping and reordering we achieve high levels of layer compression with just minor accuracy loss. Our approach is applied to compress pretrained CNNs and we show that minor additional fine-tuning allows our method to recover the original model performance after a significant parameter reduction. We validate our approach on ResNet-50 and MobileNet-V2 architectures for ImageNet classification task.
Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)フィルタにおけるパラメータ冗長性は,スペクトル領域におけるプルーニングによって効果的に低減できることを示す。具体的には、離散コサイン変換(DCT)によって抽出された表現は、元の空間よりもプルーニングに適している。重み付きテンソルの整形と並べ替えを組み合わせることで,精度の低下をわずかに抑えた高レベルの層圧縮を実現する。本手法は,事前学習したcnn圧縮に適用し,微調整により,パラメータ低減後の元のモデル性能を回復できることを示す。 ImageNet分類タスクにおけるResNet-50およびMobileNet-V2アーキテクチャのアプローチを検証する。

関連論文リスト

Convolutional Neural Network Compression via Dynamic Parameter Rank Pruning [4.7027290803102675]
動的パラメータランクプルーニングによるCNN圧縮の効率的なトレーニング手法を提案する。提案手法は, 分類性能の維持や向上を図りながら, かなりの蓄えを得られることを示す。
論文参考訳（メタデータ） (2024-01-15T23:52:35Z)
Compression with Bayesian Implicit Neural Representations [16.593537431810237]
本稿では,データに変分ニューラルネットワークをオーバーフィッティングし,相対エントロピー符号化を用いて近似後重みサンプルを圧縮し,量子化やエントロピー符号化を行う。実験により,本手法は単純さを維持しつつ,画像および音声の圧縮に強い性能を発揮することが示された。
論文参考訳（メタデータ） (2023-05-30T16:29:52Z)
Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文参考訳（メタデータ） (2023-03-16T21:06:13Z)
Approximating Continuous Convolutions for Deep Network Compression [11.566258236184964]
本稿では,畳み込みニューラルネットワークの層を圧縮する新しい手法であるApproxConvを提案する。提案手法では,既存の深層ネットワークモデルを半分に圧縮できるが,精度は1.86%に留まる。
論文参考訳（メタデータ） (2022-10-17T11:41:26Z)
Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
論文参考訳（メタデータ） (2022-02-09T18:48:02Z)
Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization [1.8579693774597708]
低ランクテンソル分解を用いた事前学習ネットワークを圧縮するモデル削減手法を提案する。圧縮中の重要でない要因を抑えるために, ファンネル関数と呼ばれる新しい正規化法を提案する。 ImageNet2012のResNet18では、GMACの精度は0.7%に過ぎず、Top-1の精度はわずかに低下する。
論文参考訳（メタデータ） (2021-12-07T13:41:51Z)
Toward Compact Parameter Representations for Architecture-Agnostic Neural Network Compression [26.501979992447605]
本稿では,訓練されたパラメータをコンパクトに表現・保存する観点から,圧縮について検討する。我々は、画像記述子のために発明された極端損失圧縮法である加法量子化を利用して、パラメータをコンパクトに表現する。我々は,MobileNet-v2,VGG-11,ResNet-50,Feature Pyramid Networks,および分類,検出,セグメンテーションタスクを訓練したPruned DNNの実験を行った。
論文参考訳（メタデータ） (2021-11-19T17:03:11Z)
Rate Distortion Characteristic Modeling for Neural Image Compression [59.25700168404325]
エンドツーエンドの最適化機能は、ニューラルイメージ圧縮(NIC)の優れた損失圧縮性能を提供する。異なるモデルは、R-D空間の異なる点に到達するために訓練される必要がある。深層ネットワークと統計モデルを用いてNICのR-D挙動を記述するために,本質的な数学的関数の定式化に努めている。
論文参考訳（メタデータ） (2021-06-24T12:23:05Z)
Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文参考訳（メタデータ） (2021-05-24T12:07:38Z)
ResRep: Lossless CNN Pruning via Decoupling Remembering and Forgetting [105.97936163854693]
本稿では,畳み込み層の幅(出力チャネル数)を小さくすることで,CNNをスリム化するResRepを提案する。記憶と忘れの独立性に関する神経生物学の研究から着想を得て,CNNを記憶部分と忘れ部分にパラメータ化することを提案する。私たちは、記憶と忘れ物を、より狭いレイヤで元のアーキテクチャにマージします。
論文参考訳（メタデータ） (2020-07-07T07:56:45Z)
Perceptually Optimizing Deep Image Compression [53.705543593594285]
平均二乗誤差(MSE)と$ell_p$ノルムは、ニューラルネットワークの損失の測定で大きく支配されている。本稿では,定量的知覚モデルに対して,画像解析ネットワークを最適化するための異なるプロキシ手法を提案する。
論文参考訳（メタデータ） (2020-07-03T14:33:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。