Fugu-MT 論文翻訳(概要): Pre-defined Sparsity for Low-Complexity Convolutional Neural Networks

論文の概要: Pre-defined Sparsity for Low-Complexity Convolutional Neural Networks

arxiv url: http://arxiv.org/abs/2001.10710v2
Date: Tue, 4 Feb 2020 19:26:39 GMT
ステータス: 処理完了
システム内更新日: 2023-01-05 21:02:03.547311
Title: Pre-defined Sparsity for Low-Complexity Convolutional Neural Networks
Title（参考訳）: 低複雑性畳み込みニューラルネットワークのための事前定義されたスパーシリティ
Authors: Souvik Kundu, Mahdi Nazemi, Massoud Pedram, Keith M. Chugg, Peter A. Beerel
Abstract要約: この研究は、フィルタ内で定期的に繰り返されるサポートセットを持つ、事前に定義されたスパース2Dカーネルを持つ畳み込みレイヤを導入している。周期的なスパースカーネルの効率的な保存のため、パラメータの節約はエネルギー効率を大幅に向上させることができる。
参考スコア（独自算出の注目度）: 9.409651543514615
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The high energy cost of processing deep convolutional neural networks impedes their ubiquitous deployment in energy-constrained platforms such as embedded systems and IoT devices. This work introduces convolutional layers with pre-defined sparse 2D kernels that have support sets that repeat periodically within and across filters. Due to the efficient storage of our periodic sparse kernels, the parameter savings can translate into considerable improvements in energy efficiency due to reduced DRAM accesses, thus promising significant improvements in the trade-off between energy consumption and accuracy for both training and inference. To evaluate this approach, we performed experiments with two widely accepted datasets, CIFAR-10 and Tiny ImageNet in sparse variants of the ResNet18 and VGG16 architectures. Compared to baseline models, our proposed sparse variants require up to 82% fewer model parameters with 5.6times fewer FLOPs with negligible loss in accuracy for ResNet18 on CIFAR-10. For VGG16 trained on Tiny ImageNet, our approach requires 5.8times fewer FLOPs and up to 83.3% fewer model parameters with a drop in top-5 (top-1) accuracy of only 1.2% (2.1%). We also compared the performance of our proposed architectures with that of ShuffleNet andMobileNetV2. Using similar hyperparameters and FLOPs, our ResNet18 variants yield an average accuracy improvement of 2.8%.
Abstract（参考訳）: 深層畳み込みニューラルネットワークを処理するための高エネルギーコストは、組み込みシステムやIoTデバイスのようなエネルギー制約のあるプラットフォームへのユビキタスな展開を妨げる。この研究は、フィルター内およびフィルター間を周期的に繰り返すサポートセットを持つ、事前定義されたスパース2dカーネルによる畳み込み層を導入する。周期的スパースカーネルの効率的な保存により、パラメータセーブはDRAMアクセスの削減によるエネルギー効率の大幅な改善に変換できるため、トレーニングと推論の両方においてエネルギー消費と精度のトレードオフが大幅に改善されることが期待できる。このアプローチを評価するために、ResNet18とVGG16アーキテクチャのスパース変種において、広く受け入れられている2つのデータセットであるCIFAR-10とTiny ImageNetを用いて実験を行った。ベースラインモデルと比較すると,提案手法ではモデルパラメータが最大82%少なく,フラップが5.6倍少なく,cifar-10ではresnet18の精度が無視できる。 Tiny ImageNetでトレーニングされたVGG16では、FLOPが5.8倍少なく、モデルパラメータが83.3%少なく、トップ5(トップ-1)の精度はわずか1.2%(2.1%)である。また,提案アーキテクチャの性能をShuffleNetとMobileNetV2の性能と比較した。同様のハイパーパラメータとFLOPを用いて、ResNet18の変種は平均精度が2.8%向上した。

関連論文リスト

Dual sparse training framework: inducing activation map sparsity via Transformed $\ell1$ regularization [2.631955426232593]
本稿では,Transformed $ell1$ regularizationに基づいて,アクティベーションマップの間隔を推定する手法を提案する。以前の方法と比較すると、transformed $ell1$ はより高い空間性を実現し、異なるネットワーク構造に適応できる。デュアルスパーストレーニングフレームワークは、計算負荷を大幅に削減し、実行時に必要なストレージを削減できる可能性がある。
論文参考訳（メタデータ） (2024-05-30T03:11:21Z)
Learning Activation Functions for Sparse Neural Networks [12.234742322758418]
スパースニューラルネットワーク(SNN)は、密度の高いニューラルネットワークと同じようなパフォーマンスを示す可能性がある。しかし、SNNによる精度低下、特に高い刈り込み比は、重要な配置条件において問題となる可能性がある。スパースネットワークのためのアクティベーション関数をチューニングする新しい方法を学ぶことに集中する。
論文参考訳（メタデータ） (2023-05-18T13:30:29Z)
Efficient CNN Architecture Design Guided by Visualization [13.074652653088584]
VGNetG-1.0MPは0.99Mパラメータで67.7%、ImageNet分類データセットで1.14Mパラメータで69.2%である。我々のVGNetF-1.5MPは64.4%(-3.2%)のトップ1の精度と66.2%(-1.4%)のトップ1の精度でガウスカーネルを追加している。
論文参考訳（メタデータ） (2022-07-21T06:22:15Z)
EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for Mobile Vision Applications [68.35683849098105]
入力テンソルを複数のチャネルグループに分割するSDTAエンコーダを導入する。 1.3Mパラメータを持つEdgeNeXtモデルでは、ImageNet-1Kで71.2%のTop-1精度を実現している。パラメータ5.6MのEdgeNeXtモデルでは、ImageNet-1Kで79.4%のTop-1精度を実現しています。
論文参考訳（メタデータ） (2022-06-21T17:59:56Z)
DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
論文参考訳（メタデータ） (2021-09-21T09:57:21Z)
Toward Compact Deep Neural Networks via Energy-Aware Pruning [2.578242050187029]
ネットワークにおける各フィルタの重要性を核ノルム(NN)を用いて定量化する新しいエネルギー対応プルーニング手法を提案する。 FLOPの40.4/49.8%、パラメータ還元の45.9/52.9%、トップ1の精度の94.13/94.61%、CIFAR-10のResNet-56/110で競合する結果を得た。
論文参考訳（メタデータ） (2021-03-19T15:33:16Z)
Non-Parametric Adaptive Network Pruning [125.4414216272874]
アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
論文参考訳（メタデータ） (2021-01-20T06:18:38Z)
MicroNet: Towards Image Recognition with Extremely Low FLOPs [117.96848315180407]
MicroNetは計算コストの極めて低い効率的な畳み込みニューラルネットワークである。 MicroNetのファミリは、低いFLOP体制における最先端技術よりも大きなパフォーマンス向上を実現している。例えば、MicroNet-M1は12のMFLOPを持つImageNet分類において61.1%のトップ-1の精度を達成し、MobileNetV3を11.3%上回っている。
論文参考訳（メタデータ） (2020-11-24T18:59:39Z)
PENNI: Pruned Kernel Sharing for Efficient CNN Inference [41.050335599000036]
最先端(SOTA)CNNは、様々なタスクにおいて優れたパフォーマンスを達成する。その高い計算要求と膨大な数のパラメータにより、リソース制約のあるデバイスにこれらのSOTA CNNをデプロイすることは困難である。本稿では,CNNモデル圧縮フレームワークであるPENNIを提案する。
論文参考訳（メタデータ） (2020-05-14T16:57:41Z)
Highly Efficient Salient Object Detection with 100K Parameters [137.74898755102387]
そこで我々は,段階内および複数ステージのマルチスケール機能を効率的に活用するために,フレキシブルな畳み込みモジュールであるOctoConv(gOctConv)を提案する。我々は、非常に軽量なモデル、すなわちCSNetを構築し、一般的なオブジェクト検出ベンチマークで、約0.2%(100k)の大規模モデルで同等のパフォーマンスを達成する。
論文参考訳（メタデータ） (2020-03-12T07:00:46Z)
End-to-End Multi-speaker Speech Recognition with Transformer [88.22355110349933]
音声認識モデルにおけるRNNベースのエンコーダデコーダをトランスフォーマーアーキテクチャに置き換える。また、計算量を削減するために、シーケンス全体ではなくセグメントに制限されるセルフアテンションコンポーネントを変更します。
論文参考訳（メタデータ） (2020-02-10T16:29:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。