論文の概要: SlimConv: Reducing Channel Redundancy in Convolutional Neural Networks by Weights Flipping

• arxiv url: http://arxiv.org/abs/2003.07469v1
• Date: Mon, 16 Mar 2020 23:23:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-23 03:14:58.640708
• Title: SlimConv: Reducing Channel Redundancy in Convolutional Neural Networks by Weights Flipping
• Title（参考訳）: slimconv:重み付け反転による畳み込みニューラルネットワークのチャネル冗長性低減
• Authors: Jiaxiong Qiu, Cai Chen, Shuaicheng Liu, Bing Zeng
• Abstract要約: 我々は,チャネル冗長性を低減し,CNNの性能を高めるために,新しいSlim Convolution(SlimConv)モジュールを設計する。 SlimConvは、Reconstruct、Transform、Fuseの3つの主要なステップで構成されている。 我々は、ImageNet、MS2014、Pascal VOC2012セグメンテーション、Pascal VOC2007検出データセットに関する総合的な実験を行い、SlimConvの有効性を検証する。
• 参考スコア（独自算出の注目度）: 43.37989928043927
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The channel redundancy in feature maps of convolutional neural networks (CNNs) results in the large consumption of memories and computational resources. In this work, we design a novel Slim Convolution (SlimConv) module to boost the performance of CNNs by reducing channel redundancies. Our SlimConv consists of three main steps: Reconstruct, Transform and Fuse, through which the features are splitted and reorganized in a more efficient way, such that the learned weights can be compressed effectively. In particular, the core of our model is a weight flipping operation which can largely improve the feature diversities, contributing to the performance crucially. Our SlimConv is a plug-and-play architectural unit which can be used to replace convolutional layers in CNNs directly. We validate the effectiveness of SlimConv by conducting comprehensive experiments on ImageNet, MS COCO2014, Pascal VOC2012 segmentation, and Pascal VOC2007 detection datasets. The experiments show that SlimConv-equipped models can achieve better performances consistently, less consumption of memory and computation resources than non-equipped conterparts. For example, the ResNet-101 fitted with SlimConv achieves 77.84% top-1 classification accuracy with 4.87 GFLOPs and 27.96M parameters on ImageNet, which shows almost 0.5% better performance with about 3 GFLOPs and 38% parameters reduced.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)の機能マップにおけるチャネル冗長性は、メモリと計算資源の大量消費をもたらす。 本研究では,チャネル冗長性を低減し,CNNの性能を向上させる新しいSlim Convolution(SlimConv)モジュールを設計する。 私たちのslimconvは、再構築、変換、融合の3つの主要なステップで構成されています。 特に、我々のモデルの中核は重み付け操作であり、特徴の多様性を大幅に改善し、性能に決定的に寄与する。 私たちのslimconvはプラグアンドプレイのアーキテクチャユニットで、cnnの畳み込みレイヤを直接置き換えることができます。 我々は、ImageNet、MS COCO2014、Pascal VOC2012セグメンテーション、Pascal VOC2007検出データセットの総合的な実験を行い、SlimConvの有効性を検証する。 実験により、SlimConv搭載モデルは、非装備のコンター部品よりもメモリや計算資源の消費が少なく、一貫して優れた性能を達成できることが示された。 例えば、SlimConvを搭載したResNet-101は、ImageNetの4.87 GFLOPsと27.96Mパラメータで77.84%のトップ-1の精度を達成し、約3 GFLOPsと38%のパラメータが削減された。

関連論文リスト

• Kolmogorov-Arnold Transformer [72.88137795439407]
  Kolmogorov-Arnold Transformer(KAT)は,階層をKAN(Kolmogorov-Arnold Network)層に置き換える新しいアーキテクチャである。 C1)基本関数,(C2)非効率,(C3)重みの3つの主要な課題を特定する。 これらの設計により、KATは従来のトランスフォーマーよりも優れている。
  論文  参考訳（メタデータ） (2024-09-16T17:54:51Z)
• SparseSpikformer: A Co-Design Framework for Token and Weight Pruning in Spiking Transformer [12.717450255837178]
  スパイキングニューラルネットワーク(SNN)は低消費電力と高エネルギー効率の利点がある。 最も先進的なSNNであるSpikformerは、Transformerの自己保持モジュールとSNNを組み合わせて、優れたパフォーマンスを実現している。 本稿では,SparseSpikformerについて紹介する。SparseSpikformerはトークンとウェイトプルーニング技術を用いてSparseSpikformerのスパーシ性を実現するための共同設計フレームワークである。
  論文  参考訳（メタデータ） (2023-11-15T09:22:52Z)
• Nonparametric Classification on Low Dimensional Manifolds using Overparameterized Convolutional Residual Networks [82.03459331544737]
  非パラメトリック分類の観点から重量減衰を訓練したConvResNeXtsの性能について検討した。 我々の分析は、ConvResNeXtsにおいて無限に多くのビルディングブロックを許容し、重み減衰がこれらのブロックに空間性を暗黙的に強制することを示す。
  論文  参考訳（メタデータ） (2023-07-04T11:08:03Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)
• Tensor Reordering for CNN Compression [7.228285747845778]
  畳み込みニューラルネットワーク(CNN)フィルタにおけるパラメータ冗長性は,スペクトル領域におけるプルーニングによって効果的に低減できることを示す。 提案手法は事前学習したCNNに対して適用され,最小限の微調整により元のモデル性能を回復できることを示す。
  論文  参考訳（メタデータ） (2020-10-22T23:45:34Z)
• PSConv: Squeezing Feature Pyramid into One Compact Poly-Scale Convolutional Layer [76.44375136492827]
  畳み込みニューラルネットワーク(CNN)は、しばしばスケールに敏感である。 我々は、この後悔を、より細かい粒度でマルチスケールの機能を利用して埋める。 提案した畳み込み演算は、PSConv(Poly-Scale Convolution)と呼ばれ、拡張率のスペクトルを混合する。
  論文  参考訳（メタデータ） (2020-07-13T05:14:11Z)
• DyNet: Dynamic Convolution for Accelerating Convolutional Neural Networks [16.169176006544436]
  本稿では,画像内容に基づいてコンボリューションカーネルを適応的に生成する動的畳み込み手法を提案する。 MobileNetV3-Small/Largeアーキテクチャに基づいて、DyNetはImageNet上で70.3/77.1%のTop-1精度を達成し、2.9/1.9%改善した。
  論文  参考訳（メタデータ） (2020-04-22T16:58:05Z)
• Highly Efficient Salient Object Detection with 100K Parameters [137.74898755102387]
  そこで我々は,段階内および複数ステージのマルチスケール機能を効率的に活用するために,フレキシブルな畳み込みモジュールであるOctoConv(gOctConv)を提案する。 我々は、非常に軽量なモデル、すなわちCSNetを構築し、一般的なオブジェクト検出ベンチマークで、約0.2%(100k)の大規模モデルで同等のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-03-12T07:00:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。