論文の概要: DualConv: Dual Convolutional Kernels for Lightweight Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2202.07481v1
• Date: Tue, 15 Feb 2022 14:47:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-16 19:59:14.012609
• Title: DualConv: Dual Convolutional Kernels for Lightweight Deep Neural Networks
• Title（参考訳）: DualConv: 軽量ディープニューラルネットワークのためのデュアル畳み込みカーネル
• Authors: Jiachen Zhong, Junying Chen and Ajmal Mian
• Abstract要約: 本稿では,軽量深層ニューラルネットワーク構築のためのデュアル畳み込みカーネル(DualConv)を提案する。 これらのネットワークアーキテクチャは、他の多くのタスクのバックボーンを形成するため、分類のためのDualConvを広範囲にテストしています。 実験の結果、DualConvは構造的革新と組み合わせることで、ディープニューラルネットワークの計算コストとパラメータの数を著しく削減することがわかった。
• 参考スコア（独自算出の注目度）: 31.520543731423455
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: CNN architectures are generally heavy on memory and computational requirements which makes them infeasible for embedded systems with limited hardware resources. We propose dual convolutional kernels (DualConv) for constructing lightweight deep neural networks. DualConv combines 3$\times$3 and 1$\times$1 convolutional kernels to process the same input feature map channels simultaneously and exploits the group convolution technique to efficiently arrange convolutional filters. DualConv can be employed in any CNN model such as VGG-16 and ResNet-50 for image classification, YOLO and R-CNN for object detection, or FCN for semantic segmentation. In this paper, we extensively test DualConv for classification since these network architectures form the backbones for many other tasks. We also test DualConv for image detection on YOLO-V3. Experimental results show that, combined with our structural innovations, DualConv significantly reduces the computational cost and number of parameters of deep neural networks while surprisingly achieving slightly higher accuracy than the original models in some cases. We use DualConv to further reduce the number of parameters of the lightweight MobileNetV2 by 54% with only 0.68% drop in accuracy on CIFAR-100 dataset. When the number of parameters is not an issue, DualConv increases the accuracy of MobileNetV1 by 4.11% on the same dataset. Furthermore, DualConv significantly improves the YOLO-V3 object detection speed and improves its accuracy by 4.4% on PASCAL VOC dataset.
• Abstract（参考訳）: CNNアーキテクチャは一般にメモリと計算の要求に重きを置いており、ハードウェアリソースが限られている組み込みシステムでは利用できない。 本稿では,軽量深層ニューラルネットワーク構築のためのデュアル畳み込みカーネル(DualConv)を提案する。 DualConvは3$\times$3と1$\times$1の畳み込みカーネルを組み合わせて同じ入力特徴写像チャネルを同時に処理し、グループ畳み込み技術を利用して畳み込みフィルタを効率的に配置する。 DualConvは画像分類にはVGG-16やResNet-50、オブジェクト検出にはYOLO、R-CNN、セマンティックセグメンテーションにはFCNなど、任意のCNNモデルで利用できる。 本稿では,これらのネットワークアーキテクチャが他のタスクのバックボーンを形成するため,分類のためのDualConvを広範囲にテストする。 また, YOLO-V3画像検出のためのDualConvについても検討した。 実験の結果、dualconvは構造的なイノベーションと組み合わせることで、ディープニューラルネットワークの計算コストとパラメータ数を大幅に削減すると同時に、元のモデルよりも驚くほど高い精度を実現していることがわかった。 我々はDualConvを使用して、軽量MobileNetV2のパラメータ数を54%削減し、CIFAR-100データセットの精度はわずか0.68%低下した。 パラメータ数が問題にならない場合、DualConvは同じデータセット上でMobileNetV1の精度を4.11%向上させる。 さらに、DualConvはYOLO-V3オブジェクトの検出速度を大幅に改善し、PASCAL VOCデータセットの精度を4.4%向上させた。

関連論文リスト

• BiFSMNv2: Pushing Binary Neural Networks for Keyword Spotting to Real-Network Performance [54.214426436283134]
  Deep-FSMNのようなディープニューラルネットワークはキーワードスポッティング(KWS)アプリケーションのために広く研究されている。 我々は、KWS、すなわちBiFSMNv2のための強力で効率的なバイナリニューラルネットワークを提示し、それを実ネットワーク精度のパフォーマンスにプッシュする。 小型アーキテクチャと最適化されたハードウェアカーネルの利点により、BiFSMNv2は25.1倍のスピードアップと20.2倍のストレージ節約を実現できる。
  論文  参考訳（メタデータ） (2022-11-13T18:31:45Z)
• Omni-Dimensional Dynamic Convolution [25.78940854339179]
  各畳み込み層で単一の静的畳み込みカーネルを学習することは、現代の畳み込みニューラルネットワーク(CNN)の共通の訓練パラダイムである。 動的畳み込みの最近の研究は、入力依存の注意を重み付けした$n$の畳み込みカーネルの線形結合を学習することで、軽量CNNの精度を大幅に向上させることができることを示している。 より一般化されているがエレガントな動的畳み込み設計であるOmni-dimensional Dynamic Convolution (ODConv)を提案する。
  論文  参考訳（メタデータ） (2022-09-16T14:05:38Z)
• SVNet: Where SO(3) Equivariance Meets Binarization on Point Cloud Representation [65.4396959244269]
  本論文は,3次元学習アーキテクチャを構築するための一般的なフレームワークを設計することによる課題に対処する。 提案手法はPointNetやDGCNNといった一般的なバックボーンに適用できる。 ModelNet40、ShapeNet、および実世界のデータセットであるScanObjectNNの実験では、この手法が効率、回転、精度の間の大きなトレードオフを達成することを示した。
  論文  参考訳（メタデータ） (2022-09-13T12:12:19Z)
• Focal Sparse Convolutional Networks for 3D Object Detection [121.45950754511021]
  我々はスパースCNNの能力を高めるために2つの新しいモジュールを導入する。 焦点スパース・コンボリューション(Focals Conv)であり、焦点スパース・コンボリューションの多様変種である。 スパース・コンボリューションにおける空間的に学習可能な空間空間性は,高度な3次元物体検出に不可欠であることを示す。
  論文  参考訳（メタデータ） (2022-04-26T17:34:10Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)
• Single-stream CNN with Learnable Architecture for Multi-source Remote Sensing Data [16.810239678639288]
  マルチソースリモートセンシングデータ共同分類のための,深層畳み込みニューラルネットワーク(CNN)に基づく効率的なフレームワークを提案する。 提案手法は,最新のCNNモデルを任意のマルチソースリモートセンシングデータセットに理論的に調整することができる。 実験により,提案したシングルストリームCNNの有効性が示された。
  論文  参考訳（メタデータ） (2021-09-13T16:10:41Z)
• FuSeConv: Fully Separable Convolutions for Fast Inference on Systolic Arrays [2.8583189395674653]
  本稿では,深度的に分離可能な畳み込みの代替としてFuSeConvを提案する。 FuSeConvは、空間次元と深さ次元に沿って分離可能な1次元の畳み込みを完全に分解する。 我々は、画像Netデータセットに匹敵する精度で、64x64サイズのシストリックアレイ上で、MobileNetのネットワークファミリで3x-7xの大幅な高速化を実現した。
  論文  参考訳（メタデータ） (2021-05-27T20:19:39Z)
• PV-RCNN++: Point-Voxel Feature Set Abstraction With Local Vector Representation for 3D Object Detection [100.60209139039472]
  点雲からの正確な3次元検出を行うために,PointVoxel Region based Convolution Neural Networks (PVRCNNs)を提案する。 提案するPV-RCNNは,Openデータセットと高競争性KITTIベンチマークの両方において,従来の最先端3D検出方法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2021-01-31T14:51:49Z)
• Towards Lossless Binary Convolutional Neural Networks Using Piecewise Approximation [4.023728681102073]
  CNNは算術演算の数とメモリストレージのサイズを大幅に減らすことができる。 しかし、単一のバイナリCNNと複数のバイナリCNNの精度劣化は、現代のアーキテクチャでは受け入れられない。 完全精度の重みとアクティベーションを近似することにより、精度の低下を低減できる複数のバイナリCNNに対するPiecewise Approximationスキームを提案する。
  論文  参考訳（メタデータ） (2020-08-08T13:32:33Z)
• XSepConv: Extremely Separated Convolution [60.90871656244126]
  極めて分離された畳み込みブロック(XSepConv)を提案する。 空間的に分離可能な畳み込みを奥行きの畳み込みに融合させ、大きなカーネルの計算コストとパラメータサイズの両方を削減する。 XSepConvは、大規模なカーネルサイズを持つバニラ奥行きの畳み込みの効率的な代替として設計されている。
  論文  参考訳（メタデータ） (2020-02-27T11:46:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。