論文の概要: XSepConv: Extremely Separated Convolution

• arxiv url: http://arxiv.org/abs/2002.12046v1
• Date: Thu, 27 Feb 2020 11:46:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 09:17:23.922771
• Title: XSepConv: Extremely Separated Convolution
• Title（参考訳）: XSepConv: 極めて分離されたコンボリューション
• Authors: Jiarong Chen, Zongqing Lu, Jing-Hao Xue, Qingmin Liao
• Abstract要約: 極めて分離された畳み込みブロック(XSepConv)を提案する。 空間的に分離可能な畳み込みを奥行きの畳み込みに融合させ、大きなカーネルの計算コストとパラメータサイズの両方を削減する。 XSepConvは、大規模なカーネルサイズを持つバニラ奥行きの畳み込みの効率的な代替として設計されている。
• 参考スコア（独自算出の注目度）: 60.90871656244126
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Depthwise convolution has gradually become an indispensable operation for modern efficient neural networks and larger kernel sizes ($\ge5$) have been applied to it recently. In this paper, we propose a novel extremely separated convolutional block (XSepConv), which fuses spatially separable convolutions into depthwise convolution to further reduce both the computational cost and parameter size of large kernels. Furthermore, an extra $2\times2$ depthwise convolution coupled with improved symmetric padding strategy is employed to compensate for the side effect brought by spatially separable convolutions. XSepConv is designed to be an efficient alternative to vanilla depthwise convolution with large kernel sizes. To verify this, we use XSepConv for the state-of-the-art architecture MobileNetV3-Small and carry out extensive experiments on four highly competitive benchmark datasets (CIFAR-10, CIFAR-100, SVHN and Tiny-ImageNet) to demonstrate that XSepConv can indeed strike a better trade-off between accuracy and efficiency.
• Abstract（参考訳）: 奥行きの畳み込みは、現代の効率的なニューラルネットワークにとって、徐々に必須の操作となり、さらに大きなカーネルサイズ($\ge5$)が適用されるようになった。 本稿では,空間的に分離可能な畳み込みを奥行き畳み込みに融合させ,大規模カーネルの計算コストとパラメータサイズをさらに削減する,超分離型畳み込みブロック(XSepConv)を提案する。 さらに、空間的に分離可能な畳み込みによって引き起こされる副作用を補うために、改良された対称パディング戦略と組み合わされた2.2\times2$の奥行き畳み込みを用いる。 XSepConvは、大規模なカーネルサイズを持つバニラ奥行きの畳み込みの効率的な代替として設計されている。 これを検証するために、XSepConvを最先端アーキテクチャMobileNetV3-Smallに使用し、4つの非常に競争の激しいベンチマークデータセット(CIFAR-10、CIFAR-100、SVHN、Tiny-ImageNet)で広範な実験を行い、XSepConvが精度と効率のトレードオフを実際に達成できることを示す。

関連論文リスト

• InceptionNeXt: When Inception Meets ConvNeXt [167.61042926444105]
  IncepitonNeXtと呼ばれる一連のネットワークを構築し、高いスループットを享受するだけでなく、競争性能も維持しています。 InceptionNeXtはConvNeX-Tよりも1.6倍高いトレーニングスループットを実現し、ImageNet-1Kでは0.2%の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-03-29T17:59:58Z)
• GMConv: Modulating Effective Receptive Fields for Convolutional Kernels [52.50351140755224]
  畳み込みニューラルネットワークでは、固定N$times$N受容場(RF)を持つ正方形カーネルを用いて畳み込みを行う。 ERFが通常ガウス分布を示す性質に着想を得て,本研究でガウス・マスク畳み込みカーネル(GMConv)を提案する。 私たちのGMConvは、既存のCNNの標準の畳み込みを直接置き換えることができ、標準のバックプロパゲーションによって、エンドツーエンドで簡単に訓練することができます。
  論文  参考訳（メタデータ） (2023-02-09T10:17:17Z)
• Learnable Heterogeneous Convolution: Learning both topology and strength [0.5801044612920815]
  学習可能な異種共進化は、カーネルの形状と重みの合同学習を実現する。 本手法に基づくモデルでは, 構造的スパース重みに収束することができる。 VGG16/19とResNet34/50の計算をCIFAR10では5倍、ImageNetでは2倍近く削減する。
  論文  参考訳（メタデータ） (2023-01-13T08:48:12Z)
• Omni-Dimensional Dynamic Convolution [25.78940854339179]
  各畳み込み層で単一の静的畳み込みカーネルを学習することは、現代の畳み込みニューラルネットワーク(CNN)の共通の訓練パラダイムである。 動的畳み込みの最近の研究は、入力依存の注意を重み付けした$n$の畳み込みカーネルの線形結合を学習することで、軽量CNNの精度を大幅に向上させることができることを示している。 より一般化されているがエレガントな動的畳み込み設計であるOmni-dimensional Dynamic Convolution (ODConv)を提案する。
  論文  参考訳（メタデータ） (2022-09-16T14:05:38Z)
• FuSeConv: Fully Separable Convolutions for Fast Inference on Systolic Arrays [2.8583189395674653]
  本稿では,深度的に分離可能な畳み込みの代替としてFuSeConvを提案する。 FuSeConvは、空間次元と深さ次元に沿って分離可能な1次元の畳み込みを完全に分解する。 我々は、画像Netデータセットに匹敵する精度で、64x64サイズのシストリックアレイ上で、MobileNetのネットワークファミリで3x-7xの大幅な高速化を実現した。
  論文  参考訳（メタデータ） (2021-05-27T20:19:39Z)
• Hardware Architecture of Embedded Inference Accelerator and Analysis of Algorithms for Depthwise and Large-Kernel Convolutions [27.141754658998323]
  提案されたアーキテクチャは、異なるサイズのフィルタカーネルを高い柔軟性でサポートする。 画像分類では、深さ方向の畳み込みで3倍の3$フィルタを5倍の5$フィルタに置き換えることで、精度が1%向上する。
  論文  参考訳（メタデータ） (2021-04-29T05:45:16Z)
• PSConv: Squeezing Feature Pyramid into One Compact Poly-Scale Convolutional Layer [76.44375136492827]
  畳み込みニューラルネットワーク(CNN)は、しばしばスケールに敏感である。 我々は、この後悔を、より細かい粒度でマルチスケールの機能を利用して埋める。 提案した畳み込み演算は、PSConv(Poly-Scale Convolution)と呼ばれ、拡張率のスペクトルを混合する。
  論文  参考訳（メタデータ） (2020-07-13T05:14:11Z)
• DO-Conv: Depthwise Over-parameterized Convolutional Layer [66.46704754669169]
  本稿では,各入力チャネルが異なる2次元カーネルに変換されるような,奥行きの畳み込みを付加した畳み込み層の拡張を提案する。 従来の畳み込み層をDO-Conv層に置き換えただけでCNNの性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-06-22T06:57:10Z)
• Dynamic Region-Aware Convolution [85.20099799084026]
  本稿では,複数のフィルタを対応する空間領域に自動的に割り当てる動的領域認識畳み込み(DRConv)を提案する。 ImageNet分類において、DRConvベースのShuffleNetV2-0.5xは6.3%の相対的な改善と46M乗算加算レベルで67.1%の最先端性能を達成する。
  論文  参考訳（メタデータ） (2020-03-27T05:49:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。