論文の概要: CompConv: A Compact Convolution Module for Efficient Feature Learning

• arxiv url: http://arxiv.org/abs/2106.10486v1
• Date: Sat, 19 Jun 2021 12:31:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-22 15:34:30.586804
• Title: CompConv: A Compact Convolution Module for Efficient Feature Learning
• Title（参考訳）: CompConv: 効率的な特徴学習のためのコンパクトな畳み込みモジュール
• Authors: Chen Zhang, Yinghao Xu, Yujun Shen
• Abstract要約: 効率的な特徴学習を容易にするために,CompConvと呼ばれるコンパクトな畳み込みモジュールを提案する。 CompConvは、分割・分散戦略により、多くの計算とパラメータを保存して、ある次元の特徴マップを生成することができる。 CompConvはベンチマークCNN構造を適切に圧縮できるが、パフォーマンスを犠牲にし、他の競合より上回る。
• 参考スコア（独自算出の注目度）: 15.253043666814413
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional Neural Networks (CNNs) have achieved remarkable success in various computer vision tasks but rely on tremendous computational cost. To solve this problem, existing approaches either compress well-trained large-scale models or learn lightweight models with carefully designed network structures. In this work, we make a close study of the convolution operator, which is the basic unit used in CNNs, to reduce its computing load. In particular, we propose a compact convolution module, called CompConv, to facilitate efficient feature learning. With the divide-and-conquer strategy, CompConv is able to save a great many computations as well as parameters to produce a certain dimensional feature map. Furthermore, CompConv discreetly integrates the input features into the outputs to efficiently inherit the input information. More importantly, the novel CompConv is a plug-and-play module that can be directly applied to modern CNN structures to replace the vanilla convolution layers without further effort. Extensive experimental results suggest that CompConv can adequately compress the benchmark CNN structures yet barely sacrifice the performance, surpassing other competitors.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は様々なコンピュータビジョンタスクで顕著に成功しているが、膨大な計算コストに依存している。 この問題を解決するため、既存のアプローチでは、十分に訓練された大規模モデルを圧縮するか、慎重に設計されたネットワーク構造を持つ軽量モデルを学習する。 本研究では,cnnで使用される基本単位である畳み込み演算子について,計算負荷の低減のために詳細に検討する。 特に,効率的な機能学習を容易にするためのコンパクト畳み込みモジュールcompconvを提案する。 CompConvは、分割・分散戦略により、多くの計算とパラメータを保存して、ある次元の特徴マップを生成することができる。 さらに、CompConvは、入力情報を効率的に継承するために、入力特徴を出力に統合する。 より重要なことに、新しいcompconvはプラグアンドプレイモジュールであり、バニラ畳み込み層を置き換えるために現代のcnn構造に直接適用することができる。 CompConvはベンチマークCNN構造を適切に圧縮できるが、パフォーマンスを犠牲にせず、他の競合より上回っている。

関連論文リスト

• Conv2Former: A Simple Transformer-Style ConvNet for Visual Recognition [158.15602882426379]
  本稿では,視覚認識のための最先端の手法を設計しようとはしないが,空間的特徴を符号化するために畳み込みを利用するより効率的な方法について検討する。 近年の畳み込みニューラルネットワーク(ConvNet)と視覚変換器(Vision Transformers)の設計原理を比較することにより,畳み込み変調操作を活用することで自己意識をシンプルにすることを提案する。
  論文  参考訳（メタデータ） (2022-11-22T01:39:45Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• ConvFormer: Closing the Gap Between CNN and Vision Transformers [12.793893108426742]
  複数のカーネルサイズで入力画像の異なるパターンをキャプチャするMCAという新しいアテンション機構を提案する。 MCAに基づいて,ConvFormerというニューラルネットワークを提案する。 ConvFormerは、様々なタスクにおいて、同様の大きさの視覚変換器(ViT)と畳み込みニューラルネットワーク(CNN)より優れていることを示す。
  論文  参考訳（メタデータ） (2022-09-16T06:45:01Z)
• Towards Optimal VPU Compiler Cost Modeling by using Neural Networks to Infer Hardware Performances [58.720142291102135]
  VPUNN"は低レベルのタスクプロファイリングに基づいてトレーニングされたニューラルネットワークベースのコストモデルである。 これは、IntelのVPUプロセッサのラインにおける最先端のコストモデリングよりも一貫して優れている。
  論文  参考訳（メタデータ） (2022-05-09T22:48:39Z)
• Content-Aware Convolutional Neural Networks [98.97634685964819]
  畳み込みニューラルネットワーク(CNN)は、畳み込み層の強力な特徴学習能力によって大きな成功を収めている。 本研究では,スムーズなウィンドウを自動的に検出し,元の大規模カーネルを置き換えるために1x1畳み込みカーネルを適用するContent-aware Convolution (CAC)を提案する。
  論文  参考訳（メタデータ） (2021-06-30T03:54:35Z)
• Dynamic Clone Transformer for Efficient Convolutional Neural Netwoks [0.0]
  本稿では,多経路完全連結パターン(MPFC)という概念を導入し,位相パターンの相互依存性,精度,効率性を再考する。 MPFCにインスパイアされた動的クローントランス (DCT) と呼ばれるデュアルブランチモジュールを提案し、入力から複数の複製を生成する。
  論文  参考訳（メタデータ） (2021-06-12T13:42:28Z)
• Compact CNN Structure Learning by Knowledge Distillation [34.36242082055978]
  知識蒸留とカスタマイズ可能なブロックワイズ最適化を活用し、軽量なCNN構造を学習するフレームワークを提案する。 提案手法は,予測精度の向上を図りながら,アートネットワーク圧縮の状態を再現する。 特に,すでにコンパクトなネットワークであるMobileNet_v2では,モデル圧縮が最大2倍,モデル圧縮が5.2倍向上する。
  論文  参考訳（メタデータ） (2021-04-19T10:34:22Z)
• Towards Learning Convolutions from Scratch [34.71001535076825]
  畳み込みはコンピュータビジョンで使用されるアーキテクチャの最も重要な構成要素の1つである。 現在の最先端アーキテクチャ検索アルゴリズムでは、データから学習するのではなく、畳み込みを既存のモジュールの1つとして使用しています。 ローカル接続でアーキテクチャを学習するLASSOアルゴリズムの簡単な変種である$beta$-LASSOを提案する。
  論文  参考訳（メタデータ） (2020-07-27T16:13:13Z)
• PSConv: Squeezing Feature Pyramid into One Compact Poly-Scale Convolutional Layer [76.44375136492827]
  畳み込みニューラルネットワーク(CNN)は、しばしばスケールに敏感である。 我々は、この後悔を、より細かい粒度でマルチスケールの機能を利用して埋める。 提案した畳み込み演算は、PSConv(Poly-Scale Convolution)と呼ばれ、拡張率のスペクトルを混合する。
  論文  参考訳（メタデータ） (2020-07-13T05:14:11Z)
• Neural Network Compression Framework for fast model inference [59.65531492759006]
  我々は、ニューラルネットワーク圧縮フレームワーク(NNCF)と呼ばれる、微調整によるニューラルネットワーク圧縮のための新しいフレームワークを提案する。 様々なネットワーク圧縮手法の最近の進歩を活用し、空間性、量子化、双項化などのいくつかの実装を行っている。 フレームワークは、トレーニングサンプル内に提供され、あるいは既存のトレーニングコードにシームレスに統合可能なスタンドアロンパッケージとして使用することができる。
  論文  参考訳（メタデータ） (2020-02-20T11:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。