論文の概要: Tied Block Convolution: Leaner and Better CNNs with Shared Thinner Filters

• arxiv url: http://arxiv.org/abs/2009.12021v1
• Date: Fri, 25 Sep 2020 03:58:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 23:09:06.915949
• Title: Tied Block Convolution: Leaner and Better CNNs with Shared Thinner Filters
• Title（参考訳）: 結び付きブロック畳み込み:より薄めのフィルターでよりリーンでより良いcnn
• Authors: Xudong Wang and Stella X. Yu
• Abstract要約: 畳み込みは畳み込みニューラルネットワーク(CNN)の主要な構成要素である 我々は,同じ細いフィルタを同一のチャネルブロック上で共有し,単一のフィルタで複数の応答を生成するTied Block Convolution (TBC)を提案する。
• 参考スコア（独自算出の注目度）: 50.10906063068743
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolution is the main building block of convolutional neural networks (CNN). We observe that an optimized CNN often has highly correlated filters as the number of channels increases with depth, reducing the expressive power of feature representations. We propose Tied Block Convolution (TBC) that shares the same thinner filters over equal blocks of channels and produces multiple responses with a single filter. The concept of TBC can also be extended to group convolution and fully connected layers, and can be applied to various backbone networks and attention modules. Our extensive experimentation on classification, detection, instance segmentation, and attention demonstrates TBC's significant across-the-board gain over standard convolution and group convolution. The proposed TiedSE attention module can even use 64 times fewer parameters than the SE module to achieve comparable performance. In particular, standard CNNs often fail to accurately aggregate information in the presence of occlusion and result in multiple redundant partial object proposals. By sharing filters across channels, TBC reduces correlation and can effectively handle highly overlapping instances. TBC increases the average precision for object detection on MS-COCO by 6% when the occlusion ratio is 80%. Our code will be released.
• Abstract（参考訳）: 畳み込みは畳み込みニューラルネットワーク(CNN)の主要な構成要素である。 最適化されたCNNは、深さとともにチャネルの数が増加するにつれて高い相関性を持つことが多く、特徴表現の表現力を低下させる。 我々は,同じ細いフィルタを同じチャネルブロック上で共有し,単一フィルタで複数の応答を生成するTied Block Convolution (TBC)を提案する。 TBCの概念はグループ畳み込みや完全に接続された層にも拡張でき、様々なバックボーンネットワークやアテンションモジュールにも適用できる。 分類,検出,インスタンスセグメンテーション,注意に関する広範な実験は,TBCが標準の畳み込みやグループ畳み込みよりも有意な進歩を示した。 提案するtiese attention moduleはseモジュールの64分の1のパラメータを使用して同等の性能を実現することもできる。 特に、標準的なcnnは、オクルージョンの存在下で情報の正確な集約に失敗し、複数の冗長な部分的オブジェクトの提案をもたらす。 チャネル間でフィルタを共有することで、TBCは相関を減らし、高い重複するインスタンスを効果的に処理できる。 TBCは、咬合比が80%である場合、MS-COCOにおける物体検出の精度を6%向上させる。 私たちのコードはリリースされます。

関連論文リスト

• A Passive Similarity based CNN Filter Pruning for Efficient Acoustic Scene Classification [23.661189257759535]
  音響シーン分類(ASC)のための低複雑さ畳み込みニューラルネットワーク(CNN)の開発手法を提案する。 本稿では,CNNからの畳み込みフィルタを除去し,圧縮したCNNを生成するパッシブ・フィルタ・プルーニング・フレームワークを提案する。 提案手法は単純で,パラメータが25%少なく,精度が1%以下で,推論当たりの計算量を27%削減する。
  論文  参考訳（メタデータ） (2022-03-29T17:00:06Z)
• Decoupled Dynamic Filter Networks [85.38058820176047]
  これらの欠点を同時に解決できるDDF(Decoupled Dynamic Filter)を提案します。 最近の注目の高まりに触発されて、DDFは深度ワイドなダイナミックフィルタを空間的およびチャネル的ダイナミックフィルタに分離する。 分類ネットワークにおける標準畳み込みをDFFに置き換える際の性能向上を観察する。
  論文  参考訳（メタデータ） (2021-04-29T04:55:33Z)
• Self-grouping Convolutional Neural Networks [30.732298624941738]
  本稿では,SG-CNNと呼ばれる自己グループ型畳み込みニューラルネットワークの設計手法を提案する。 各フィルタについて、まず入力チャネルの重要度を評価し、重要度ベクトルを同定する。 得られたデータに依存したセントロイドを用いて、重要でない接続を創り出し、プルーニングの精度損失を暗黙的に最小化する。
  論文  参考訳（メタデータ） (2020-09-29T06:24:32Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Training Interpretable Convolutional Neural Networks by Differentiating Class-specific Filters [64.46270549587004]
  畳み込みニューラルネットワーク(CNN)は、様々なタスクでうまく使われている。 CNNは、しばしば「ブラックボックス」と解釈可能性の欠如とみなされる。 本稿では,クラス固有のフィルタを奨励することで,解釈可能なCNNを訓練する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-16T09:12:26Z)
• PSConv: Squeezing Feature Pyramid into One Compact Poly-Scale Convolutional Layer [76.44375136492827]
  畳み込みニューラルネットワーク(CNN)は、しばしばスケールに敏感である。 我々は、この後悔を、より細かい粒度でマルチスケールの機能を利用して埋める。 提案した畳み込み演算は、PSConv(Poly-Scale Convolution)と呼ばれ、拡張率のスペクトルを混合する。
  論文  参考訳（メタデータ） (2020-07-13T05:14:11Z)
• Multigrid-in-Channels Architectures for Wide Convolutional Neural Networks [6.929025509877642]
  本稿では,標準畳み込みニューラルネットワーク(CNN)のチャネル数に関して,パラメータ数の2次成長に対処するマルチグリッド手法を提案する。 教師付き画像分類の例では、この戦略を残差ネットワークに適用し、MobileNetV2は精度に悪影響を及ぼすことなくパラメータ数を著しく削減している。
  論文  参考訳（メタデータ） (2020-06-11T20:28:36Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。