論文の概要: Boosting Convolutional Neural Networks with Middle Spectrum Grouped Convolution

• arxiv url: http://arxiv.org/abs/2304.06305v1
• Date: Thu, 13 Apr 2023 07:31:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-14 15:32:31.469210
• Title: Boosting Convolutional Neural Networks with Middle Spectrum Grouped Convolution
• Title（参考訳）: 中スペクトル群畳み込みによる畳み込みニューラルネットワークの高速化
• Authors: Zhuo Su, Jiehua Zhang, Tianpeng Liu, Zhen Liu, Shuanghui Zhang, Matti Pietik\"ainen, Li Liu
• Abstract要約: 本稿では,高効率深部畳み込みニューラルネットワーク(DCNN)のための中間スペクトル群畳み込み(MSGC)と呼ばれる新しいモジュールを提案する。 チャネルプルーニングと従来のグループ化畳み込みの間の広い「中間スペクトル」領域を探索する。 MSGCは、チャネルプルーニングのコアである学習可能性の恩恵を受け、グループトポロジを構築することで、より良いチャネル分割を実現している。
• 参考スコア（独自算出の注目度）: 15.421294642126073
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a novel module called middle spectrum grouped convolution (MSGC) for efficient deep convolutional neural networks (DCNNs) with the mechanism of grouped convolution. It explores the broad "middle spectrum" area between channel pruning and conventional grouped convolution. Compared with channel pruning, MSGC can retain most of the information from the input feature maps due to the group mechanism; compared with grouped convolution, MSGC benefits from the learnability, the core of channel pruning, for constructing its group topology, leading to better channel division. The middle spectrum area is unfolded along four dimensions: group-wise, layer-wise, sample-wise, and attention-wise, making it possible to reveal more powerful and interpretable structures. As a result, the proposed module acts as a booster that can reduce the computational cost of the host backbones for general image recognition with even improved predictive accuracy. For example, in the experiments on ImageNet dataset for image classification, MSGC can reduce the multiply-accumulates (MACs) of ResNet-18 and ResNet-50 by half but still increase the Top-1 accuracy by more than 1%. With 35% reduction of MACs, MSGC can also increase the Top-1 accuracy of the MobileNetV2 backbone. Results on MS COCO dataset for object detection show similar observations. Our code and trained models are available at https://github.com/hellozhuo/msgc.
• Abstract（参考訳）: 本稿では,より効率的な深部畳み込みニューラルネットワーク(DCNN)のための,中間スペクトル群畳み込み(MSGC)と呼ばれる新しいモジュールを提案する。 チャネルプルーニングと従来のグループ畳み込みの間の広い「中間スペクトル」領域を探索する。 チャネルプルーニングと比較して、MSGCはグループ機構によって入力特徴マップからの情報の大部分を保持することができ、グループ畳み込みと比較して、チャネルプルーニングのコアである学習性からMSGCが恩恵を受け、グループトポロジを構築することにより、チャネル分割が向上する。 中間スペクトル領域は、群、層、標本、注意の4次元に沿って展開され、より強力で解釈可能な構造を明らかにすることができる。 その結果、提案するモジュールは、予測精度が向上し、一般的な画像認識のためのホストバックボーンの計算コストを削減できるブースターとして機能する。 例えば、画像分類のためのImageNetデータセットの実験では、MSGCはResNet-18とResNet-50の乗算累積(MAC)を半減するが、Top-1の精度は1%以上向上する。 35%のMAC削減により、MSGCはMobileNetV2バックボーンのTop-1精度も向上する。 オブジェクト検出のためのMS COCOデータセットの結果も同様の観測結果を示した。 私たちのコードとトレーニングされたモデルはhttps://github.com/hellozhuo/msgcで利用可能です。

関連論文リスト

• ELGC-Net: Efficient Local-Global Context Aggregation for Remote Sensing Change Detection [65.59969454655996]
  本稿では,変化領域を正確に推定するために,リッチな文脈情報を利用する効率的な変化検出フレームワークELGC-Netを提案する。 提案するELGC-Netは、リモートセンシング変更検出ベンチマークにおいて、最先端の性能を新たに設定する。 また,ELGC-Net-LWも導入した。
  論文  参考訳（メタデータ） (2024-03-26T17:46:25Z)
• Mechanism of feature learning in convolutional neural networks [14.612673151889615]
  我々は、畳み込みニューラルネットワークが画像データからどのように学習するかのメカニズムを特定する。 我々は,フィルタの共分散とパッチベースAGOPの相関関係の同定を含む,アンザッツの実証的証拠を提示する。 次に、パッチベースのAGOPを用いて、畳み込みカーネルマシンの深い特徴学習を可能にすることにより、結果の汎用性を実証する。
  論文  参考訳（メタデータ） (2023-09-01T16:30:02Z)
• DGCNet: An Efficient 3D-Densenet based on Dynamic Group Convolution for Hyperspectral Remote Sensing Image Classification [22.025733502296035]
  改良された3D-Densenetモデルに基づく軽量モデルを導入し,DGCNetを設計する。 複数のグループは、入力画像の異なる視覚的および意味的な特徴をキャプチャし、畳み込みニューラルネットワーク(CNN)がリッチな特徴を学習できるようにする。 推論速度と精度が向上し、IN、Pavia、KSCデータセット上での優れたパフォーマンスが向上した。
  論文  参考訳（メタデータ） (2023-07-13T10:19:48Z)
• Dink-Net: Neural Clustering on Large Graphs [59.10189693120368]
  ディープグラフクラスタリング法 (Dink-Net) は, 拡張と縮小という概念を用いて提案される。 ノードを識別することにより、拡張によって劣化しても、表現は自己教師された方法で学習される。 クラスタリング分布は、提案したクラスタ拡張損失とクラスタ縮小損失を最小化することにより最適化される。 ランナアップと比較して、Dink-Net 9.62%は1100万ノードと16億エッジを持つogbn-papers100MデータセットでNMIの改善を実現している。
  論文  参考訳（メタデータ） (2023-05-28T15:33:24Z)
• GMConv: Modulating Effective Receptive Fields for Convolutional Kernels [52.50351140755224]
  畳み込みニューラルネットワークでは、固定N$times$N受容場(RF)を持つ正方形カーネルを用いて畳み込みを行う。 ERFが通常ガウス分布を示す性質に着想を得て,本研究でガウス・マスク畳み込みカーネル(GMConv)を提案する。 私たちのGMConvは、既存のCNNの標準の畳み込みを直接置き換えることができ、標準のバックプロパゲーションによって、エンドツーエンドで簡単に訓練することができます。
  論文  参考訳（メタデータ） (2023-02-09T10:17:17Z)
• Deep Image Clustering with Contrastive Learning and Multi-scale Graph Convolutional Networks [58.868899595936476]
  コントラスト学習とマルチスケールグラフ畳み込みネットワーク(IcicleGCN)を用いた画像クラスタリング手法を提案する。 複数の画像データセットの実験は、最先端のIcicleGCNよりも優れたクラスタリング性能を示している。
  論文  参考訳（メタデータ） (2022-07-14T19:16:56Z)
• SCGC : Self-Supervised Contrastive Graph Clustering [1.1470070927586016]
  グラフクラスタリングはネットワーク内のグループやコミュニティを検出する。 オートエンコーダのような深層学習手法は、豊富な構造情報を組み込むことはできない。 自己監督型コントラストグラフクラスタリング(SCGC)を提案する。
  論文  参考訳（メタデータ） (2022-04-27T01:38:46Z)
• Group Fisher Pruning for Practical Network Compression [58.25776612812883]
  本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。 我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。 提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
  論文  参考訳（メタデータ） (2021-08-02T08:21:44Z)
• Self-grouping Convolutional Neural Networks [30.732298624941738]
  本稿では,SG-CNNと呼ばれる自己グループ型畳み込みニューラルネットワークの設計手法を提案する。 各フィルタについて、まず入力チャネルの重要度を評価し、重要度ベクトルを同定する。 得られたデータに依存したセントロイドを用いて、重要でない接続を創り出し、プルーニングの精度損失を暗黙的に最小化する。
  論文  参考訳（メタデータ） (2020-09-29T06:24:32Z)
• Dynamic Group Convolution for Accelerating Convolutional Neural Networks [23.644124360336754]
  本稿では,各グループ内で接続すべき入力チャネルのどの部分を適応的に選択する動的グループ畳み込み(DGC)を提案する。 複数のグループは、入力画像ごとに、豊富で相補的な視覚的/意味的特徴を適応的にキャプチャすることができる。 DGCは元のネットワーク構造を保持し、従来のグループ畳み込みと同様の計算効率を持つ。
  論文  参考訳（メタデータ） (2020-07-08T16:35:44Z)
• Searching Central Difference Convolutional Networks for Face Anti-Spoofing [68.77468465774267]
  顔認識システムにおいて、顔の反偽造(FAS)が重要な役割を担っている。 最先端のFASメソッドの多くは、スタック化された畳み込みと専門家が設計したネットワークに依存している。 ここでは、中央差分畳み込み(CDC)に基づくフレームレベルの新しいFAS手法を提案する。
  論文  参考訳（メタデータ） (2020-03-09T12:48:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。