論文の概要: RepGhost: A Hardware-Efficient Ghost Module via Re-parameterization

• arxiv url: http://arxiv.org/abs/2211.06088v2
• Date: Wed, 31 Jul 2024 13:05:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-01 20:47:15.704164
• Title: RepGhost: A Hardware-Efficient Ghost Module via Re-parameterization
• Title（参考訳）: RepGhost: 再パラメータ化によるハードウェア効率の良いゴーストモジュール
• Authors: Chengpeng Chen, Zichao Guo, Haien Zeng, Pengfei Xiong, Jian Dong,
• Abstract要約: 機能再利用は、軽量畳み込みニューラルネットワーク(CNN)アーキテクチャ設計において重要な技術である。 現在の手法では、他のレイヤから特徴マップを再利用することで、大容量のチャネル番号を安価に維持するために、連結演算子を利用する。 本稿では、結合ではなく、暗黙的に、より効率的に機能再利用を実現するための新しい視点を提供する。
• 参考スコア（独自算出の注目度）: 13.605461609002539
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Feature reuse has been a key technique in light-weight convolutional neural networks (CNNs) architecture design. Current methods usually utilize a concatenation operator to keep large channel numbers cheaply (thus large network capacity) by reusing feature maps from other layers. Although concatenation is parameters- and FLOPs-free, its computational cost on hardware devices is non-negligible. To address this, this paper provides a new perspective to realize feature reuse implicitly and more efficiently instead of concatenation. A novel hardware-efficient RepGhost module is proposed for implicit feature reuse via reparameterization, instead of using concatenation operator. Based on the RepGhost module, we develop our efficient RepGhost bottleneck and RepGhostNet. Experiments on ImageNet and COCO benchmarks demonstrate that our RepGhostNet is much more effective and efficient than GhostNet and MobileNetV3 on mobile devices. Specially, our RepGhostNet surpasses GhostNet 0.5x by 2.5% Top-1 accuracy on ImageNet dataset with less parameters and comparable latency on an ARM-based mobile device. Code and model weights are available at https://github.com/ChengpengChen/RepGhost.
• Abstract（参考訳）: 機能再利用は、軽量畳み込みニューラルネットワーク(CNN)アーキテクチャ設計において重要な技術である。 現在の手法では、他のレイヤから特徴マップを再利用することで、大容量のチャネル番号を安価に維持するために、連結演算子を利用する。 連結はパラメータフリーであり、FLOPはフリーだが、ハードウェアデバイスでの計算コストは無視できない。 そこで本稿では,結合ではなく,機能再利用を暗黙的に,より効率的に実現するための新たな視点を提供する。 結合演算子の代わりに、再パラメータ化による暗黙的な機能再利用のために、ハードウェア効率の良いRepGhostモジュールが提案されている。 RepGhostモジュールに基づいて、効率的なRepGhostボトルネックとRepGhostNetを開発する。 ImageNetとCOCOベンチマークの実験によると、モバイルデバイス上でのRepGhostNetはGhostNetやMobileNetV3よりも効率的で効率的です。 特に、私たちのRepGhostNetは、パラメータが少なく、ARMベースのモバイルデバイスで同等のレイテンシで、ImageNetデータセットでGhostNet 0.5倍の2.5%のTop-1精度を達成しています。 コードとモデルの重み付けはhttps://github.com/ChengpengChen/RepGhost.comで確認できる。

関連論文リスト

• Ghost-Stereo: GhostNet-based Cost Volume Enhancement and Aggregation for Stereo Matching Networks [0.0]
  ステレオマッチングに基づく深度推定の現在の手法は,多数のパラメータとスローランニング時間に悩まされている。 本稿では,新しいステレオマッチングネットワークであるGhost-Stereoを提案する。 Ghost-Stereoは、いくつかの公開ベンチマークで最先端のリアルタイムメソッドと同等のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-05-23T13:02:30Z)
• GhostNetV2: Enhance Cheap Operation with Long-Range Attention [59.65543143580889]
  ハードウェアフレンドリーなアテンション機構(DFCアテンション)を提案し,モバイルアプリケーション用の新しいGhostNetV2アーキテクチャを提案する。 提案したDFCアテンションは、ハードウェア上で高速に動作できるだけでなく、長距離画素間の依存を捉えることができる完全接続層に基づいて構築されている。 さらに,従来のGhostNetのボトルネックを再考し,DFCに着目した安価な操作による機能拡張を提案する。
  論文  参考訳（メタデータ） (2022-11-23T12:16:59Z)
• MogaNet: Multi-order Gated Aggregation Network [64.16774341908365]
  我々は,識別的視覚的表現学習のために,MogaNetと呼ばれる現代ConvNetの新たなファミリーを提案する。 MogaNetは概念的に単純だが効果的な畳み込みをカプセル化し、集約をコンパクトモジュールに集約する。 MogaNetは、ImageNetの最先端のViTやConvNetと比較して、優れたスケーラビリティ、パラメータの大幅な効率、競争性能を示している。
  論文  参考訳（メタデータ） (2022-11-07T04:31:17Z)
• GhostNets on Heterogeneous Devices via Cheap Operations [129.15798618025127]
  本稿では,CPU効率のよいGhost(C-Ghost)モジュールを提案する。 ベンチマーク実験により,提案したC-GhostモジュールとG-Ghostステージの有効性が示された。 C-GhostNetとG-GhostNetは、それぞれCPUとGPUの精度とレイテンシの最適なトレードオフを達成することができる。
  論文  参考訳（メタデータ） (2022-01-10T11:46:38Z)
• GhostShiftAddNet: More Features from Energy-Efficient Operations [1.2891210250935146]
  ディープ畳み込みニューラルネットワーク(Deep Convolutional Neural Network, CNN)は、計算とメモリ集約である。 本稿では,ハードウェア効率のよいディープネットワークを実現するGhostShiftAddNetを提案する。 我々は新しいボトルネックブロックであるGhostSAを導入し、ブロック内のすべての乗算を安価な演算に変換する。
  論文  参考訳（メタデータ） (2021-09-20T12:50:42Z)
• MicroNet: Improving Image Recognition with Extremely Low FLOPs [82.54764264255505]
  疎結合性と動的アクティベーション関数の2つの要因が,精度向上に有効であることがわかった。 非線形性を改善するために動的シフトマックスと呼ばれる新しい動的アクティベーション関数を提案する。 私たちはMicroNetというネットワークのファミリに到達し、低FLOP体制下での最先端技術に対して大きなパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2021-08-12T17:59:41Z)
• GhostSR: Learning Ghost Features for Efficient Image Super-Resolution [49.393251361038025]
  畳み込みニューラルネットワーク(CNN)に基づく単一の画像スーパーリゾリューション(SISR)システムは、膨大な計算コストを必要としながら派手なパフォーマンスを実現します。 SISRモデルの冗長な特徴(すなわちゴースト特徴)を生成するためにシフト演算を用いることを提案する。 提案モジュールに埋め込まれた非コンパクトかつ軽量なSISRモデルの両方が,ベースラインと同等の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-01-21T10:09:47Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)
• DyNet: Dynamic Convolution for Accelerating Convolutional Neural Networks [16.169176006544436]
  本稿では,画像内容に基づいてコンボリューションカーネルを適応的に生成する動的畳み込み手法を提案する。 MobileNetV3-Small/Largeアーキテクチャに基づいて、DyNetはImageNet上で70.3/77.1%のTop-1精度を達成し、2.9/1.9%改善した。
  論文  参考訳（メタデータ） (2020-04-22T16:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。