論文の概要: GhostShiftAddNet: More Features from Energy-Efficient Operations
- arxiv url: http://arxiv.org/abs/2109.09495v1
- Date: Mon, 20 Sep 2021 12:50:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-21 16:03:50.872799
- Title: GhostShiftAddNet: More Features from Energy-Efficient Operations
- Title（参考訳）: GhostShiftAddNet:エネルギー効率の良い運用の新機能
- Authors: Jia Bi, Jonathon Hare, Geoff V. Merrett
- Abstract要約: ディープ畳み込みニューラルネットワーク(Deep Convolutional Neural Network, CNN)は、計算とメモリ集約である。
本稿では,ハードウェア効率のよいディープネットワークを実現するGhostShiftAddNetを提案する。
我々は新しいボトルネックブロックであるGhostSAを導入し、ブロック内のすべての乗算を安価な演算に変換する。
- 参考スコア（独自算出の注目度）: 1.2891210250935146
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep convolutional neural networks (CNNs) are computationally and memory
intensive. In CNNs, intensive multiplication can have resource implications
that may challenge the ability for effective deployment of inference on
resource-constrained edge devices. This paper proposes GhostShiftAddNet, where
the motivation is to implement a hardware-efficient deep network: a
multiplication-free CNN with fewer redundant features. We introduce a new
bottleneck block, GhostSA, that converts all multiplications in the block to
cheap operations. The bottleneck uses an appropriate number of bit-shift
filters to process intrinsic feature maps, then applies a series of
transformations that consist of bit-wise shifts with addition operations to
generate more feature maps that fully learn to capture information underlying
intrinsic features. We schedule the number of bit-shift and addition operations
for different hardware platforms. We conduct extensive experiments and ablation
studies with desktop and embedded (Jetson Nano) devices for implementation and
measurements. We demonstrate the proposed GhostSA block can replace bottleneck
blocks in the backbone of state-of-the-art networks architectures and gives
improved performance on image classification benchmarks. Further, our
GhostShiftAddNet can achieve higher classification accuracy with fewer FLOPs
and parameters (reduced by up to 3x) than GhostNet. When compared to GhostNet,
inference latency on the Jetson Nano is improved by 1.3x and 2x on the GPU and
CPU respectively.
- Abstract（参考訳）: deep convolutional neural networks (cnns) は計算量とメモリ集約性がある。
CNNでは、リソース制約のあるエッジデバイスに推論を効果的に展開する能力に挑戦するリソースの影響が強い。
本稿では,GhostShiftAddNetを提案する。ハードウェア効率のよいディープネットワークを実現するためのモチベーションである。
我々は新しいボトルネックブロックであるGhostSAを導入し、ブロック内のすべての乗算を安価な演算に変換する。
ボトルネックは、固有の特徴マップを処理するために、適切な数のビットシフトフィルタを使用し、次に、追加操作を伴うビットシフトからなる一連の変換を適用して、本質的な特徴の根底にある情報をフルに学習する機能マップを生成する。
異なるハードウェアプラットフォームに対するビットシフトと追加操作の数をスケジュールします。
デスクトップおよび組み込み(Jetson Nano)デバイスを用いた広範な実験およびアブレーション実験を行い,実装と測定を行った。
提案するghostsaブロックは,最先端ネットワークアーキテクチャのバックボーンにあるボトルネックブロックを置き換えることができ,画像分類ベンチマークの性能が向上することを示す。
さらに、GhostShiftAddNetは、GhostNetよりもFLOPやパラメータ(最大3倍)が少なく、高い分類精度を得ることができる。
GhostNetと比較して、Jetson Nanoの推論遅延はGPUとCPUでそれぞれ1.3倍と2倍改善される。
関連論文リスト
- EncodingNet: A Novel Encoding-based MAC Design for Efficient Neural Network Acceleration [7.694043781601237]
符号化に基づく新しいディジタル乗算累積(MAC)設計を提案する。
この新しい設計では、乗算器は単純な論理ゲートで置き換えられ、その結果を広いビット表現で表現する。
乗算関数は単純な論理表現に置き換えられるため、回路の臨界経路はより短くなる。
論文 参考訳（メタデータ） (2024-02-25T09:35:30Z) - GhostNetV2: Enhance Cheap Operation with Long-Range Attention [59.65543143580889]
ハードウェアフレンドリーなアテンション機構(DFCアテンション)を提案し,モバイルアプリケーション用の新しいGhostNetV2アーキテクチャを提案する。
提案したDFCアテンションは、ハードウェア上で高速に動作できるだけでなく、長距離画素間の依存を捉えることができる完全接続層に基づいて構築されている。
さらに,従来のGhostNetのボトルネックを再考し,DFCに着目した安価な操作による機能拡張を提案する。
論文 参考訳（メタデータ） (2022-11-23T12:16:59Z) - GhostNets on Heterogeneous Devices via Cheap Operations [129.15798618025127]
本稿では,CPU効率のよいGhost(C-Ghost)モジュールを提案する。
ベンチマーク実験により,提案したC-GhostモジュールとG-Ghostステージの有効性が示された。
C-GhostNetとG-GhostNetは、それぞれCPUとGPUの精度とレイテンシの最適なトレードオフを達成することができる。
論文 参考訳（メタデータ） (2022-01-10T11:46:38Z) - HANT: Hardware-Aware Network Transformation [82.54824188745887]
ハードウェア・アウェア・ネットワーク・トランスフォーメーション(HANT)を提案する。
HANTは、ニューラルネットワーク検索のようなアプローチを使用して、非効率な操作をより効率的な代替手段に置き換える。
EfficientNetファミリの高速化に関する我々の結果は、ImageNetデータセットのトップ1の精度で最大3.6倍、0.4%の低下でHANTがそれらを加速できることを示している。
論文 参考訳（メタデータ） (2021-07-12T18:46:34Z) - PocketNet: A Smaller Neural Network for 3D Medical Image Segmentation [0.0]
私たちは、パラメータの数の3%未満を使用しながら、従来のCNNに匹敵するセグメンテーション結果を達成するPocketNetと呼ばれる新しいCNNアーキテクチャを導き出します。
我々は,PocketNetが従来のCNNに匹敵するセグメンテーション結果を達成し,パラメータ数の3%未満を用いていることを示す。
論文 参考訳（メタデータ） (2021-04-21T20:10:30Z) - GhostSR: Learning Ghost Features for Efficient Image Super-Resolution [49.393251361038025]
畳み込みニューラルネットワーク(CNN)に基づく単一の画像スーパーリゾリューション(SISR)システムは、膨大な計算コストを必要としながら派手なパフォーマンスを実現します。
SISRモデルの冗長な特徴(すなわちゴースト特徴)を生成するためにシフト演算を用いることを提案する。
提案モジュールに埋め込まれた非コンパクトかつ軽量なSISRモデルの両方が,ベースラインと同等の性能を発揮することを示す。
論文 参考訳（メタデータ） (2021-01-21T10:09:47Z) - ShiftAddNet: A Hardware-Inspired Deep Network [87.18216601210763]
ShiftAddNetはエネルギー効率のよい乗算レスディープニューラルネットワークである。
エネルギー効率のよい推論とトレーニングの両方につながるが、表現能力は損なわれない。
ShiftAddNetは、DNNのトレーニングと推論において、80%以上のハードウェア量子化されたエネルギーコストを積極的に削減し、同等またはより良い精度を提供する。
論文 参考訳（メタデータ） (2020-10-24T05:09:14Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳（メタデータ） (2020-06-21T08:23:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。