論文の概要: PDR-CapsNet: an Energy-Efficient Parallel Approach to Dynamic Routing in
Capsule Networks
- arxiv url: http://arxiv.org/abs/2310.03212v1
- Date: Wed, 4 Oct 2023 23:38:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-06 20:02:14.649193
- Title: PDR-CapsNet: an Energy-Efficient Parallel Approach to Dynamic Routing in
Capsule Networks
- Title(参考訳): PDR-CapsNet:カプセルネットワークにおける動的ルーティングに対するエネルギー効率の良い並列アプローチ
- Authors: Samaneh Javadinia, Amirali Baniasadi
- Abstract要約: 畳み込みニューラルネットワーク(CNN)は、画像分類タスクの最先端の結果を生み出している。
しかし、CapsNetsは複雑なデータセットに乏しく、CNNよりも多くの計算リソースを必要とすることが多い。
本稿では,PDR-CapsNetの代替として,Parallel Dynamic Routing CapsNet(PDR-CapsNet)を紹介した。
パラメータは87.26%、パラメータは32.27%、MACは47.40%、Flopsは87.26%、精度は83.55%です。
- 参考スコア(独自算出の注目度): 0.27195102129095
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Convolutional Neural Networks (CNNs) have produced state-of-the-art results
for image classification tasks. However, they are limited in their ability to
handle rotational and viewpoint variations due to information loss in
max-pooling layers. Capsule Networks (CapsNets) employ a
computationally-expensive iterative process referred to as dynamic routing to
address these issues. CapsNets, however, often fall short on complex datasets
and require more computational resources than CNNs. To overcome these
challenges, we introduce the Parallel Dynamic Routing CapsNet (PDR-CapsNet), a
deeper and more energy-efficient alternative to CapsNet that offers superior
performance, less energy consumption, and lower overfitting rates. By
leveraging a parallelization strategy, PDR-CapsNet mitigates the computational
complexity of CapsNet and increases throughput, efficiently using hardware
resources. As a result, we achieve 83.55\% accuracy while requiring 87.26\%
fewer parameters, 32.27\% and 47.40\% fewer MACs, and Flops, achieving 3x
faster inference and 7.29J less energy consumption on a 2080Ti GPU with 11GB
VRAM compared to CapsNet and for the CIFAR-10 dataset.
- Abstract(参考訳): 畳み込みニューラルネットワーク(cnns)は、画像分類タスクの最先端結果を生成する。
しかし、最大プール層における情報損失により、回転や視点の変化を扱う能力に制限がある。
Capsule Networks (CapsNets) は、これらの問題に対処するために動的ルーティングと呼ばれる計算的に拡張された反復プロセスを使用する。
しかしCapsNetsは複雑なデータセットに乏しく、CNNよりも多くの計算リソースを必要とすることが多い。
これらの課題を克服するために、我々はParallel Dynamic Routing CapsNet (PDR-CapsNet)を導入しました。
並列化戦略を活用することで、PDR-CapsNetはCapsNetの計算複雑性を軽減し、ハードウェアリソースを効率的に利用してスループットを向上する。
その結果、87.26\%のパラメータ、32.27\%と47.40\%のmacとフロップを必要とする83.55\%の精度を実現し、capsnetやcifar-10データセットと比較して2080tiのgpuで3倍の高速化と7.29jのエネルギー消費を達成した。
関連論文リスト
- OrthCaps: An Orthogonal CapsNet with Sparse Attention Routing and Pruning [21.5857226735951]
冗長性はCapsule Networks(CapsNet)における永続的な課題である
本稿では,冗長性を低減し,ルーティング性能を改善し,パラメータ数を減少させるOrthogonal Capsule Network(OrthCaps)を提案する。
論文 参考訳(メタデータ) (2024-03-20T07:25:24Z) - Latency-aware Unified Dynamic Networks for Efficient Image Recognition [72.8951331472913]
LAUDNetは動的ネットワークの理論的および実用的な効率ギャップを橋渡しするフレームワークである。
3つの主要な動的パラダイム - 適応型計算、動的層スキップ、動的チャネルスキップ - を統合している。
これにより、V100,3090やTX2 GPUのようなプラットフォーム上で、ResNetのようなモデルの遅延を50%以上削減できる。
論文 参考訳(メタデータ) (2023-08-30T10:57:41Z) - MogaNet: Multi-order Gated Aggregation Network [64.16774341908365]
我々は,識別的視覚的表現学習のために,MogaNetと呼ばれる現代ConvNetの新たなファミリーを提案する。
MogaNetは概念的に単純だが効果的な畳み込みをカプセル化し、集約をコンパクトモジュールに集約する。
MogaNetは、ImageNetの最先端のViTやConvNetと比較して、優れたスケーラビリティ、パラメータの大幅な効率、競争性能を示している。
論文 参考訳(メタデータ) (2022-11-07T04:31:17Z) - Lightweight and Progressively-Scalable Networks for Semantic
Segmentation [100.63114424262234]
マルチスケール学習フレームワークは,セマンティックセグメンテーションを向上する有効なモデルのクラスと見なされてきた。
本稿では,畳み込みブロックの設計と,複数スケールにわたる相互作用の仕方について,徹底的に解析する。
我々は,軽量で拡張性の高いネットワーク(LPS-Net)を考案した。
論文 参考訳(メタデータ) (2022-07-27T16:00:28Z) - Momentum Capsule Networks [0.8594140167290097]
我々はMoCapsNet(Momentum Capsule Network)と呼ばれる新しいネットワークアーキテクチャを提案する。
MoCapsNetは、残留するビルディングブロックを適用するネットワークの一種であるMomentum ResNetsにインスパイアされている。
我々は,MNIST,SVHN,CIFAR-10のベースラインカプセルネットワークの精度をはるかに低めながら,MoCapsNetが精度を上回っていることを示す。
論文 参考訳(メタデータ) (2022-01-26T17:53:18Z) - Shifting Capsule Networks from the Cloud to the Deep Edge [0.9712140341805068]
本稿では,Cortex-MおよびRISC-V MCUにおける量子化CapsNetの実行のためのAPIを提案する。
その結果、メモリフットプリントが75%近く減少し、最大精度が1%低下した。
スループットに関しては、Arm Cortex-M用のソフトウェアカーネルは、NVIDIA GTX 980 Tiグラフィックカード上で動作するプリ量子化CapsNetよりも少なくとも5.70倍高速です。
論文 参考訳(メタデータ) (2021-10-06T16:52:01Z) - DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and
Transformers [105.74546828182834]
本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。
我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
論文 参考訳(メタデータ) (2021-09-21T09:57:21Z) - AdderNet and its Minimalist Hardware Design for Energy-Efficient
Artificial Intelligence [111.09105910265154]
アドラー畳み込みニューラルネットワーク(AdderNet)を用いた新しいミニマリストハードウェアアーキテクチャを提案する。
AdderNet全体の16%の高速化を実現している。
我々は、AdderNetが他の競争相手を追い越せると結論付けている。
論文 参考訳(メタデータ) (2021-01-25T11:31:52Z) - MicroNet: Towards Image Recognition with Extremely Low FLOPs [117.96848315180407]
MicroNetは計算コストの極めて低い効率的な畳み込みニューラルネットワークである。
MicroNetのファミリは、低いFLOP体制における最先端技術よりも大きなパフォーマンス向上を実現している。
例えば、MicroNet-M1は12のMFLOPを持つImageNet分類において61.1%のトップ-1の精度を達成し、MobileNetV3を11.3%上回っている。
論文 参考訳(メタデータ) (2020-11-24T18:59:39Z) - DyNet: Dynamic Convolution for Accelerating Convolutional Neural
Networks [16.169176006544436]
本稿では,画像内容に基づいてコンボリューションカーネルを適応的に生成する動的畳み込み手法を提案する。
MobileNetV3-Small/Largeアーキテクチャに基づいて、DyNetはImageNet上で70.3/77.1%のTop-1精度を達成し、2.9/1.9%改善した。
論文 参考訳(メタデータ) (2020-04-22T16:58:05Z) - Q-CapsNets: A Specialized Framework for Quantizing Capsule Networks [12.022910298030219]
Capsule Networks(CapsNets)は、従来のCNNと比較して、画像分類のような機械学習タスクにおいて優れた学習能力を持つ。
CapsNetは、非常に厳しい計算を必要とするため、リソース制約のあるエッジデバイスにおいて、元の形式でのデプロイが困難である。
本稿では,CapsNetモデルの量子化を初めて試み,その効率的なエッジ実装を実現するために,CapsNetの特殊な量子化フレームワークを開発する。
論文 参考訳(メタデータ) (2020-04-15T14:32:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。