論文の概要: DESCNet: Developing Efficient Scratchpad Memories for Capsule Network
Hardware
- arxiv url: http://arxiv.org/abs/2010.05754v1
- Date: Mon, 12 Oct 2020 14:50:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-08 07:33:33.816220
- Title: DESCNet: Developing Efficient Scratchpad Memories for Capsule Network
Hardware
- Title(参考訳): DESCNet: カプセルネットワークハードウェアのための効率的なスクラッチパッドメモリの開発
- Authors: Alberto Marchisio, Vojtech Mrazek, Muhammad Abdullah Hanif, Muhammad
Shafique
- Abstract要約: Capsule Networks(CapsNets)は、Deep Neural Networks(DNNs)と比較して、一般化能力を改善した。
CapsNetは計算とメモリの要求がかなり高く、そのエネルギー効率のよい推論は難しい課題である。
本稿では,ハードウェアアクセラレーターが高速なCapsNets推論を実行する際の(オンチップ)メモリの設計と管理に関する課題を,初めて詳細に分析する。
- 参考スコア(独自算出の注目度): 12.26801463167931
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Neural Networks (DNNs) have been established as the state-of-the-art
algorithm for advanced machine learning applications. Recently proposed by the
Google Brain's team, the Capsule Networks (CapsNets) have improved the
generalization ability, as compared to DNNs, due to their multi-dimensional
capsules and preserving the spatial relationship between different objects.
However, they pose significantly high computational and memory requirements,
making their energy-efficient inference a challenging task. This paper
provides, for the first time, an in-depth analysis to highlight the design and
management related challenges for the (on-chip) memories deployed in hardware
accelerators executing fast CapsNets inference. To enable an efficient design,
we propose an application-specific memory hierarchy, which minimizes the
off-chip memory accesses, while efficiently feeding the data to the hardware
accelerator. We analyze the corresponding on-chip memory requirements and
leverage it to propose a novel methodology to explore different scratchpad
memory designs and their energy/area trade-offs.
Afterwards, an application-specific power-gating technique is proposed to
further reduce the energy consumption, depending upon the utilization across
different operations of the CapsNets. Our results for a selected Pareto-optimal
solution demonstrate no performance loss and an energy reduction of 79% for the
complete accelerator, including computational units and memories, when compared
to a state-of-the-art design executing Google's CapsNet model for the MNIST
dataset.
- Abstract(参考訳): 高度な機械学習アプリケーションのための最先端アルゴリズムとして、ディープニューラルネットワーク(DNN)が確立されている。
Google Brainのチームが最近提案したCapsule Networks(CapsNets)は、多次元カプセルと異なるオブジェクト間の空間的関係を保存するため、DNNと比較して一般化能力を改善している。
しかし、計算とメモリの要求は著しく高く、エネルギー効率の良い推論は難しい課題である。
本稿では,ハードウェアアクセラレーションに(チップ上で)デプロイされたメモリの設計と管理に関する課題を,高速capsnets推論を実行する上で,初めて詳細に分析する。
効率的な設計を実現するため,ハードウェアアクセラレータにデータを効率よく供給しながら,チップ外のメモリアクセスを最小限に抑えるアプリケーション固有のメモリ階層を提案する。
対応するオンチップメモリ要求を分析し、これを利用して異なるスクラッチパッドメモリ設計とそのエネルギー・領域トレードオフを探索する新しい手法を提案する。
その後, カプスネットの異なる操作における利用状況に応じて, エネルギー消費をさらに削減するために, アプリケーション固有の電力ゲーティング手法が提案されている。
MNISTデータセットに対してGoogleのCapsNetモデルを実行する最新設計と比較した場合,提案したPareto-Optimalソリューションは性能損失がなく,計算単位やメモリを含む完全なアクセラレータでは79%のエネルギー削減が達成された。
関連論文リスト
- LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network
through Spatial-Temporal Compressive Network Search and Joint Optimization [51.9395471326897]
スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。
本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitESNNという新しいアプローチを提案する。
論文 参考訳(メタデータ) (2024-01-26T05:23:11Z) - Topology-aware Embedding Memory for Continual Learning on Expanding
Networks [69.21427519408016]
メモリリプレイ技術は、漸進的に蓄積されたユークリッドデータによる継続的な学習において大きな成功を収めている。
しかし、ネットワークの継続的な拡張にそれらを直接適用することは、潜在的なメモリ爆発問題につながる。
我々は、トポロジ-埋め込みメモリ(TEM)を備えた一般フレームワーク、すなわちTEMaware Decoupled Graph Neural Networks(PDGNN)を提案する。
本稿では,TEMを用いたTEMaware PDGNNが最先端技術,特に難易度の高いクラスインクリメンタルセッティングにおいて著しく優れていることを示す。
論文 参考訳(メタデータ) (2024-01-24T03:03:17Z) - Full-Stack Optimization for CAM-Only DNN Inference [2.0837295518447934]
本稿では,3次重み付けニューラルネットワークと連想プロセッサのアルゴリズム最適化の組み合わせについて検討する。
演算強度を低減し,APの畳み込みを最適化する新しいコンパイルフローを提案する。
本研究では,イメージネット上でのResNet-18推論のエネルギー効率を,クロスバーメモリアクセラレータと比較して7.5倍向上させる。
論文 参考訳(メタデータ) (2024-01-23T10:27:38Z) - EPIM: Efficient Processing-In-Memory Accelerators based on Epitome [82.74500224090265]
畳み込みのような機能を提供する軽量神経オペレータであるEpitomeを紹介する。
ソフトウェア側では,PIMアクセラレータ上でのエピトームのレイテンシとエネルギを評価する。
ハードウェア効率を向上させるため,PIM対応層設計手法を提案する。
論文 参考訳(メタデータ) (2023-11-12T17:56:39Z) - Energy-efficient Task Adaptation for NLP Edge Inference Leveraging
Heterogeneous Memory Architectures [68.91874045918112]
Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。
検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
論文 参考訳(メタデータ) (2023-03-25T14:40:59Z) - MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [70.29404271727155]
メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。
本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。
ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
論文 参考訳(メタデータ) (2021-10-28T17:58:45Z) - Towards Memory-Efficient Neural Networks via Multi-Level in situ
Generation [10.563649948220371]
ディープニューラルネットワーク(DNN)は、様々なタスクにおいて優れたパフォーマンスを示している。
それらが急速に進化するにつれて、そのエスカレーション計算とメモリ要求により、リソースに制約のあるエッジデバイスへのデプロイが困難になる。
超高速なオンチップ計算で高価なメモリトランザクションを交換するための汎用的で統一的なフレームワークを提案する。
論文 参考訳(メタデータ) (2021-08-25T18:50:24Z) - Continual Learning Approach for Improving the Data and Computation
Mapping in Near-Memory Processing System [3.202860612193139]
ページと計算再マッピングによるデータ配置とリソース活用を最適化する人工知能メモリマッピング方式であるAIMMを提案する。
AIMMはニューラルネットワークを使用して、強化学習アルゴリズムを使用して訓練された実行中にほぼ最適なマッピングを実現します。
本研究では,AIMMが単一および複数プログラムシナリオにおけるベースラインNMP性能を最大70%と50%向上させたことを評価した。
論文 参考訳(メタデータ) (2021-04-28T09:50:35Z) - Improving Computational Efficiency in Visual Reinforcement Learning via
Stored Embeddings [89.63764845984076]
効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。
SEERは、既存の非政治深層強化学習方法の簡単な修正です。
計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
論文 参考訳(メタデータ) (2021-03-04T08:14:10Z) - Robust High-dimensional Memory-augmented Neural Networks [13.82206983716435]
メモリ拡張ニューラルネットワークは、これらの問題を克服するために、明示的なメモリでニューラルネットワークを強化する。
この明示的なメモリへのアクセスは、各個々のメモリエントリを含むソフト読み取りおよび書き込み操作を介して行われる。
本稿では,高次元(HD)ベクトル上でのアナログインメモリ計算を行う明示メモリとして,計算メモリユニットを用いた頑健なアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-10-05T12:01:56Z) - Improving Memory Utilization in Convolutional Neural Network
Accelerators [16.340620299847384]
本稿では,アクティベーション層を重複させ,メモリをより効率的に利用するためのマッピング手法を提案する。
様々な実世界のオブジェクト検出器ネットワークによる実験により、提案されたマッピング技術により、メモリのアクティベーションを最大32.9%削減できることが示された。
より高解像度のノイズ除去ネットワークでは、活性化メモリの48.8%の節約を実現している。
論文 参考訳(メタデータ) (2020-07-20T09:34:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。